ナレッジシェア（Q&A)

Dataikuからローカルにデータフレームを読み込む際のpandasのエラーについて
以下のリンクをもとに環境からdataikuライブラリをpip installし、ローカルのJupiter Labを用いてデータフレームを読み込んでいます。…
Snowflakeでスキーマに半角カッコを持つ列の読み込みでエラーが発生する。
以下のように半角カッコを持つスキーマを読み込んだ際の挙動に関する質問です。 Dataikuに読み込むと以下の図のように半角カッコがアンダースコアに自動変換されます。ただし、この状態で読み込むと列名の対応で以下のエラーが発生します。アンダースコアを半角カッコに手動で変更すると読み込むことができますが、データ更新時に再度スキーマの設定がアンダースコアに戻り、同様の設定が必要になるという状況です。やりたいこととしては、・半角カッコを含むスキーマを持つデータセットを読み込む。・データ更新時も適切に動作する。…
pythonレシピで生成し、マネージドフォルダにpickleしたモデルのファインチューニング
タイトル通り、pythonレシピで生成し、マネージドフォルダにpickleしたモデルが有れば、そのモデルを読み込んで追加のエポックを回したり、ファインチューニングするような処理を検討しています。しかし、同一のマネージドフォルダをpythonレシピのインプットとアウトプット両方にするとエラーが発生してしまいます。マネージドフォルダからさらに中のモデルを別のマネージドフォルダに移して、それを読み込むなどの実装はデータの冗長性の観点から避けたいと考えています。…
Time Series PreparationプラグインのTime series resamplingの仕様について
Time Series PreparationプラグインのTime series resamplingを利用して日付のリサンプリングを実施しようとしております。データは以下画像の通り月次、カテゴリ別の欠損行のあるデータで、カテゴリごとにデータが無い月の列を用意することを目的にしています。 Time series resamplingを用いることで実現できる認識なのですが、月次の時の挙動が想定と異なるためご質問です。添付画像の通り、レシピの設定画面でResampling parametersのTime stepを'1', Unitを'Months'にすることで月次のリサンプリングが実現できる認識ですが、…

Trending Discussions

パーティションについて
Dataikuのパーティション機能を利用した際に、ファイルベースの場合はパーティションごとにファイル分割されますが、DBに対してパーティション機能を利用した際は、データの持ち方やインデックスの設定などDB側に変更は加えられるのでしょうか。また、パーティションを利用する利点として処理対象のレコードをフィルタリングすることで処理の高速化が図れることが挙げられると思いますが、DBをSnowflakeにした場合にはSnowflake側でマイクロパーティションを作成しているため、パーティションは不要という認識ですが正しいでしょうか。処理の高速化以外のパーティション利用に関するメリットがあればご教示ください。
Dataiku CloudStack版における各nodeの自動起動・停止について
表題について質問させてください。クラウドはAWSを想定しています。 Fleet Managerでは自動起動・停止の機能がないため、 AWS側のEventBridge等のスケジューラで制御する必要がある理解です。 ReprovisionのたびにIPが変更される — Dataiku Community そこで、二点確認させて下さい。 - DesignNode等の該当のEC2をAWS側で停止・起動した際に、OS起動とともに正しくプロセスが立ち上がるのかどうか等、各ノードに影響はないでしょうか。 - Fleet Manager側から見て、整合性のとれた状態を維持できますでしょうか。初歩的な質問で恐縮ですが、お答えいただけますと幸いです。