pythonレシピで生成し、マネージドフォルダにpickleしたモデルのファインチューニング

希

タイトル通り、pythonレシピで生成し、マネージドフォルダにpickleしたモデルが有れば、そのモデルを読み込んで追加のエポックを回したり、ファインチューニングするような処理を検討しています。

しかし、同一のマネージドフォルダをpythonレシピのインプットとアウトプット両方にするとエラーが発生してしまいます。

マネージドフォルダからさらに中のモデルを別のマネージドフォルダに移して、それを読み込むなどの実装はデータの冗長性の観点から避けたいと考えています。

初回は何もないところから学習し、既にモデルが有る場合はそれを読み込んでファインチューニングするようなことをDataikuのフローで実現することは可能でしょうか？ご教示よろしくお願いいたします。

Operating system used: CentOS

Tsuyoshi

確認した限りでは、「pythonレシピのインプットとアウトプット」は、仕様的に別のマネージドフォルダを利用する必要がありそうです。

一方で以下のコメントにあるように、実質同じフォルダを参照するような設定は可能と考えられますが、このような設定は回避策になりますでしょうか？

https://community.dataiku.com/discussion/comment/8066/#Comment_8066

Tsuyoshi

@希 上記リンクのコメントに記載の通り「マネージドフォルダのパス設定を編集して、パスの文字列に同じフォルダIDを埋め込む」対応になると思います。

Pythonコードからは、あくまでもインプット・アウトプットそれぞれ別の「フォルダID」を指定することになりますが、もし想定されている内容と異なる部分がありましたら、ご教示ください。

希

@Tsuyoshi

ありがとうございます。フォルダIDではなく、パスで指定するようなイメージで合っておりますでしょうか？

これが可能であれば、やりたいことが実現できそうです。