Dataiku上での画像処理について

Koji

Dataiku上での画像処理についていくつか質問があります。

１．画像フォルダにある画像ファイル名の変更の仕方

画像フォルダにある画像ファイル名を任意の条件、例えばok.pngで始まる画像ファイル名以外のものをng.pngにファイル名を一括で変換するにはpython recipeで実装するしかないのでしょうか。また、その時読み込むフォルダとファイルのパスはどこを参照すればいいでしょうか

2.前処理に関して

一般的に画像処理で行うようなリサイズやマスク化などはdataiku上でノーコードでできるのでしょうか？

3.モデルの追加

現状画像処理で使われるモデルはEfficientNetのみのように思われますが、他のモデルを持ってくることは現状可能でしょうか？

Tsuyoshi

@Koji
さん、ご質問ありがとうございます。先週はDataikuのイベントで海外出張があったりしまして、Forumを確認できていなくて失礼しました。以下に回答いたします。

＞１．画像フォルダにある画像ファイル名の変更の仕方

＞画像フォルダにある画像ファイル名を任意の条件、例えばok.pngで始まる画像ファイル名以外のものをng.pngにファイル名を一括で変換するにはpython recipeで実装するしかないのでしょうか。また、その時読み込むフォルダとファイルのパスはどこを参照すればいいでしょうか

こちらは、標準レシピの機能では未対応なので、やはりPythonレシピの実装が必要と考えられます。読み込むフォルダとファイルのパスは、フォルダー（データセット）の設定で指定したものが利用されます。

ドキュメント：Managed folders

https://knowledge.dataiku.com/latest/code/managed-folders/concept-managed-folders.html#usage-in-the-flow

Pythonコードからフォルダを参照する方法は、以下プロジェクトの実装が参考になると思います。

https://gallery.dataiku.com/projects/EX_OBJECT_DETECTION/recipes/compute_v48Dbhba_1/

＞2.前処理に関して

＞一般的に画像処理で行うようなリサイズやマスク化などはdataiku上でノーコードでできるのでしょうか？

ノーコードの範囲では、以下の機能を利用できます。

ドキュメント：Data augmentation

https://doc.dataiku.com/dss/latest/machine-learning/computer-vision/data-augmentation.html

プロジェクトの定義については、以下のギャラリーを参照可能です。

https://gallery.dataiku.com/projects/EX_OBJECT_DETECTION/analysis/5bFZ8lqj/ml/p/Sz3FVvLE/list/design/deephub-image-augmentation

＞3.モデルの追加

＞現状画像処理で使われるモデルはEfficientNetのみのように思われますが、他のモデルを持ってくることは現状可能でしょうか？

以下ドキュメント記載のように、現在、Visual MLで標準対応しているのは、ResNetとEfficientNetになります。それ以外のモデルを利用したい場合には、Codeレシピを利用した対応が必要となります。

ドキュメント：コンピュータービジョンモデルと学習パラメータ

https://doc.dataiku.com/dss/latest/machine-learning/computer-vision/architecture.html

Koji

@TsuyoshiK

ご回答いただきありがとうございます、参考になります。お忙しいところありがとうございます。

NaoYamaguchi

@Tsuyoshi

お世話になります

追加で、DataikuのData Augmentation機能について教えて頂けますでしょうか

・Data Augmentation機能の有効/無効は、DESIGNタブの各color,affine,cropのトグルのオン、オフだけでしょうか

・colorやaffineなど各処理でどれだけ水増ししているかを確認することは可能でしょうか。

・それぞれ水増しする数を設定することはできますでしょうか。

Tsuyoshi

@NaoYamaguchi お世話になっております。以下、回答させていただきます。

・Data Augmentation機能の有効/無効は、DESIGNタブの各color,affine,cropのトグルのオン、オフだけでしょうか
→ はい、ご認識の通りです。

・colorやaffineなど各処理でどれだけ水増ししているかを確認することは可能でしょうか。
→ 確認いたしましたところ、現時点の製品仕様では、画像を水増ししているわけではなく、一定の確率で、元々の画像自体を置き換える処理を行っていました。このため、画像の総数自体は変わらないことになります。

イメージとしましては、学習対象の画像が1000件あった場合、内部確率が50%とすると、500件はそのままの画像を利用し、500件は変換を行った後の画像を利用するような挙動となります。

・それぞれ水増しする数を設定することはできますでしょうか。
→ 上記回答に記載のように、画像の数を水増ししているわけではなく、一定の確率で、元々の画像自体を変換する仕様となっておりました。

回答は以上となります。もしご不明な点などございましたら、ご連絡をいただけますと幸いです。

NaoYamaguchi

@Tsuyoshi

ご回答ありがとうございます！

水増しをしているわけでない事、承知しました！