Dataiku CloudにおけるディスクサイズおよびParallel Activitiesの考え方について

祐矢
祐矢 Registered Posts: 18 ✭✭

お世話になっております。

Dataiku Cloudのリソースについて確認したい点があり、ご質問させていただきます。
以下launch pad>Usage & Monitoringから各ノードに遷移した画面についてのご質問になります。

1. ノードごとのディスクサイズについて

Usage画面を確認したところ、ノードごとに割り当てられているDisk Sizeが異なっているように見受けられます。

こちらはDataiku Cloudの仕様として、ノードごとにディスクサイズが異なるものと理解してよいでしょうか。

また、その場合、ディスクサイズはどのようなロジックで決定されるのでしょうか。

  • ノードタイプ(Design / Automation / API)によって決まるのか
  • CPUやRAMサイズに応じて決まるのか
  • その他の要因によって決まるのか

ディスクサイズの決定方法について教えていただけますと幸いです。

2. Parallel Activitiesについて

Usage画面に表示される「Parallel Activities」の値について確認させてください。

こちらは「同時実行可能な処理数」と理解して問題ないでしょうか。

言い換えると、JobやScenarioなどを含めた実行中タスク(Running Tasks)の同時実行数として解釈してよいのでしょうか。

もし認識が異なる場合、Parallel Activitiesにカウントされる対象についてご教示いただけますと幸いです。

よろしくお願いいたします。

Dataiku version used: Dataiku Cloud

Best Answer

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 496 Dataiker
    Answer ✓

    以下、回答させていただきます。

    1. ノードごとのディスクサイズについて

    ディスクサイズの初期値は、ご利用中のDataiku Cloudライセンスによって異なります。また、デフォルト値の範囲内で各ノードにサイズが按分されることになります(例:デザインノード 400GB、本番用 自動化ノード:400GB・・など)。

    上記の仕様に関して外部向けのドキュメント等は現在存在しない状況のため、もしご不明な点がございましたら、Dataikuの営業担当、もしくは既存環境の場合には技術サポート宛にお問い合わせをいただけますと幸いです。

    2. Parallel Activitiesについて

    はい。基本的にはご認識の通りです(厳密には、1つのジョブの中に分岐が存在し、複数のレシピが並列実行される場合、並列実行されるレシピの数がカウントされます)。参考として、以下リンクの情報もご参照いただけますと幸いです。

    https://community.dataiku.com/discussion/comment/44644/#Comment_44644

Setup Info
    Tags
      Help me…