DataikuCloudのConcurrency limit(同時実行制限)について

Yusuke
Yusuke Partner, Registered Posts: 12 Partner

DataikuCloudのversion13をDataiku for Data Analyticsで使用しています。

Launchpadの画面からは以下のように同時実行制限の設定がありますが、
以下質問させてください。

現在の設定は、環境全体で同時実行(アクティビティ数?)が20まで、ジョブごとに3アクティビティまでという設定のようです。

ジョブのアクティビティというのは、フローの実行の場合は各レシピごとの処理が1つのアクティティという理解でよいでしょうか?(処理をプッシュダウンしている場合でも同様の制限がかかる?)

また、グローバルのアクティビティ上限はどのように算出されるのでしょうか?

Tagged:

Best Answer

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 135 Dataiker
    Answer ✓

    ご質問の件、以下回答いたします。

    ジョブのアクティビティというのは、フローの実行の場合は各レシピごとの処理が1つのアクティティという理解でよいでしょうか?(処理をプッシュダウンしている場合でも同様の制限がかかる?)

    → 基本的には、各レシピが1つのアクティビティとなりますが、データセットのパーティションを利用している場合、並列実行が可能なため、パーティション毎に1つのアクティビティとカウントされます。

    また、処理をプッシュダウンしている場合でも、やはり1つのアクティビティとしてカウントされるはずです。

    また、グローバルのアクティビティ上限はどのように算出されるのでしょうか?

    → Dataikuのインスタンス(ノード)単位で計算されます(Designノード、Automationノード、それぞれが計算の単位となります)。関連情報としまして、以下リンクのドキュメントもご参照ください。

    https://doc.dataiku.com/dss/latest/flow/limits.html

Answers

  • Yusuke
    Yusuke Partner, Registered Posts: 12 Partner

    ありがとうございます。
    アクティビティはデータセットのパーティションごとの処理ということですね、理解いたしました。

Setup Info
    Tags
      Help me…