DataikuCloudのConcurrency limit(同時実行制限)について

Setup Info
Partner, Registered Posts: 13 Partner

DataikuCloudのversion13をDataiku for Data Analyticsで使用しています。

Launchpadの画面からは以下のように同時実行制限の設定がありますが、
以下質問させてください。

現在の設定は、環境全体で同時実行(アクティビティ数?)が20まで、ジョブごとに3アクティビティまでという設定のようです。

ジョブのアクティビティというのは、フローの実行の場合は各レシピごとの処理が1つのアクティティという理解でよいでしょうか?(処理をプッシュダウンしている場合でも同様の制限がかかる?)

また、グローバルのアクティビティ上限はどのように算出されるのでしょうか?

Best Answer

  • Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 174 Dataiker
    Answer ✓

    ご質問の件、以下回答いたします。

    ジョブのアクティビティというのは、フローの実行の場合は各レシピごとの処理が1つのアクティティという理解でよいでしょうか?(処理をプッシュダウンしている場合でも同様の制限がかかる?)

    → 基本的には、各レシピが1つのアクティビティとなりますが、データセットのパーティションを利用している場合、並列実行が可能なため、パーティション毎に1つのアクティビティとカウントされます。

    また、処理をプッシュダウンしている場合でも、やはり1つのアクティビティとしてカウントされるはずです。

    また、グローバルのアクティビティ上限はどのように算出されるのでしょうか?

    → Dataikuのインスタンス(ノード)単位で計算されます(Designノード、Automationノード、それぞれが計算の単位となります)。関連情報としまして、以下リンクのドキュメントもご参照ください。

    https://doc.dataiku.com/dss/latest/flow/limits.html

Answers

  • Partner, Registered Posts: 13 Partner

    ありがとうございます。
    アクティビティはデータセットのパーティションごとの処理ということですね、理解いたしました。

Welcome!

It looks like you're new here. Sign in or register to get started.

Welcome!

It looks like you're new here. Sign in or register to get started.