DataikuCloudのConcurrency limit(同時実行制限)について
Yusuke
Partner, Registered Posts: 12 Partner
DataikuCloudのversion13をDataiku for Data Analyticsで使用しています。
Launchpadの画面からは以下のように同時実行制限の設定がありますが、
以下質問させてください。
現在の設定は、環境全体で同時実行(アクティビティ数?)が20まで、ジョブごとに3アクティビティまでという設定のようです。
ジョブのアクティビティというのは、フローの実行の場合は各レシピごとの処理が1つのアクティティという理解でよいでしょうか?(処理をプッシュダウンしている場合でも同様の制限がかかる?)
また、グローバルのアクティビティ上限はどのように算出されるのでしょうか?
Tagged:
Best Answer
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 137 Dataiker
ご質問の件、以下回答いたします。
ジョブのアクティビティというのは、フローの実行の場合は各レシピごとの処理が1つのアクティティという理解でよいでしょうか?(処理をプッシュダウンしている場合でも同様の制限がかかる?)
→ 基本的には、各レシピが1つのアクティビティとなりますが、データセットのパーティションを利用している場合、並列実行が可能なため、パーティション毎に1つのアクティビティとカウントされます。
また、処理をプッシュダウンしている場合でも、やはり1つのアクティビティとしてカウントされるはずです。
また、グローバルのアクティビティ上限はどのように算出されるのでしょうか?
→ Dataikuのインスタンス(ノード)単位で計算されます(Designノード、Automationノード、それぞれが計算の単位となります)。関連情報としまして、以下リンクのドキュメントもご参照ください。
Answers
-
ありがとうございます。
アクティビティはデータセットのパーティションごとの処理ということですね、理解いたしました。