Dataiku CloudStack版における各nodeの自動起動・停止について
表題について質問させてください。クラウドはAWSを想定しています。
Fleet Managerでは自動起動・停止の機能がないため、
AWS側のEventBridge等のスケジューラで制御する必要がある理解です。
ReprovisionのたびにIPが変更される — Dataiku Community
そこで、二点確認させて下さい。
- DesignNode等の該当のEC2をAWS側で停止・起動した際に、OS起動とともに正しくプロセスが立ち上がるのかどうか等、各ノードに影響はないでしょうか。
- Fleet Manager側から見て、整合性のとれた状態を維持できますでしょうか。
初歩的な質問で恐縮ですが、お答えいただけますと幸いです。
Answers
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 332 Dataiker以下、コメントさせていただきます。
DesignNode等の該当のEC2をAWS側で停止・起動した際に、OS起動とともに正しくプロセスが立ち上がるのかどうか等、各ノードに影響はないでしょうか。
EC2をAWS側で停止・起動した場合、OS起動とともにDSSのプロセスが立ち上がりますが、ご質問内のリンク先コメントにもありますように、ジョブ実行中にノードを停止した場合など、データセット不整合などの問題が発生する可能性があります。このため、AWS側でEC2を直接停止・起動することは推奨しておりません。
外部のスケジューラーなどからDSSを停止・起動したい場合は、以下のFleet Manager API経由で各ノードをdeprovision / reprovision する方法がよいと考えられます。
https://developer.dataiku.com/latest/api-reference/python/fleetmanager.html#fleet-manager-instancesFleet Manager側から見て、整合性のとれた状態を維持できますでしょうか。
上記回答に記載のように、Fleet Manager API経由で各ノードをdeprovision / reprovision することで、整合性をとりつつ、各ノードとDSSプロセスの停止・起動を行うことが可能と考えられます。（ただ、予期せぬ業務への影響を考慮して、通常は本番環境インスタンスの自動停止・起動は行わないことを推奨していますので、その点はご考慮いただければと思います。）