処理速度について
優樹
Registered Posts: 3 ✭✭✭
異なるDataiku Cloudの環境で同じフローを構築したのですが、処理にかかる時間が大きく異なります。
原因としてDataiku Coludを立ち上げているインスタンスの性能が影響しているからでしょうか?
特にPythonレシピに大きな差が生まれます。
また、処理速度を速める方法をして何かございますでしょうか?
Tagged:
Answers
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 105 Dataiker
全く同じフロー・全く同じデータを利用していて、処理時間が大きく異なる場合、利用中のサーバリソースが異なる可能性はあるかもしれません。
Pythonレシピをサーバインスタンス上で実行する場合と、Kubernetesコンテナ上で実行する場合では、割り当てリソース次第で、処理時間が異なる可能性は考えられます。Pythonレシピの実行をどこで行っているのかは、以下ドキュメントに記載の画面でご確認いただけます。
また、Dataiku Cloudの各スペースで利用可能なKubernetesコンテナリソースの上限値は、以下ドキュメント記載の画面でご確認いただけます。
上記以外に、データベース接続のネットワーク遅延等が原因の可能性もありますので、一般的な回答は難しいところですが、まずは上記のような点について、ご確認いただけますと幸いです。