ダッシュボードのメモリ設定について
お世話になっております。
Dashboard上のオブジェクトのメモリ制限についてご教示ください。
現在Dashboard上にピボットを配置し、複数行列の計算を実施しているのですが、Memory超過のメッセージが出力される状態となっております。メッセージ上は200MByte程度のLimitationがあるように表記がされているのですが、こちらの制限を設定することは可能でしょうか？
コンピュートの制御は可能であるDocumentは確認したのですが、Dashboardのオブジェクトに対して設定可否があればご教示いただきたく存じます。
Dataiku version used: 14.3.0
Best Answer
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 438 Dataikerピボットテーブル等のチャートでは、メモリー上に中間データがすべて展開されるため、大量のデータを処理する場合、想定以上にメモリー消費量が肥大化する可能性があります。
このような事象を防ぐため、ピボットテーブル等のチャートでは最大200MBというメモリー上限が設定されています。この設定を変更することは不可となりますので、チャートで大量データを扱いたい場合、以下のような考慮が必要です。
大量データ、かつ全件データを利用したい場合、実行エンジンに「DSS」を指定するのではなく、「In-database」、もしくは「SparkSQL」を指定して外部リソース上で処理させる必要があります。設定方法は、以下のドキュメントをご参照ください。
ーーーーー
回答としては上記のようになります。また、日本語でご質問をいただく場合、こちらのグローバル掲示板でも英語で回答をもらえる可能性はありますが、以下の日本語用コミュニティにご投稿をいただきますと、日本のメンバーに発見される可能性がより高まります。
今回、私はたまたま、こちらの投稿に気づいたのですが、今後は上記のリンクもご活用いただけますと幸いです！