Cloud Resources Usage Monitoring ダッシュボードで「Root path of the dataset does not exist」／メトリクス用 dataset はデ

祐矢

以下のドキュメントを参考に、Cloud Resources Usage Monitoring のダッシュボードを利用しようとしています。
https://knowledge.dataiku.com/latest/cloud-quotas-compute/reference-elastic-ai-compute-capacity.html

状況として、Cloud Resources Usage Monitoring のプロジェクトは存在していますが、ダッシュボードを開くと各 Insight でデータが表示されず、以下のエラーが出ます。

Root path of the dataset does not exist

プロジェクトのdatasetを確認したところ、参照されるdatasetがないもの、あるもの共にダッシュボードが見れない状況です。
つきましては以下についてお聞きしたいです。

・datasetとして存在するが、dashboardで閲覧できないもの

→プロジェクトのrebuildで解決する可能性がある。

こちら認識は正しいでしょうか？

・そもそもdatasetとして存在しないもの

→デフォルトでは作成されないため、新たに作成する必要があるでしょうか？

　その場合、作成方法などをご教示いただけないでしょうか。

　そもそもdatasetとしてflowにあるもので十分である場合、初歩的な質問となり恐縮ですが、dashboardがどこを参照しているか教えていただけないでしょうか。

Dataiku version used: dataiku cloud

Tsuyoshi

添付いただきました2つ目の画像では、まだフロー全体がビルド中になっているようです。ログファイルのサイズが大きいため、全フローのビルドが完了するのには一定の時間がかかりますが、ビルドが全て完了した後でも、やはりダッシュボードが表示されない状況でしょうか？

通常は、プロジェクトホームページの以下ボタンをクリックすることで、シナリオが起動し、必要な一連のデータセットがビルドされるはずです。この手順を実行して、ビルドがすべて完了した後でも、ダッシュボードの各データセットが表示されない状況かどうか、念のためご確認をいただけますと幸いです。

また、以下のご質問に関しましては、ダッシュボードを編集モードにすることで、各チャートの設定画面から参照先のインサイト、データセットを辿っていくことが可能です。

そもそもdatasetとしてflowにあるもので十分である場合、初歩的な質問となり恐縮ですが、dashboardがどこを参照しているか教えていただけないでしょうか。

Tsuyoshi

これらのログを保存しているS3がどの程度の容量を必要としているのか確認手段はあるでしょうか？

フロー先頭の２つのデータセットは、「elastic-ai-compute-metrics」というコネクションを利用していますので、管理画面の以下画像の画面で確認可能です。

フロー実行後に作成されるその他のデータセットは、デフォルトでは「dataiku-managed-storage」というコネクションを利用しています。このため、それらのデータは以下画像のように選択することで確認可能です。

Tsuyoshi

以下、回答させていただきます。

・Project key：SOL_CLOUD_RESOURCES_MONITORINGにおけるSize列の時間は何の時間でしょうか？（取得したログの期間を指している？）

プロジェクト内に含まれるデータセットの最終更新日時を示しています。プロジェクト内に複数のデータセットが含まれる場合は、最終更新日時の古いものから新しいものまでの範囲が示されます。（データセットが一つの場合でも、ファイルパーティションが適用されている場合は、パーティションの最終更新日時も複数になる可能性はあります。）

・Size （ratio）において100%となっておりますが、これはS3の容量として45.62MBしか確保されていないことを示しているのでしょうか？dataiku cloudのデフォルトで用意されている１TBの容量との兼ね合いが気になっております。％を出すための分母分子を理解したく考えております。

Ratioの分母は、「当該コネクションを利用するすべてのデータセットの合計サイズ」になります。添付していただいた画像では、当該コネクションがたまたま一つのプロジェクトでしか利用されていないため、割合が100%になっています。Dataiku Cloudで利用可能な全体のストレージサイズと関連しているわけではございません。

・またこれらに関して、buildする際に指定したpartitionの期間との関連性をご教示いただけますと幸いです。

冒頭に記載いたしましたように、データセットの最終更新日時が表示されるのみであり、Partitionで指定した期間との関連は特にございません。

祐矢

確認しましたところ、ビルドが完了しておりダッシュボードが閲覧可能でした。お手数おかけしました。
またダッシュボードを編集モードにすることでデータセットを辿っていくことが可能とのこと、ご丁寧にありがとうございます。

追加の質問となり恐縮ですが、これらのログを保存しているS3がどの程度の容量を必要としているのか確認手段はあるでしょうか？

祐矢

ご丁寧にありがとうございます！
確認画面への遷移方法を理解いたしました。

祐矢

追加で失礼いたします。
確認画面へ遷移できました。ありがとうございます。
確認いたしましたところ、以下の点が気になっております。

・Project key：SOL_CLOUD_RESOURCES_MONITORINGにおけるSize列の時間は何の時間でしょうか？（取得したログの期間を指している？）

・Size （ratio）において100%となっておりますが、これはS3の容量として45.62MBしか確保されていないことを示しているのでしょうか？dataiku cloudのデフォルトで用意されている１TBの容量との兼ね合いが気になっております。％を出すための分母分子を理解したく考えております。

・またこれらに関して、buildする際に指定したpartitionの期間との関連性をご教示いただけますと幸いです。

祐矢

ご丁寧なご回答をありがとうございます。