データセットにてカラムへ記載したdescriptionはAIエージェントの解釈に寄与しますか?

ユウジ
ユウジ Registered Posts: 8 ✭✭

SQL query tool のData context informationにもカラムのメタデータを記載できるため、データセット内のdescriptionのみでも十分ならSQL query tool のData context informationには何も記載せずでもいいのか気になりました。

またSQL query tool が実行したクエリを確認する方法はありますでしょうか

Comments

  • ユウジ
    ユウジ Registered Posts: 8 ✭✭

    〇補足

    SQL query tool がタイムスタンプまたはデータセット自体を認識できていないようで、日付を絡めた集計を依頼すると仮想の結果のみを返してくる状態です。添付3枚目のように質問ごとに回答が違ったりします

    設定については添付1,2のようにSQL接続したデータセットを選択しているため、間違いはない認識です

    問題があるとしたら、タイムスタンプが読み取れてない気がしており、添付4のデータセットで問題ありそうでしょうか

    image.png image.png image.png image.png
  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 282 Dataiker

    以下、回答させていただきます。

    SQL query tool のData context informationにもカラムのメタデータを記載できるため、データセット内のdescriptionのみでも十分ならSQL query tool のData context informationには何も記載せずでもいいのか気になりました。

    はい。データセット、およびカラムのメタデータ(Description)が定義済みの場合、その情報が利用されます。ツール側で同様な情報を記述する必要は特にございません。

    またSQL query tool が実行したクエリを確認する方法はありますでしょうか

    以下画像のように、ツールのクイックテスト機能でクエリを確認することが可能です。

    image.png

    また、AnswersやAgent Connectを利用している場合、Trace Explorerでツールの実行内容を確認することも可能です。サーバーのAudit ログを確認可能な場合には、Auditログの中にも実行したクエリの情報が記載されています。

    SQL query tool がタイムスタンプまたはデータセット自体を認識できていないようで、日付を絡めた集計を依頼すると仮想の結果のみを返してくる状態です。添付3枚目のように質問ごとに回答が違ったりします

    私の環境(Version 14.1.1)で確認したところ、上記画像のように、datetime型を持つデータセットでも正しく動作するようでした。

    まずは上記回答に記載の要領で、どのようなSQLが生成されているのかご確認いただければと思います。また、ツールに設定されたLLMがSQL生成に強いモデルかどうかも、念のためご確認をいただければと思います。

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 282 Dataiker
    edited September 11

    また、日本語でご質問をいただく場合、グローバル掲示板でも英語で回答をもらえる可能性はありますが、以下の日本語用コミュニティにご投稿をいただきますと、日本のメンバーに発見される可能性がより高まります。

    https://community.dataiku.com/categories/japan-user-group-%28data-haiker%29

    今回、私はたまたま、こちらの投稿に気づいたのですが、今後は上記のリンクもご活用いただけますと幸いです!

  • ユウジ
    ユウジ Registered Posts: 8 ✭✭

    ご回答頂きありがとうございます!

    メタデータはデータセットでの定義(Description)のみで良いとのこと承知しました。

    また、クエリ結果の確認について、テスト実行画面から確認してみます。

    念のため、LLMのSQLと相性がいいかも確認してみます。ちなみに現在はChatGPT4.1miniを使用しています


    日本語での質問先についても共有いただき誠にありがとうございます。

Setup Info
    Tags
      Help me…