RAGを構成する際のナレッジバンク(ベクターストア)の構成場所について

Yusuke
Yusuke Partner, Registered Posts: 12 Partner

https://knowledge.dataiku.com/latest/ml-analytics/gen-ai/concept-rag.html#knowledge-bank-settings
上記リンクを参考にRAGを用いたチャットボットの作成をしようと思っています。

LLMはSnowflakeのCortexAIを使う想定ですが、ベクターストアはDSS上もしくはSnowflakeのどちらに構成されるのかが気になっています。(ちなみに環境はDataikuCloudです)

いろいろとドキュメントを見ると、埋め込みレシピの設定時にナレッジバンクを作成する認識ですが、デフォルトはFAISSを用いてナレッジバンクを作成するようですがその設定の場合は、DSS上にナレッジバンクが作られる認識でよいでしょうか?
また、Snowflake上にベクターストアを構成することも可能なのでしょうか?

お分かりになる方がいれば教えてもらいたいです。

Best Answer

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 125 Dataiker
    Answer ✓

    Dataiku ナレッジバンクの設定で、ベクターストアのタイプとして FAISS、もしくはChromaDBを選択した場合、ベクターストアはDSSサーバのローカルストレージ上に構築されます。

    Snowflake上にベクターストアを構築することも可能ですが、その場合、Dataikuの埋め込み(Embed)レシピを利用するのではなく、Codeレシピを利用してPythonコーディングで対応する形となります。(この場合、ベクターストアはDataikuのナレッジバンクとして管理されるわけではないため、RAGのRetrieval処理等も同様にPythonでコーディングしていただく対応となります。)

Answers

Setup Info
    Tags
      Help me…