RAGを構成する際のナレッジバンク(ベクターストア)の構成場所について
Yusuke
Partner, Registered Posts: 12 Partner
https://knowledge.dataiku.com/latest/ml-analytics/gen-ai/concept-rag.html#knowledge-bank-settings
上記リンクを参考にRAGを用いたチャットボットの作成をしようと思っています。
LLMはSnowflakeのCortexAIを使う想定ですが、ベクターストアはDSS上もしくはSnowflakeのどちらに構成されるのかが気になっています。(ちなみに環境はDataikuCloudです)
いろいろとドキュメントを見ると、埋め込みレシピの設定時にナレッジバンクを作成する認識ですが、デフォルトはFAISSを用いてナレッジバンクを作成するようですがその設定の場合は、DSS上にナレッジバンクが作られる認識でよいでしょうか?
また、Snowflake上にベクターストアを構成することも可能なのでしょうか?
お分かりになる方がいれば教えてもらいたいです。
Best Answer
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 135 Dataiker
Dataiku ナレッジバンクの設定で、ベクターストアのタイプとして FAISS、もしくはChromaDBを選択した場合、ベクターストアはDSSサーバのローカルストレージ上に構築されます。
Snowflake上にベクターストアを構築することも可能ですが、その場合、Dataikuの埋め込み(Embed)レシピを利用するのではなく、Codeレシピを利用してPythonコーディングで対応する形となります。(この場合、ベクターストアはDataikuのナレッジバンクとして管理されるわけではないため、RAGのRetrieval処理等も同様にPythonでコーディングしていただく対応となります。)
Answers
-
ご回答ありがとうございます。理解できました!