LLM の埋め込みレシピの結果をデータセットとして出力
LLMの埋め込みレシピを使って、テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力することは可能でしょうか？
Best Answer
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 137 Dataiker現時点のビジュアルレシピの機能としては、「テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力する」機能は提供していない状況となります。
上記の要件を実現したい場合、「コードレシピを利用して、PythonコードからDataikuのAPI経由でEmbeddingモデルを呼び出す」ことで、ベクトルデータの取得は可能と考えられます。（埋め込みレシピと同様な処理を行う観点では、事前にPrepareレシピの「Split into chunks」プロセッサー等を利用して、チャンキングを行っておく必要はございます。）
現時点での回答としては、以上のようになりますが、まずはご確認をいただけますと幸いです。
Answers
-
もう一点確認なのですが、埋め込みレシピから作成されたKnowledgeBankからpythonレシピを用いてデータセットを出力することは可能でしょうか？（embeddingsモデルを呼び出すのではなくKnowledgeBankの情報を抽出するイメージです）
イメージとしては以下のようなフローです。
可能であればサンプルコードなどもご教授いただけると幸いです。
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 137 Dataiker
@Koji 以下のDataiku APIを利用して、Knowledge Bankを操作可能です。
上記APIで可能なことは、基本的に「LangchainのVectorstore もしくは Retriever経由で、ベクトルDBを検索する」ことになりますので、その範囲であれば、データセットの取得は可能です。（ただし、元のお問合せでいただいていた、「ベクトルデータ」自体の取得は、このAPIでは不可なはずです。）
コードのサンプルについては、以下のドキュメントやプロジェクトを参考にしていただくことが可能です。
