LLM の埋め込みレシピの結果をデータセットとして出力

Koji

LLMの埋め込みレシピを使って、テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力することは可能でしょうか？

Tsuyoshi

現時点のビジュアルレシピの機能としては、「テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力する」機能は提供していない状況となります。

上記の要件を実現したい場合、「コードレシピを利用して、PythonコードからDataikuのAPI経由でEmbeddingモデルを呼び出す」ことで、ベクトルデータの取得は可能と考えられます。（埋め込みレシピと同様な処理を行う観点では、事前にPrepareレシピの「Split into chunks」プロセッサー等を利用して、チャンキングを行っておく必要はございます。）

現時点での回答としては、以上のようになりますが、まずはご確認をいただけますと幸いです。

Koji

Tsuyoshi

Sep 5, 2024

現時点のビジュアルレシピの機能としては、「テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力する」機能は提供していない状況となります。

上記の要件を実現したい場合、「コードレシピを利用して、PythonコードからDataikuのAPI経由でEmbeddingモデルを呼び出す」ことで、ベクトルデータの取得は可能と考えられます。（埋め込みレシピと同様な処理を行う観点では、事前にPrepareレシピの「Split into chunks」プロセッサー等を利用して、チャンキングを行っておく必要はございます。）

現時点での回答としては、以上のようになりますが、まずはご確認をいただけますと幸いです。

@Tsuyoshi

もう一点確認なのですが、埋め込みレシピから作成されたKnowledgeBankからpythonレシピを用いてデータセットを出力することは可能でしょうか？（embeddingsモデルを呼び出すのではなくKnowledgeBankの情報を抽出するイメージです）

イメージとしては以下のようなフローです。

可能であればサンプルコードなどもご教授いただけると幸いです。

Tsuyoshi

@Koji 以下のDataiku APIを利用して、Knowledge Bankを操作可能です。

LLM Mesh

https://community.dataiku.com/home/leaving?allowTrusted=1&target=https%3A%2F%2Fdeveloper.dataiku.com%2Flatest%2Fapi-reference%2Fpython%2Fllm-mesh.html%23dataikuapi.dss.knowledgebank.DSSKnowledgeBank

For usage information and examples, please see LLM Mesh

上記APIで可能なことは、基本的に「LangchainのVectorstore もしくは Retriever経由で、ベクトルDBを検索する」ことになりますので、その範囲であれば、データセットの取得は可能です。（ただし、元のお問合せでいただいていた、「ベクトルデータ」自体の取得は、このAPIでは不可なはずです。）

コードのサンプルについては、以下のドキュメントやプロジェクトを参考にしていただくことが可能です。

Programmatic RAG with Dataiku’s LLM Mesh and Langchain

Dataiku