LLM の埋め込みレシピの結果をデータセットとして出力

Koji
Koji Partner, Dataiku DSS Core Designer, Registered Posts: 28 Partner

LLMの埋め込みレシピを使って、テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力することは可能でしょうか?

Tagged:

Best Answer

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 135 Dataiker
    edited September 5 Answer ✓

    現時点のビジュアルレシピの機能としては、「テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力する」機能は提供していない状況となります。

    上記の要件を実現したい場合、「コードレシピを利用して、PythonコードからDataikuのAPI経由でEmbeddingモデルを呼び出す」ことで、ベクトルデータの取得は可能と考えられます。(埋め込みレシピと同様な処理を行う観点では、事前にPrepareレシピの「Split into chunks」プロセッサー等を利用して、チャンキングを行っておく必要はございます。)

    現時点での回答としては、以上のようになりますが、まずはご確認をいただけますと幸いです。

Answers

Setup Info
    Tags
      Help me…