LLM の埋め込みレシピの結果をデータセットとして出力

Setup Info
Partner, Dataiku DSS Core Designer, Registered Posts: 39 Partner

LLMの埋め込みレシピを使って、テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力することは可能でしょうか?

Best Answer

  • Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 186 Dataiker
    edited September 2024 Answer ✓

    現時点のビジュアルレシピの機能としては、「テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力する」機能は提供していない状況となります。

    上記の要件を実現したい場合、「コードレシピを利用して、PythonコードからDataikuのAPI経由でEmbeddingモデルを呼び出す」ことで、ベクトルデータの取得は可能と考えられます。(埋め込みレシピと同様な処理を行う観点では、事前にPrepareレシピの「Split into chunks」プロセッサー等を利用して、チャンキングを行っておく必要はございます。)

    現時点での回答としては、以上のようになりますが、まずはご確認をいただけますと幸いです。

Answers

Welcome!

It looks like you're new here. Sign in or register to get started.

Welcome!

It looks like you're new here. Sign in or register to get started.