Added on August 29, 2024 5:38AM
Likes: 0
Replies: 13
LLM MeshのHugging face で埋め込みを行う際にデフォルトのモデルだけでなく違うモデルも追加してみたいのですがどのようなやり方で追加するのでしょうか？またAPI tokenが必要になるのでしょうか。
追加したいモデルはintfloat/multilingual-e5-largeです。
@Koji これまでいただいた情報より、Embedレシピで指定しているCode Envについては、問題がなさそうであるということを確認しました。そこで、もう一点確認していただきたい点は、以下のドキュメントに記載のLocal Hugging Faceモデル自体のCode Env設定となります。こちらの設定内容についても、問題はなさそうでしょうか？
Running HuggingFace models — Dataiku DSS 13 documentation
上記の点について問題が無く、さらに問題が発生する場合、レシピのdiag logだけでなく、インスタンス側のdiag log（backend.log）の確認が必要となってきます。状況によっては、製品サポート経由での調査をお願いするかもしれませんが、まずは上記の点について、ご確認をいただけますと幸いです。
LLM Meshのコネクション設定で「ADD MODEL」をクリックすることにより、モデル追加が可能と思いますが、この点はいかがでしょうか？
（上記について、追加したモデルを実際に利用可能かどうかは、私の環境では試せていないため、実際の動作についてはご確認をいただけますと幸いです🙇♂️）
ありがとうございます。そのままでの添付の画像通りでよかったのですね。実際にModelIDに実装したい内容のIDを入力していたのですがエラーがでていたため確認になりました。（もしかしたらtokensやEmmbeding sizeがまちがっていたかもしれません）
再度検証してみます
@Koji 先ほどはDiagnostic LogをDMいただき、ありがとうございました。
ログに以下のメッセージが出力されていました。まずはこの点を解決していただく必要があると思います。
ModuleNotFoundError: No module named 'langchain'
以下のような点も含めて、Code Envの設定をご確認いただけますでしょうか？
Retrieval-Augmented Generation — Dataiku DSS 13 documentation
こちらCode Env にlangcahinをインストールするという認識で合ってますでしょうか。こちらインストールし実行してみたところ以下のようなエラーが出ます。エラーをざっと見る限り、huggingface_hubを入れてほしいという風に読み取れるのですが、Code Envに入れてみたものの同様のエラーがでてしまいます。
こちらはInitialization scriptを修正しないといけないのでしょうか？(Diagnositic logをDMへ送ります)
基本的にはRAG用のpackegesに加えてその他必要なhuggingfaceに必要なライブラリなどを追加しています。そのうえでhuggingface_hubも追加しています。code envで追加の際は特にエラーは起きてはいないようです。ちなみに環境としてはPython3.9を使用しています。
ご確認ありがとうございます。こちらご指摘の通り、ConnectionのほうのCode envの設定ができてなかったようでした。修正したところLLMレシピが実行できました。ありがとうございます！
