Hugging faceのモデル追加について

Koji · August 29

LLM MeshのHugging face で埋め込みを行う際にデフォルトのモデルだけでなく違うモデルも追加してみたいのですがどのようなやり方で追加するのでしょうか？またAPI tokenが必要になるのでしょうか。

追加したいモデルはintfloat/multilingual-e5-largeです。

Tsuyoshi · September 2

@Koji そして、ナレッジバンクのSettingsでは、そのCode Envを指定しているという理解で合っていますでしょうか？

Tsuyoshi · September 2

@Koji これまでいただいた情報より、Embedレシピで指定しているCode Envについては、問題がなさそうであるということを確認しました。そこで、もう一点確認していただきたい点は、以下のドキュメントに記載のLocal Hugging Faceモデル自体のCode Env設定となります。こちらの設定内容についても、問題はなさそうでしょうか？
https://doc.dataiku.com/dss/latest/generative-ai/huggingface-models.html#create-a-huggingface-connection

上記の点について問題が無く、さらに問題が発生する場合、レシピのdiag logだけでなく、インスタンス側のdiag log（backend.log）の確認が必要となってきます。状況によっては、製品サポート経由での調査をお願いするかもしれませんが、まずは上記の点について、ご確認をいただけますと幸いです。

Tsuyoshi · August 29

LLM Meshのコネクション設定で「ADD MODEL」をクリックすることにより、モデル追加が可能と思いますが、この点はいかがでしょうか？

（上記について、追加したモデルを実際に利用可能かどうかは、私の環境では試せていないため、実際の動作についてはご確認をいただけますと幸いです🙇‍♂️）

Koji · August 29

Tsuyoshi

ありがとうございます。そのままでの添付の画像通りでよかったのですね。実際にModelIDに実装したい内容のIDを入力していたのですがエラーがでていたため確認になりました。（もしかしたらtokensやEmmbeding sizeがまちがっていたかもしれません）

再度検証してみます

Tsuyoshi · August 29

@Koji ご確認ありがとうございます。上記のような内容でモデル定義は可能だと思うのですが、実際にモデルの利用が可能かどうかは私も確認できていない状況です。もしエラーが発生するようでしたら、エラー内容を教えていただけますともう少し調査できるかもしれません。引き続きよろしくお願いいたします。

Koji · August 30

@Tsuyoshi

Emmbeding recipeを実行すると以下のようなエラーがでます

Tsuyoshi · August 30

@Koji ありがとうございます。例によりまして、Jobの方に詳しいログが出力されていると思いますので、そちらの情報もいただけますでしょうか？

Tsuyoshi · August 30

@Koji 先ほどはDiagnostic LogをDMいただき、ありがとうございました。

ログに以下のメッセージが出力されていました。まずはこの点を解決していただく必要があると思います。

ModuleNotFoundError: No module named 'langchain'

以下のような点も含めて、Code Envの設定をご確認いただけますでしょうか？
https://doc.dataiku.com/dss/latest/generative-ai/rag.html#create-a-code-env

Koji · September 2

https://community.dataiku.com/discussion/comment/44353#Comment_44353

@Tsuyoshi

こちらCode Env にlangcahinをインストールするという認識で合ってますでしょうか。こちらインストールし実行してみたところ以下のようなエラーが出ます。エラーをざっと見る限り、huggingface_hubを入れてほしいという風に読み取れるのですが、Code Envに入れてみたものの同様のエラーがでてしまいます。

こちらはInitialization scriptを修正しないといけないのでしょうか？(Diagnositic logをDMへ送ります)

https://developer.dataiku.com/latest/tutorials/machine-learning/code-env-resources/hf-resources/index.html

Tsuyoshi · September 2

@Koji ログのご提供をいただきまして、ありがとうございます。ログに「No module named 'huggingface_hub'」と出力されていますので、やはり、まずはその点を解決していただく必要があると思います。

「Code Envに入れてみたものの同様のエラーがでてしまいます」とのことですが、指定先のCode Envはどちらになりますでしょうか？ドキュメントに記載のように、以下スクリーンショットの要領で定義したCode Envに対して、「huggingface_hub」を追加されたという理解で合っておりますでしょうか？