モデルのトレーニングが失敗する
Mac OSでインストールしたDataikuを利用しています。
モデルをトレーニングしたところ以下エラーが出ます。
エラーに従ってインストールが必要なのでしょうか？
Failed to train : <class 'xgboost.core.XGBoostError'> : XGBoost Library (libxgboost.dylib) could not be loaded. Likely causes: * OpenMP runtime is not installed - vcomp140.dll or libgomp-1.dll for Windows - libomp.dylib for Mac OSX - libgomp.so for Linux and other UNIX-like OSes Mac OSX users: Run `brew install libomp` to install OpenMP runtime. * You are running 32-bit Python on a 64-bit OS Error message(s): ["dlopen(/Users/gen/Library/DataScienceStudio/kits/dataiku-dss-13.1.2-osx/python37.packages/xgboost/lib/libxgboost.dylib, 0x0006): Library not loaded: /usr/local/opt/libomp/lib/libomp.dylib\n Referenced from: <4D0FF2E5-E6B5-33EC-95A4-F63DEE574377> /Users/gen/Library/DataScienceStudio/kits/dataiku-dss-13.1.2-osx/python37.packages/xgboost/lib/libxgboost.dylib\n Reason: tried: '/usr/local/opt/libomp/lib/libomp.dylib' (no such file), '/System/Volumes/Preboot/Cryptexes/OS/usr/local/opt/libomp/lib/libomp.dylib' (no such file), '/usr/local/opt/libomp/lib/libomp.dylib' (no such file), '/usr/local/lib/libomp.dylib' (no such file), '/usr/lib/libomp.dylib' (no such file, not in dyld cache)"]
Answers
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 108 Dataiker私も同様な事象が発生したことがあり、その際は、以下コメントに記載の内容でエラーを解消することができました。
一方で、上記の内容だけでは解決できず、さらに以下の情報を参考にすることで解決できたとのお話も（Slack版Data Haikerコミュニティ内で）ありましたので、その情報のリンクも記載しておきます。
https://webrandum.net/cannot-install-under-rosetta2-in-arm-default-prefix/また、日本語でお問合せをいただく場合、以下の日本語コミュニティにご投稿をいただきますと、日本のメンバーに発見される確率が高まりますので、今後はこちらをご利用いただけますと幸いです！
-
Tsuyoshiさん、ご回答ありがとうございます。
そもそもが分かっておらず大変申し訳ないんですが、
ご教授いただいたコードはMacのターミナルに入れるものなのでしょうか？
仕組みが分かっておらず、
Deployment typeにManaged by DSSを入れた場合はMacのpython環境ではなく、
dataiku特有の環境で構築されるのでしょうか？
MacにはPython11を入れているのですが、以下のように「Not avalilable」のままでして。
前に使っていたときにはこのコード環境設定をどうしていたのか記憶が無く、教えていただけると幸いです。
-
Turribeach Dataiku DSS Core Designer, Neuron, Dataiku DSS Adv Designer, Registered, Neuron 2023 Posts: 1,926 NeuronHi Ken, I really wish you could post your questions in English so they can get more visibility for english speakers which are most people in this forum. I used Google Translate to translate your question. You can do the same. With regards to your question in order to be able to to create code environments with a specific Python interpreter version you need to:
- Install the relevant Python interpreter version in your system following the correct procedure. This making sure you are installing the Python interpreter as an additional interpreter and not overwritting an existing Python installation
- Make sure the new Python interpreter bin directory is added to the PATH environment variable that the Dataiku user to start the DSS services uses. On MacOS this would be something like /Library/Frameworks/Python.framework/Versions/3.10/bin for Python 3.10
- Make sure you restart DSS after installing any new Python interpreters or adding them to the PATH environment variable.
Thanks
Automatic translation to Japanese:
こんにちは、ケン。このフォーラムのほとんどのユーザーである英語話者にもっと目立ってもらえるように、英語で質問を投稿していただければと思います。私は Google 翻訳を使ってあなたの質問を翻訳しました。あなたも同じことができます。あなたの質問に関して、特定の Python インタープリタ バージョンでコード環境を作成できるようにするには、次の操作を行う必要があります。
1 適切な手順に従って、関連する Python インタープリタ バージョンをシステムにインストールします。これにより、Python インタープリタが追加のインタープリタとしてインストールされ、既存の Python インストールが上書きされないようになります。
2 新しい Python インタープリタの bin ディレクトリが、DSS サービスを開始するために Dataiku ユーザーが使用する PATH 環境変数に追加されていることを確認します。MacOS では、Python 3.10 の場合は /Library/Frameworks/Python.framework/Versions/3.10/bin のようになります。
3 新しい Python インタープリタをインストールした後、または PATH 環境変数に追加した後は、必ず DSS を再起動してください。
ありがとうございます -
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 108 Dataiker
@Ken_012 さん、ご連絡ありがとうございます。
まずは、以下に回答させていただきますが、もしご不明な点などございましたら、ご連絡ください。＞ご教授いただいたコードはMacのターミナルに入れるものなのでしょうか？
→はい。Macのターミナルからコマンドを実行していただくことになります。
＞Deployment typeにManaged by DSSを入れた場合はMacのpython環境ではなく、
＞dataiku特有の環境で構築されるのでしょうか？→いえ、必ずしもそうではなく、通常は任意のPythonバージョンを選択可能です。
「dataiku特有の環境」は、添付していただいた画像の「Python 3.7」が該当するはずですが、
その他のPythonバージョンをインストールされている場合、それらのバージョンも利用可能になっているはずです。（以下の画像のような感じです）
＞MacにはPython11を入れているのですが、以下のように「Not avalilable」のままでして。
→上記の点を考えますと、確かに想定とは異なる挙動に見えます。例えば、Macのターミナルから以下のコマンドを実行した場合、バージョンは「Python 3.11.x」が表示されますでしょうか？
python --version
