Japan User Group (Data Haiker)
-
DSSのメモリを解放したい
メモリ不足が原因と思われるエラーで処理が実行できないことが続いています。 ノートブックのカーネルをシャットダウンする以外にメモリを解放する方法はありますでしょうか? jupyter notebookで!topを実行した結果なのですが、Rのノートブックもカーネルをシャットダウンしているのにメモリが解放されません。DSSの設定画面などで操作できるのでしょうか? また、USERに書いてあるユーザーが誰なのか組織内で特定する方法はありますか? dssuser+がRを使っているようで、これが自分じゃないかと思うのですが、実行したい処理が終わったらちゃんとメモリを解放してそれを確認する、ということもしたいです。 よろしくお願いいたします。
-
LLM の埋め込みレシピの結果をデータセットとして出力
LLMの埋め込みレシピを使って、テキストを埋め込みベクトルに変換し、そのテキストと埋め込みベクトルを一緒にデータセットとして出力することは可能でしょうか?
-
LLMレシピのファインチューニングについて
LLMレシピでファインチューニングを行う場合、以下の添付の画像のように「Fine-tuning not available:your license does not allow you to use this recipe」とポップアップがでており、使用できません 調べてみると以下のドキュメントがさしあたり、LLM Mesh add onなるものが必要とのことでした。このことについても調べてみても目的の情報が見つけることができていません。 ファインチューニングレシピの実装について詳しいドキュメントを教えていただけますでしょうか。
-
pythonレシピで生成し、マネージドフォルダにpickleしたモデルのファインチューニング
タイトル通り、pythonレシピで生成し、マネージドフォルダにpickleしたモデルが有れば、そのモデルを読み込んで追加のエポックを回したり、ファインチューニングするような処理を検討しています。 しかし、同一のマネージドフォルダをpythonレシピのインプットとアウトプット両方にするとエラーが発生してしまいます。 マネージドフォルダからさらに中のモデルを別のマネージドフォルダに移して、それを読み込むなどの実装はデータの冗長性の観点から避けたいと考えています。…
-
Hugging faceのモデル追加について
LLM MeshのHugging face で埋め込みを行う際にデフォルトのモデルだけでなく違うモデルも追加してみたいのですがどのようなやり方で追加するのでしょうか?またAPI tokenが必要になるのでしょうか。 追加したいモデルはintfloat/multilingual-e5-largeです。
-
処理速度について
異なるDataiku Cloudの環境で同じフローを構築したのですが、処理にかかる時間が大きく異なります。 原因としてDataiku Coludを立ち上げているインスタンスの性能が影響しているからでしょうか? 特にPythonレシピに大きな差が生まれます。 また、処理速度を速める方法をして何かございますでしょうか?
-
内部統計データ(シナリオの実行)の取得が出来ない
https://doc.dataiku.com/dss/latest/connecting/internal-stats.html 上記URLにあるように、internal stats datasetからsenario runsのtypeを選択すれば、環境内のシナリオ実行履歴が取得できると想定してデータセットを作ろうとしましたが、以下のようなエラー文でアクセスが拒否されます。 You may not create a StatsDB dataset DataikuCloudでData Designerのユーザープロファイルをもっています。 こちらはどのような権限があれば見れるデータセットなのでしょうか。
-
Sentence Embeddingのエラーについて
プラグイン Sentence Ebeddingsを使ってみたところ以下ようなエラーがでました。 調べてみたところプラグインのcode envのscipy.linalgからtriuがインポートできないようです。 エラーログは以下のようになります 対処法など教えていただけないでしょうか
-
インストール版においてデータ接続ができなくなりました。
本日、7月17日にインストール版のアップデートを行ったところデータへの接続ができなくなり、コードレシピやモデルのトレーニングができなくなってしまいました。なにか行わなければいけない処理があるのでしょうか。 Windows11でブラウザはchromeを使っています。 Operating system used: Windows 11
-
ビジネスソリューション アップデート情報
Dataiku ビジネスソリューションの新しいリリース(店舗セグメンテーション)と更新(顧客満足度レビュー)がありましたので、ご連絡します。小売・CPG系のお客様で、すぐに活用可能なユースケースとして、ぜひご活用ください! 店舗セグメンテーション(Store Segmentation) このソリューションを使用すると、人口統計データと売上データを使用して類似した特性を持つ店舗をグループ化し、業務を最適化できます。データ主導のアプローチにより、店舗計画、商品割り当て、プロモーション戦略、品揃えの実行に役立ちます。 顧客満足度レビュー(Customer Satisfaction)…