LLMメッシュ使用時の料金確認
![Koji](https://us.v-cdn.net/6038231/uploads/Dataiku/nAvatar17.png)
LLMメッシュを使用時、OpenAIなどAPIを用いるときトークン数に応じた料金はどこで表示されますでしょうか?
Comments
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 99 Dataiker
プロンプトスタジオ(Prompt Studio)画面にて、プロンプトの結果1000件に対する概算コストを確認できます。(トークン単位での表示ではなく、レコード単位の概算(参考値)となります。その点はご了承ください。)
説明は以下リンクのドキュメントに記載されていますので、こちらもご参照ください。
https://knowledge.dataiku.com/latest/ml-analytics/gen-ai/concept-prompt-studio.html#test-cases
また、トークン単位という観点では、コネクション定義画面にて、以下のような情報を確認することが可能です。(こちらも、参考値ではありますので、その点はご了承ください。)
そして、現状ではインストール版のみに対応していますが、「Compute Resource Usage」というテンプレートを利用することで、ダッシュボードからコストの情報を確認することも可能です。以下のドキュメントをご参照ください。
https://knowledge.dataiku.com/latest/solutions/governance/solution-cru.html#llm-usage-dashboard
(2024-3-21追記)上記、取り消し線の部分について訂正させてください。
ダッシュボードの提供方針に変更があり、今後は上記の「Compute Resource Usage」ではなく、以下プレスリリースに記載の「LLM Cost Guard」を利用してコストを確認する方針となりました。
https://www.dataiku.com/ja/プレスリリース/generative-ai-cost-monitoring-solution/
具体的な提供形態については、明確になり次第、あらためてご連絡したいと思いますので、何卒よろしくお願いいたします。
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 99 Dataiker
以前ご連絡しました以下の回答について、変更点がございましたので、ご連絡いたします。
> そして、現状ではインストール版のみに対応していますが、「Compute Resource Usage」というテンプレートを利用することで、ダッシュボードからコストの情報を確認することも可能です。以下のドキュメントをご参照ください。
> https://knowledge.dataiku.com/latest/solutions/governance/solution-cru.html#llm-usage-dashboard
ダッシュボード提供の方針に変更があり、今後は上記の「Compute Resource Usage」ではなく、以下プレスリリースに記載の「LLM Cost Guard」を利用してコストを確認する方針となりました。
https://www.dataiku.com/ja/プレスリリース/generative-ai-cost-monitoring-solution/
具体的な提供形態については、現在詳細を詰めている状況ですので、明確になり次第、またご連絡したいと思います。どうぞよろしくお願いいたします。