LLMメッシュ使用時の料金確認

Options
Koji
Koji Dataiku DSS Core Designer, Registered Posts: 12 ✭✭✭

LLMメッシュを使用時、OpenAIなどAPIを用いるときトークン数に応じた料金はどこで表示されますでしょうか?

Comments

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 75 Dataiker
    Options

    プロンプトスタジオ(Prompt Studio)画面にて、プロンプトの結果1000件に対する概算コストを確認できます。(トークン単位での表示ではなく、レコード単位の概算(参考値)となります。その点はご了承ください。)

    Monosnap (2) Review translation - Prompt Studio _ Dataiku 2024-02-06 17-16-26.png

    説明は以下リンクのドキュメントに記載されていますので、こちらもご参照ください。

    https://knowledge.dataiku.com/latest/ml-analytics/gen-ai/concept-prompt-studio.html#test-cases

    また、トークン単位という観点では、コネクション定義画面にて、以下のような情報を確認することが可能です。(こちらも、参考値ではありますので、その点はご了承ください。)

    Monosnap Image 2024-02-06 17-29-36.png

    そして、現状ではインストール版のみに対応していますが、「Compute Resource Usage」というテンプレートを利用することで、ダッシュボードからコストの情報を確認することも可能です。以下のドキュメントをご参照ください。

    https://knowledge.dataiku.com/latest/solutions/governance/solution-cru.html#llm-usage-dashboard

    (2024-3-21追記)上記、取り消し線の部分について訂正させてください。

    ダッシュボードの提供方針に変更があり、今後は上記の「Compute Resource Usage」ではなく、以下プレスリリースに記載の「LLM Cost Guard」を利用してコストを確認する方針となりました。

    https://www.dataiku.com/ja/プレスリリース/generative-ai-cost-monitoring-solution/

    具体的な提供形態については、明確になり次第、あらためてご連絡したいと思いますので、何卒よろしくお願いいたします。

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 75 Dataiker
    Options

    以前ご連絡しました以下の回答について、変更点がございましたので、ご連絡いたします。

    > そして、現状ではインストール版のみに対応していますが、「Compute Resource Usage」というテンプレートを利用することで、ダッシュボードからコストの情報を確認することも可能です。以下のドキュメントをご参照ください。

    https://knowledge.dataiku.com/latest/solutions/governance/solution-cru.html#llm-usage-dashboard

    ダッシュボード提供の方針に変更があり、今後は上記の「Compute Resource Usage」ではなく、以下プレスリリースに記載の「LLM Cost Guard」を利用してコストを確認する方針となりました。

    https://www.dataiku.com/ja/プレスリリース/generative-ai-cost-monitoring-solution/

    具体的な提供形態については、現在詳細を詰めている状況ですので、明確になり次第、またご連絡したいと思います。どうぞよろしくお願いいたします。

Setup Info
    Tags
      Help me…