Partitionでモデル作成時のEvaluate Storeの作成について
Partitionを行ってモデルを作成した場合、Evaluate Storeが作成することはできないのですが、これは現状での仕様でしょうか？
また、Evaluate Storeと同様の結果をPartitionモデル作成時でも出したい場合はPythonレシピを使う必要がありますでしょうか？
Best Answer
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 319 Dataiker以下、回答いたします。もしご不明な点がございましたら、ご連絡ください。
Partitionを行ってモデルを作成した場合、Evaluate Storeが作成することはできないのですが、これは現状での仕様でしょうか？
はい。以下ドキュメントに記載の通り、現時点では当該機能の仕様となっております。
https://developer.dataiku.com/latest/concepts-and-examples/model-evaluation-stores.html#limitationsまた、Evaluate Storeと同様の結果をPartitionモデル作成時でも出したい場合はPythonレシピを使う必要がありますでしょうか？
はい。同様なレポートを出力したい場合、現状ではコードレシピ等を利用した対応が必要となります。
Answers
-
ありがとうございます。ちなみにデプロイしたモデルのパーティションの項目ごとの評価指標を取得するにはどのようなAPIを利用すればよろしいでしょうか？APIのドキュメントを参考にしてもうまくいかないでのご教授いただければ幸いです。
-
補足になりますが、Eavaluate StoreにおけるPerformence driftの部分になります。パーティションの項目ごとにパフォーマンスドリフトと同じような結果を出そうと思っています
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 319 Dataiker
@Koji
現状のModel Evaluate Store機能では、「パーティションモデル項目ごとの評価指標取得」に対応していないため、Dataiku自体のAPIは提供していないことになります。このため、実現方法としましては、以下のような方法が考えられます。- コードレシピを利用して、パーティションモデルを実行（Score）した後のデータセットと正解データが格納されているデータセットを取得する。
- 上記データセットに格納されているデータ（仮にそれぞれ y_probs、y_true とします）に対して、以下のライブラリーなどを利用して必要な各指標を計算し、その結果を出力する。
参考：メトリクス計算に利用可能なライブラリー 「sklearn.metrics」
https://scikit-learn.org/stable/api/sklearn.metrics.html以上、もしご不明な点がございましたらご連絡ください。よろしくお願いいたします。
-
承知しました。