What ifの「Optimize outcone」機能について
AutoMLのResult画面でWhat ifがあり、その中で結果の最適化として、「Optimize outcone」という機能がありますが、そちらについて3つ質問があり、ご回答いただくことは可能でしょうか?
①「Optimize outcome」機能では、指定した探索領域からどのように最適値を探索しているか。
②「Optimize outcome」を実行した際に、計算される「Plausibility」が95%は何を示しているのか。また何を根拠に計算しているか。
③各変数のmin max設定を外挿領域に設定した場合も計算できるか、その時の予測精度も「Plausibility」で確認できるか。
よろしくお願いいたします。
Answers
-
Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 449 Dataiker以下、回答させていただきます。
①「Optimize outcome」機能では、指定した探索領域からどのように最適値を探索しているか。
「Optimize outcome」機能のロジックは、内部仕様のため公開されていない部分もありますが、基本的な考え方としては以下のようになるはずです。
- 指定された探索領域に基づいて、シミュレーション対象のランダムなデータを複数生成
- 生成した各データを対象モデルに適用して、目的変数の値を算出
- 算出された一連のレコードから、最適値に近いもののみを最終的に絞り込んで表示
②「Optimize outcome」を実行した際に、計算される「Plausibility」が95%は何を示しているのか。また何を根拠に計算しているか。
上記1の回答に記載のように、各データはランダムに生成された組み合わせであり、元々の学習データの分布を考慮した場合、これらのデータがどれくらい実現可能性があるかを示しています。
「計算の根拠」については、特定のアルゴリズムを利用して、「学習データの分布に対して、どれくらい外れ値ではない組み合わせか」を計算しているはずです。
③各変数のmin max設定を外挿領域に設定した場合も計算できるか、その時の予測精度も「Plausibility」で確認できるか。
上記1,2の回答に記載のロジックで計算しているはずですので、「各変数のmin max設定を外挿領域に設定した場合」においても、計算や「Plausibility」の確認は可能と考えられます。