What ifの「Optimize outcone」機能について

k_hanai
k_hanai Partner, Registered Posts: 31 Partner

AutoMLのResult画面でWhat ifがあり、その中で結果の最適化として、「Optimize outcone」という機能がありますが、そちらについて3つ質問があり、ご回答いただくことは可能でしょうか?
①「Optimize outcome」機能では、指定した探索領域からどのように最適値を探索しているか。
②「Optimize outcome」を実行した際に、計算される「Plausibility」が95%は何を示しているのか。また何を根拠に計算しているか。
③各変数のmin max設定を外挿領域に設定した場合も計算できるか、その時の予測精度も「Plausibility」で確認できるか。

よろしくお願いいたします。

Answers

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 452 Dataiker

    以下、回答させていただきます。

    ①「Optimize outcome」機能では、指定した探索領域からどのように最適値を探索しているか。

    「Optimize outcome」機能のロジックは、内部仕様のため公開されていない部分もありますが、基本的な考え方としては以下のようになるはずです。

    1. 指定された探索領域に基づいて、シミュレーション対象のランダムなデータを複数生成
    2. 生成した各データを対象モデルに適用して、目的変数の値を算出
    3. 算出された一連のレコードから、最適値に近いもののみを最終的に絞り込んで表示

    ②「Optimize outcome」を実行した際に、計算される「Plausibility」が95%は何を示しているのか。また何を根拠に計算しているか。

    上記1の回答に記載のように、各データはランダムに生成された組み合わせであり、元々の学習データの分布を考慮した場合、これらのデータがどれくらい実現可能性があるかを示しています。

    「計算の根拠」については、特定のアルゴリズムを利用して、「学習データの分布に対して、どれくらい外れ値ではない組み合わせか」を計算しているはずです。

    ③各変数のmin max設定を外挿領域に設定した場合も計算できるか、その時の予測精度も「Plausibility」で確認できるか。

    上記1,2の回答に記載のロジックで計算しているはずですので、「各変数のmin max設定を外挿領域に設定した場合」においても、計算や「Plausibility」の確認は可能と考えられます。

Setup Info
    Tags
      Help me…