機械学習のMetricsの表記について

jun-suzuki
jun-suzuki PartnerApplicant, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 6 ✭✭✭

機械学習のMetricsの表記にある「(±NN%)」は何を表すのでしょうか。

※参考画像の黄色部です。

Comments

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 213 Dataiker

    ご質問の意図としては、Metricsに「±」が付いている点であると理解しました。

    各Metricsは誤差を表す指標のため、予測値が実際の値より上振れする場合(+)と下振れする場合(-)の両方があり、そのために「±」の記号が付いています。

  • jun-suzuki
    jun-suzuki PartnerApplicant, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 6 ✭✭✭

    @TsuyoshiK

    ご回答頂きありがとうございます。

    例えばキャプチャの一番上の行にあるMAPE18.044%(±25.377%)において、25.377%は何を表すのでしょうか。

    よろしくお願いいたします。

  • Tsuyoshi
    Tsuyoshi Dataiker, PartnerAdmin, Dataiku DSS Core Designer, Dataiku DSS ML Practitioner, Dataiku DSS Adv Designer, Registered Posts: 213 Dataiker

    @jun-suzuki

    ご連絡ありがとうございます。ご質問の背景を理解しました。この「±25.377%」はMLモデルのK-Foldクロスバリデーションを有効にした場合に表示されます。

    Capture d’écran 2023-12-13 à 10.56.34.png

    K-Foldクロスバリデーションでは、K回検証を行うため、K回分の数値が記録されます。
    この平均値に対して、最大・最小のケースで数値がどれくらい乖離しているか(Margin)を表したものが「±25.377%」ということになります。

    例えば、Kが5の場合の例として、以下Pythonコードの計算結果を参考にしていただけると思います。

    image (8).png

Setup Info
    Tags
      Help me…