Think Outside the Box

自分のメモのために。

モデルの評価基準について

残差平方和

\sum_{i=1}^{n} {\hat{y_i}-{y_i}}

  • 残差平方和は高次な式ほど小さい値になりやすい

Mellowsの C_p基準

詳細はこの資料

http://www.orsj.or.jp/~archive/pdf/bul/Vol.23_05_280.pdf

にありそう。だけど結構むずい。。

情報量基準

構築したモデルの予測値を確率分布で表して、 真の確率分布との距離をカルバック・ライブラー情報量と呼ばれる基準を用いて測る

この距離自体は、「モデルの当てはまりの良さ」のみを評価するのではなく、 「このモデルを将来のデータの予測に利用しても大丈夫かどうか」という観点で見ている

　カルバック・ライブラー情報量

最尤法によって推定された確率分布モデルが、データを発生した真の確率分布にどれだけ近いかを測ることを考える。 データを発生された真の分布 g(y)を近似するために、想定した確率分布を

\mathcal{F} = \{ f(y|\theta); \theta \in \Theta \subset {R}^{p} \}

とする。( \Thetaは線形回帰でいうと回帰係数などのパラメータとなる。このパラメータ \thetaは最尤法によって推定する)

”真の確率分布 g(y)"が”想定した確率分布モデル”に含まれるということは、 ある \theta \in \Thetaが存在していて、 g(y) = f(y|\theta_0) と表すことができる状態。

今後このモデルを利用していって大丈夫なのかを判断するため、 真のモデルからランダムに取ってきたデータ集合 z \in Zの従う分布 g(z)を、構築した統計モデル f(z|\hat{\theta})で 予測した時の平均的な良し悪しを測る。

→この g(z)と f(z|\hat{\theta})の分布の距離を測るのが「カルバック・ライブラー情報量」となる

\displaystyle{ I\{g(z; f(z|\hat{\theta}))\} = E_G[ \log{\frac{g(z)}{f(z|\hat{\theta})}} ] - E_G[ \log{g(z)} ] - E_G[ \log{f(z|\hat{\theta})} ]}

とかける。

  • 左の項： E_G[ \log{\frac{g(z)}{f(z|\hat{\theta})}} ]

ここのモデルには依存せず、一定の値をとるので、無視してOK

  • 右の項： E_G[ \log{f(z|\hat{\theta})} ] = \int{ \log{f(z|\hat{\theta})g(z) dz}}

これは、未知の真の確率分布 g(z)に依存するため、この値を計算できない。

したがって、この式をどうやって推定するのかという話に帰着する。

AIC

E_G[ \log{f(z|\hat{\theta})} ]は、 g(z)に依存していて未知なる値だが、観測したデータから推定することはできる。 等確率にデータが取れると仮定して

\hat{g(z)} = \frac{1}{n}, z=y_1, y_2, \dots, y_n

で推定する。この結果、平均対数尤度の推定量として、

E_G[ \log{f(z|\hat{\theta})} ] = \log{f(y_1 | \hat{\theta}(y))\hat{g}(y_1)} + \dots + \log{f(y_1 | \hat{\theta}(y))\hat{g}(y_n)} = \frac{1}{n} \sum_{i=1}^{n} \log f(y_i | \hat{\theta}(y))

をえる。

ただし、これらの推定値は標本分布に従っていて、真の分布ではない。また全く同じ値が取り出されていることもあることによるバイアスなども考慮しないといけない。

最終的には、

情報量基準 

= -2 * (統計モデルの対数尤度 - バイアス補正項 ) 

= [tex: -2 \log{f(y|\hat{\theta})}]  + 2(バイアス補正項)

という式で表せるらしい。 (この式に持って行くまでがよくわからない...)

参考

https://www.amazon.co.jp/%E5%A4%9A%E5%A4%89%E9%87%8F%E8%A7%A3%E6%9E%90%E5%85%A5%E9%96%80%E2%80%95%E2%80%95%E7%B7%9A%E5%BD%A2%E3%81%8B%E3%82%89%E9%9D%9E%E7%B7%9A%E5%BD%A2%E3%81%B8-%E5%B0%8F%E8%A5%BF-%E8%B2%9E%E5%89%87/dp/4000056530