Pattern Recognition and Machine Learning

24：karino2：2017/01/06(金) 10:44:07: 3.5 モデル選択の続きでハイパーパラメータをどう決めるか、という話。
ターゲットの予測分布を得るには理論的にはパラメーターとハイパーパラメーターでマージナライズすれば良いが、現実的にはなかなか難しい。
そこで、パラメーターだけ積分してハイパーパラメーターは最尤法で解く近似をしよう、という話。
これがEvidence Approximationとかemprical Bayesとかgeneralized maximum likelihoodとか呼ばれるらしい。

で、3.5.1で線形ガウスモデルでパラメーターwについて積分してハイパーパラメーターの尤度関数を求めている。（3.86が結論）
その後何故か多項式の次数による話に戻るが、気にしなくて良いんじゃないか。

3.5.2では最尤法でハイパーパラメーターを決めるべく、（3.86）の最大値を求める。
（3.92）がアルファの結論だが、ガンマがアルファ含んでるのでここから数値解析で解くらしい。

ベータも同様に解いて（3.95）が得られる。

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板