Pattern Recognition and Machine Learning

32：karino2：2017/01/06(金) 22:41:37: ちょっと各章長くなりすぎなのでもうちょっと軽く眺めたい。

4.3はp(C_k│x)を直接最尤法で推定する、との事。Cが確率分布してると最尤法にならない気がするが、、、
少し見ていこう。

4.3.1で将来に向けて基底を変換する話が。これまでは簡単の為にやってなかったが別にやっても同じ結果になってる。

4.3.2でクラスの事後確率を直接sigmoid関数でモデリングしてる。
4.89では尤度関数を定義している。これは通常の尤度関数だが、これがp(C_1│Φ)で表されるらしい。
なるほど。
これをパラメータで微分して4.91が得られる。ここから数値計算で答えは出るとの事。
最後にオーバーフィッティングするからMAP推定する方が良いとの事（正規化項足す事に相当）

4.3.3ではこれを求める良い漸近法の話。
IRLSと言うらしい。、

4.3.4はマルチクラス化。

4.3.5はクラスをもとにしたxの分布が指数族じゃない時でも使えるactivate 関数として、probit regressionというのを考えている。

4.3.6は正規分布の回帰とロジスティック関数のactivationでの分類で同じ結果の式となる事が、もっと一般に指数族とcanonical link関数というactivation関数の組み合わせで成り立つ、という話。

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板