Pattern Recognition and Machine Learning

1：karino2：2016/12/14(水) 09:33:24: Pattern Recognition and Machine Learning (Information Science and Statistics)

いわゆるPRML。
機械学習の定番教科書として有名だが、難しい事でも有名。

https://www.amazon.co.jp/dp/0387310738
2：karino2：2016/12/14(水) 09:35:14: 勉強会に向けて三章を読んでる。
当番じゃないので計算とか追わずに文章だけ読んでた所、3.3.3でついていけなくなる。

p158あたりからついていけてない気がする。
3：karino2：2016/12/14(水) 10:11:13: 3.4のベイズの視点から見たモデル選択、面白いね。
MCMCの計算で理解があやふやだった手続きの一部が大分理解出来た。
3.73のあたりは良く分からず。
4：karino2：2016/12/15(木) 07:13:19: 3.78あたりで良く分からなくなって、アルファってそもそもなんだっけ？と思って3.51くらいまで戻るも良く分からん。

これって1章でベイズ的に取り扱うとレギュラリゼーションがこのハイパーパラメータから出るぜ、という話があったよなぁ。
ずずーっと戻ると、1.65でwのpriorのprecision paramになってるな。
たぶんこれだな。
5：karino2：2016/12/15(木) 07:19:46: ベータの起源も見直すと（3.7）と（3.8）のあたり。
つまりファイとwの積の和に、そこからベータの逆数で分布してるケースを考えていたのだった。

それを踏まえると3.77式は、太字tの観測される確率を、priorの幅と真の値からの誤差の幅を想定して最大化する訳か。
6：karino2：2016/12/15(木) 07:46:24: 3.86に多項式fittingの例を当てはめる話。
Mが2で低下するのはどこからくるのか？
3.86を見ると、Mが効いてくるのは第一項だけ？

ln αはマイナスなのか。
αがこんなに小さい値なのは、priorが幅広い事に対応してる。
αの幅広さとは何かというと、データを観測する前の段階の「不確かさ」みたいな確信だよな。

観測したデータに合わせすぎると、このpriorの分からない具合が抵抗みたいな効果になるのか。
ちょっとイメージ湧いた。
7：karino2：2016/12/15(木) 08:22:31: 3章読み終わり。
3.3.3のEquivalent kernelはそんなに理解出来てないが、6章の時に頑張ればよかろう。

3章は結構挫折しそうな感じだったので、乗り切れて一安心。

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）