Pattern Recognition and Machine Learning - 1481675604

1：karino2：2016/12/14(水) 09:33:24: Pattern Recognition and Machine Learning (Information Science and Statistics)

いわゆるPRML。
機械学習の定番教科書として有名だが、難しい事でも有名。

https://www.amazon.co.jp/dp/0387310738
2：karino2：2016/12/14(水) 09:35:14: 勉強会に向けて三章を読んでる。
当番じゃないので計算とか追わずに文章だけ読んでた所、3.3.3でついていけなくなる。

p158あたりからついていけてない気がする。
3：karino2：2016/12/14(水) 10:11:13: 3.4のベイズの視点から見たモデル選択、面白いね。
MCMCの計算で理解があやふやだった手続きの一部が大分理解出来た。
3.73のあたりは良く分からず。
4：karino2：2016/12/15(木) 07:13:19: 3.78あたりで良く分からなくなって、アルファってそもそもなんだっけ？と思って3.51くらいまで戻るも良く分からん。

これって1章でベイズ的に取り扱うとレギュラリゼーションがこのハイパーパラメータから出るぜ、という話があったよなぁ。
ずずーっと戻ると、1.65でwのpriorのprecision paramになってるな。
たぶんこれだな。
5：karino2：2016/12/15(木) 07:19:46: ベータの起源も見直すと（3.7）と（3.8）のあたり。
つまりファイとwの積の和に、そこからベータの逆数で分布してるケースを考えていたのだった。

それを踏まえると3.77式は、太字tの観測される確率を、priorの幅と真の値からの誤差の幅を想定して最大化する訳か。
6：karino2：2016/12/15(木) 07:46:24: 3.86に多項式fittingの例を当てはめる話。
Mが2で低下するのはどこからくるのか？
3.86を見ると、Mが効いてくるのは第一項だけ？

ln αはマイナスなのか。
αがこんなに小さい値なのは、priorが幅広い事に対応してる。
αの幅広さとは何かというと、データを観測する前の段階の「不確かさ」みたいな確信だよな。

観測したデータに合わせすぎると、このpriorの分からない具合が抵抗みたいな効果になるのか。
ちょっとイメージ湧いた。
7：karino2：2016/12/15(木) 08:22:31: 3章読み終わり。
3.3.3のEquivalent kernelはそんなに理解出来てないが、6章の時に頑張ればよかろう。

3章は結構挫折しそうな感じだったので、乗り切れて一安心。
8：karino2：2016/12/15(木) 09:01:06: この本はなかなか凄い本だ。

線形回帰なんて分からない事無いだろう、と読んでいたが、自分の理解よりもずっと深い所の議論が続く。
これが実務に直接役に立つかは分からないが、次の時代とかに備えるにはこういうレベルで理解してないといけないのだろうなぁ。
いわんや時代を生み出したい人をや。
9：karino2：2016/12/15(木) 10:06:14: 調子に乗って4章も読み始め。
4.1.5まで読む。
Fisher Discriminantはtargetに適当な変換を加えた最小二乗法だ、という話。
ちゃんと幾何学的に何を意味するか真面目に考えてないが、結果はいかにもありそうなので気にせず先に進む事に。

この辺は分類器としてあまりにも出来が悪くて真面目に読む気が起こらない（例示の為なので読まないといけないのは頭では分かるが、、、）