基礎からのベイズ統計学 - 1460296130

1：karino2：2016/04/10(日) 22:48:50: 「ハミルトニアンモンテカルロ法による実践的入門」というサブタイトルがついている。

公式サイト:
http://www.asakura.co.jp/books/isbn/978-4-254-12212-1/
(朝倉書店のサイトからスクリプトがダウンロード出来る。これがまた素晴らしい）

ベイズ統計学のうち、MCMCでのシミュレーションを中心とした本。
「基礎からの」という言葉に嘘は無く、本当に基礎的な所から始まる。
文系の読者も視野に入れて書いたとの事で、実際本当に文系向けと思える解説もある。

ただし、決して簡単な本では無い。
説明はとても丁寧でかなり初歩的な所からしっかりと解説があるが、最終的には実際にシミュレーションを行う。
しかもシミュレーションは一回や二回では無く、かなりの部分が実際にシミュレーションをする事を前提に書かれている。
これを全部追うのは相当大変だし、とても実力もつく。

基礎からのベイズ統計学、を始める
http://karino2.livejournal.com/397528.html
2：karino2：2016/04/11(月) 00:32:31: 今日は4章の章末問題の波平釣果問題をMH法で解いてみるのをやっていた。
慣れれば10行とかで解けるのだが、慣れるまでは結構大変。

次はランダムウォーク法で解け、との事だが、ちょっと疲れたので続きは明日。
3：karino2：2016/04/11(月) 18:05:21: 練習問題はまだ4章だけど、読むだけは先に進んでいる。
あんまり真面目に式とかは追ってないけど。

現在は6章が読み終わった。
生成量作ってEAP評価、のワンパターンで全部扱えるのが凄いね。
一旦シミュレーションまで理解してしまえば頻度主義の統計よりむしろ簡単なんじゃないか。
4：karino2：2016/04/11(月) 18:37:29: 7章の所を読んでて、ちょっと分からんな、とコードを見てみたら、Stanというのが使われている。
何をしているのかは見ればだいたい分かるが、事前分布の指定だけどこでしているのか良く分からない。
一様分布が仮定されるのかしら？とググってたら、どうもそうの模様。

http://logics-of-blue.com/stan%E3%81%AB%E3%82%88%E3%82%8B%E3%83%99%E3%82%A4%E3%82%BA%E6%8E%A8%E5%AE%9A%E3%81%AE%E5%9F%BA%E7%A4%8E/

ふむ、modelブロックで指定出来るのか。
5：karino2：2016/04/11(月) 21:45:59: 4章の練習問題一通り解けたヽ(´ー｀)ノ

4.9の結果が推定されたシータ使って二項分布で解いたら0.34になって、シミュレーションの0.295と随分違うのが気になるが、、、

MH法は大分理解出来た。
6：karino2：2016/04/11(月) 22:13:34: Notebookで章末問題を解いてみた。
たまに答えが変な時はRのコードを動かしてみて違いを見たりしている。

https://gist.github.com/karino2/2d8a897cbd0cffac7ea687d6ca4a927f

現在4章が終わった。次は5章でHMC法！
7：karino2：2016/04/13(水) 11:48:40: 波平問題を追試しているが、p114のrを求める時のp(t)が弾く後、というのが分からない。
詳細釣り合い条件は弾く前と弾く後でも成立していないとダメなのでは？
8：karino2：2016/04/13(水) 13:11:37: わかった！4.18のシータをpと置き換えて考えれば、独立なp_0とp_randomの間ではこの条件は必ず満たされる！
だからp_0からp_randomの遷移はいつもacceptしてOK。

詳細釣り合い条件とはp_0に居る確率密度にp_randに遷移する確率をかけた物は、p_randに居てp_0に遷移する確率と等しい、と言える。
居る確率と遷移する確率は同じなのだから、両者の積は当然一致する。
9：karino2：2016/04/13(水) 13:41:29: 偶然(じゃないが)詳細釣り合い条件が満たされる遷移を見つけたら、あとは遷移を繰り返していくと定常分布が得られる。
今回はハミルトニアンを保存するように移動する遷移は詳細釣り合い条件を満たす、ということを見つけた訳だ。
あとはひたすら遷移させていけば良い。

シータは連続変数だが、適当に始めて、それを遷移させていくとやがて定常分布が得られる。
マルコフ過程なので全空間に遷移しうる。
10：karino2：2016/04/13(水) 14:56:06: ようやく5章の5.6.1の正規分布の推定の再現までが終わった。
いやぁ、少し複雑なのを試すと理解が甘い事が分かるな。

でもようやくだいたい理解出来たと思う。
なかなか複雑だよなぁ。
11：karino2：2016/04/14(木) 23:12:39: 5章の章末問題解き終わり。
6章からはStanを使ってるんだよな、どうしよう？
12：karino2：2016/04/15(金) 15:38:36: 8.4までは一通り読んだ。
8.5と8.6はややこしい上に使うかどうかも良く分からないので、必要になったらよめば良いかなぁ。
という事で飛ばそう。
13：karino2：2016/04/17(日) 06:53:06: pystanはconda installでバイナリパッケージを入れたらbinonialなんちゃら、とかいうヘッダでlogがambiguousだ、とか言われて動かなかった。
自前でビルドしたらビルドの途中でヒープを使い果たして落ちた。

あまり真面目に追う気も起こらないので、RStanを入れようと思うが、いまいち途中からR、というのも気が乗らない。
どうしようかなぁ。
14：karino2：2016/04/17(日) 07:05:57: RToolsへのパスにスペースがあると動かないとか言われてやる気を失う。
以後は気が向いたらいつかやる、くらいでいいか。