Pattern Recognition and Machine Learning

81：karino2：2017/05/26(金) 18:26:21: 9.2.2の最後のまとめで、少し立ち止まって考えてみたい。

log尤度の9.28式にはzは出てこない。
これが全てを表しているのだから、理想的にはzは必要無い。

ではzはどこに出てくるかといえばガンマだ。
n番目のサンプルがk番目のクラスタに「属している具合」というか、重みというか、そういう数（9.23）

その区別を入れる事でクラスタごとの平均や分散を計算出来て、それを元にまたlog尤度を更新出来る。

もともとMステップの3つの式、9.24から9.26までの式は、理論上は制約は無く対数尤度を最大化すれば良い。
でもそれをそのまま最適化するとそれぞれの変数が複雑に依存して解けない。
そこで、間にzという変数を追加し、

パラメータ0＞z0＞パラメータ1＞z1

と交互に更新していく事にした訳だ。
パラメータ0からパラメータ1に進む方法は分からないが、z0に進む方法は分かる。
で、z0からパラメータ1に進む方法も分かる。
これは再急降下では無いが、前より下がっている事は保証されている。

この必要無かったzを間に挟む事でパラメータ0から1に進む方法が分かる、というのが、>>75 でうだうだ言っている事だろう。

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板