CS 20SI: Tensorflow for Deep Learning Research

13：karino2：2017/03/13(月) 22:46:25: 途中まで論文を読んだあと、>>11 のブログ記事に戻ると、NCEがなんとなくわかった気がする。
ノーマライズを真面目に計算すると大変だから、勝手にノーマライズされるようにパラメータのトレーニングを細工する。

その為の細工の方法。
ユニグラムからサンプルされるノイズ単語とトレーニングセットで出てきた単語を混ぜて、それらを分類するロジスティック回帰を作る。
混ぜる比は1:k。
で、実際にこのロジスティック回帰を学習する時のコスト関数の期待値のうち、ノイズ側をkのサンプル結果の平均で近似する。

そしてこのロジスティック回帰を最大化するようにパラメータを学習すると、ちょうど都合よく最後のアウトプットの層がノーマライズされた値に近くなる。

感覚的にはImportance Samplingと似たように、ユニグラムからサンプリングしつつ
その重みを少し調整する訳だ。
その調整の具合はユニグラムの単語k個と実際のトレーニングデータ1個を見比べて、重みを調整していく。
この調整具合をロジスティック回帰で判断させるのだろうなぁ。

あんまりしっかりとは理解出来てないが、雰囲気は分かった。

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板