CS 20SI: Tensorflow for Deep Learning Research - 1489317317

1：karino2：2017/03/12(日) 20:15:17: http://web.stanford.edu/class/cs20si/index.html

TensorFlowのがっつりとした入門コースだが、そのまま結構新しめの機械学習の問題にも取り組む。
TensorFlowの入門が凄くしっかりと出来ていて、TensorFlowがどういう物か凄く良く分かる。

動画は無くて講義資料としてスライドとコードのみ公開だが、二日目くらいまで見た範囲ではこれだけで十分に思う。
2：karino2：2017/03/12(日) 20:25:29: githubのコードを眺めていて気づいたが、

例えば 03_logistic_regression_mnist_starter.py が穴あきの問題文であり、
03_logistic_regression_mnist_sol.pyが回答のようだ。
3：karino2：2017/03/12(日) 20:28:23: 最初variableとplaceholderの違いが良く分からなかったが、variableは次のイテレーションまで値を維持したりトレーニング用の変数を表したりするものか。
PlaceHolderは単純に値を代入して実行する何かっぽいな。
4：karino2：2017/03/12(日) 20:35:48: 4日目のword2vecを見始め。
negative samplingとかnoise constrastive estimationとか知らない…
5：karino2：2017/03/12(日) 22:19:09: この辺からは自分で書いてみたいなぁ、と思うが、環境作るのがかったるいのでとりあえず先に進む。

nn.embedding_lookupって単なる行列の掛け算じゃないの？と思いドキュメントを読む。
https://www.tensorflow.org/api_docs/python/tf/nn/embedding_lookup

なるほど、indexで分散される感じかしらね。
この辺はどっかでもうちょっと下の方勉強したいなぁ。
6：karino2：2017/03/12(日) 22:39:39: word2vecは元論文を軽く読んだ事あるが、このスライドだけじゃ何やってるか良く分からんなぁ。
そしてコードも何を計算しているのか良く分からない。

せめてcenterとtargetが何か教えてくれよ、という気がする。
この辺は別の所で勉強して、コード例と割り切るくらいが良いかもなぁ。
7：karino2：2017/03/13(月) 00:36:56: せっかくなのでword2vecの別のサイトも見るか、という事でまずdeeplearning4jを見てみる。
https://deeplearning4j.org/word2vec.html

そのあと深層学習の本も読んだが、けっきょくのところskip-gramを前提とすると、

1. 単語を適当な行列にかけてベクトルにする
2. ターゲットとなる教師データは前後n個の単語、その一つをzと置く
3. xとzの内積をソフトマックスしたものがzの表現確率となるとして、この値を最大化

という感じかなぁ（p237）。
xとzを得る所がばしっと書いて無いのがなんか不安になる所だが、元論文を読んでも隠れ層が無いニューラルネット、という書き方でバシっと式が書いて無い。
自分の理解では単に行列かけるだけ、と思う。
8：karino2：2017/03/13(月) 00:41:05: お、lecture noteが良くかけているな。読んでみよう。
9：karino2：2017/03/13(月) 00:47:55: そこからリンクされてたこのスライドがword2vecの入門には良いね。

http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture2.pdf

これにはcenterとかの定義が書いてある。なるほど。xがcenterでzがcontext wordね。
10：karino2：2017/03/13(月) 01:17:13: このスライドのp19が素晴らしいな。これこそ自分の知りたかったバシッとした表現だ。
それにしてもこれはどの位大きなタブレット使っているのだろう？