CS 20SI: Tensorflow for Deep Learning Research

7：karino2：2017/03/13(月) 00:36:56: せっかくなのでword2vecの別のサイトも見るか、という事でまずdeeplearning4jを見てみる。
https://deeplearning4j.org/word2vec.html

そのあと深層学習の本も読んだが、けっきょくのところskip-gramを前提とすると、

1. 単語を適当な行列にかけてベクトルにする
2. ターゲットとなる教師データは前後n個の単語、その一つをzと置く
3. xとzの内積をソフトマックスしたものがzの表現確率となるとして、この値を最大化

という感じかなぁ（p237）。
xとzを得る所がばしっと書いて無いのがなんか不安になる所だが、元論文を読んでも隠れ層が無いニューラルネット、という書き方でバシっと式が書いて無い。
自分の理解では単に行列かけるだけ、と思う。

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板