FoxTheory - 1504872629 - したらば掲示板

1：任意たん@age推奨：2017/09/08(金) 21:10:29: 【ゴースト名】 FoxTheory
【作者名】 Nao
【配布サイト】こんうか（おきつね伺かZip企画）
https://foxukagaka.wixsite.com/foxukagaka
【紹介やコメント】
◆Theme
　"Relentless pursuit of the knowledge"
　内容は理論物理学に関連したトークが中心です。
　そのほかに"知識"をテーマとした機能をいくつか実装しています。
2：任意たん@age推奨：2017/09/08(金) 21:21:35: 専門じゃないと軽くついていけないレベルの理論物理学トークと、
論文取得・検索機能、
DeepLearning(Word2Vec)による文章から単語の意味の足し引きを推測する機能、
形態素解析と正規表現を利用した構文解析による会話モジュールと、
よくぞ伺かのプラットフォームでここまで…としか言えないレベルの実装をされておられるゴーストさん

使い方とか動かす上での注意とか、けっこういろいろコツがありそうなのでスレ立てますた
3：任意たん@age推奨：2017/09/08(金) 21:37:03: とりあえず、wikipediaからの学習時は「+」「-」をつけないと単語として認識されないとか
まずはそんなところでつまづいたりしてます
4：任意たん@age推奨：2017/09/08(金) 22:20:49: Nao氏の動画見つつさわさわしてる…

エラー落ちしたりすると「他ゴーストからの学習を許可する」が〇でも、他ゴからの学習が止まる
（words\ghostlearned 以下にファイルが生成されない・ファイルサイズが増加しない）ことがあるけど
もっかい「他ゴーストからの学習を許可する」を〇→×→〇とし直したらだいじょぶだった
5：任意たん@age推奨：2017/09/08(金) 22:50:42: 一度は本クリック→Updateしておかないと、
最近の研究Pick-upが空のトークになっちゃうっぽい？
6：任意たん@age推奨：2017/09/08(金) 23:31:03: まだまだWord2Vecすらよくわかってないけれど…
とりあえず一緒に出てくるスコアは Cosine Similarity の値で、
1に近いほうが、入力した単語（の単語ベクトル）に対して類似度（近接性）が高いと読めばいいのかしら？
7：任意たん@age推奨：2017/09/08(金) 23:38:01: 学習結果のファイルをチラ見して
違うよ、ユーザは Pervert じゃないよ
仮に Pervert だとしても Pervert という名の紳士だよ
とリサさんへの弁解が思い浮かぶ程度にはアレなことに気づくなど

まだ20kBにもいってないのにこのありさま…
ちょっと触りすぎたか…
8：任意たん@age推奨：2017/09/09(土) 00:04:14: ううむ…？
「他ゴーストからの学習を許可する」状態で、
他ゴーストに追加シェルやnarを投下すると、なんか処理が止まって、強制終了するしかなくなる…？
9：任意たん@age推奨：2017/09/09(土) 01:20:45: yayaの処理はやっぱりむつかしいな…ACCESS VIOLATIONで二、三度SSPが落ちたけど、どこでこけたのやら…

会話する（Conversation_Begin）を選んでコミュ開始しても、
yaya_conversation.dic の処理が呼ばれてなくて、
yaya_communicate2.dic の方だけしか処理されてない…？
コミュ文の打ち方が悪いのかなあ

そういえば、Nao氏が動画中で使っておられるバルーンは何ていうバルーンなんだろう
色合いとゴーストイメージ的とサイズ感で「bookshelves」使ってみてるけども
10：任意たん@age推奨：2017/09/09(土) 06:09:25: すまねえが英語はサッパリなんだ
11：任意たん@age推奨：2017/09/09(土) 09:24:28: シェル制作の流れとか開発中のツイートとかたまに見てたけど、こんうかで公開されたのか
いろいろとすげーのは分かるけどトーク内容難しい……でも理解できたら楽しそう
とりあえずリサちゃんかわいい！
12：任意たん@age推奨：2017/09/09(土) 11:24:07: 数学は自然科学における共通言語でもある、と大学入ってすぐの基礎解析学で教わったけれども
リサさんのトーク聞いてて本当にそうだよなと再認識しました（震え声）
数学が苦手で化学屋になったようなやつじゃ全くついていけないレベルだぜ…
13：任意たん@age推奨：2017/09/09(土) 15:04:52: なんだ頭よくないと愛でられないような子なのか…？
14：任意たん@age推奨：2017/09/09(土) 15:17:43: へー勉強になるなーでも良いのよ
15：任意たん@age推奨：2017/09/09(土) 15:50:25: あるいは難解な話をするところがかわいいみたいな見方もできる
今のとこ反応はそう多くないけど、なでたりしても普通にかわいいよ
16：任意たん@age推奨：2017/09/09(土) 16:01:01: おう、言っとることはよう分からんが、なんかすごいこと勉強しとるんじゃのう！えらいのう！的な
ガハハ系おじいちゃんが孫をかわいがる感じでなでなでしつつ
のんびり他ゴさんから学習してもらうといいんじゃなかろうか

とりあえずゆみるさんシェルつながりで何人かにご協力いただいています
17：任意たん@age推奨：2017/09/09(土) 18:05:06: 言ってる事はよくわからないけど体まさぐる分には問題ないな！
18：任意たん@age推奨：2017/09/09(土) 19:10:55: 学習させ方がよくわからん……
他のゴーストと一緒に立てとくだけじゃダメなんかな？
ゴーストからの学習は許可にしてます
19：任意たん@age推奨：2017/09/09(土) 19:37:50: CPU Core i7-3520M @ 2.90 GHz
Mem 空き8.5GB/トータル16GB
Win 10 x64 の環境で、
他ゴーストからの学習を許可した状態で、他ゴに何かファイルをドロップすると、
ACCESS VIOLATION でSSPごと落ちるか、延々と処理中になっちゃう感…？
OnFileDrop系のイベントがまずいのかなあ

単語の加算・減算はちゃんとできてるし、
DeepLerning(wikipedia)やDeepLerning(with Ghosts)を実行すると
（タスクマネージャで見てる限り） Word2Vec_saori.exe が動いてくれてるので、
動作してるはず…なんだけど
「会話する」で yaya_communicate2.dic しか動いてないっぽい
（よく分からない…ごめん。しか返ってこない）のもちょっと気になる…

>>18
>>4 みたいに再設定してもダメ？
20：任意たん@age推奨：2017/09/09(土) 19:58:43: っと、「会話する」で yaya_communicate2.dic しか動いてないっぽいというのは
「会話する」を選んで出てくる入力窓に
「SSPって知ってる？」と打ち込む→「よく分からない…ごめん。」が返ってくる、だったからでした

…なんでか、「会話する」を選んでも
OnWord2Vec_wiki の方の入力窓が開く時がある（必ず開くわけじゃない）のはなぜなのか…

ソースめっちゃきれいだしコメントもしっかりしてるから読むのは全く問題ないんだけど、
yaya自体の知識がなくて処理を追いかけられない…ぐぬぬ
21：18：2017/09/09(土) 20:22:26: 再設定しなくても、ゴースト名のテキストファイルは出来るんだけど、中身は空行がずーっと続いてるだけなんだよな……
22：任意たん@age推奨：2017/09/09(土) 20:26:53: >>21
今見たら、俺も「途中から」そうなってた
（ファイルサイズはちゃんと増加し続けてるけど、中身が途中から空行が続くだけになってる）
最初の方にはちゃんとトークの内容を含んだ部分があるので、そこは違う点っぽい…？
23：任意たん@age推奨：2017/09/09(土) 22:47:46: 更新来たか！
青空文庫の標準はShift-JISだし、BOMありのUTF-8に変換してD&Dしてみたが…
Books_all.txt は生成されるけど、中身は0bytesの空になっちゃうな

>>21
今別のゴーストさん立ち上げてみたら、たぶん同じ状態になった
（4bytesづつ増加してるけど、\r\n×2が増えてってるだけになってる）
うまくいくときと、空行しか読み取れないときがあるね…？
24：任意たん@age推奨：2017/09/09(土) 22:59:28: >>23 の状態（他ゴからの学習がうまくいってない状態）だと、
テキストファイルをD&Dしてもparseが空（0bytes）で出力されちゃう…？
なお再度ねとわく更新して、 bookslearned, bookshelf ディレクトリが生成された状態です

一度「ジーキル博士とハイド氏__parse.txt」を削除して、
bookshelf ディレクトリ内の「ジーキル博士とハイド氏.txt」をD&Dして×だったので、入力ファイルに問題があるわけではない…はず…
25：任意たん@age推奨：2017/09/09(土) 23:15:54: kisaragi.dll がちゃんと呼ばれて動いてるかどうか確認するにはどうしたらいいのだろう…
うまく呼び出せてないっぽいことはわかるのだけど、なぜ呼び出せてないのか…エラーコードすら出ないとさっぱりだぜ…
26：任意たん@age推奨：2017/09/09(土) 23:27:53: ふむむ…>>19の環境の者ですが

>>23補足
・一度この状態になると、以前正常に取得できていたゴーストさんでも空行しか出力されない状態になる様子
（ words\ghostlearned ディレクトリ内のファイルをすべて削除して、
　再度、昨日は正常取得できてた Dream of butterfly の立羽さんに立ってもらったのですが、
　改行しか取得できない状態になってました。
　ファイル自体は生成・追記されるんですが…）

>>24補足
・ファイル自体は正常に生成されました（ジーキル博士とハイド氏__parse.txt自体は生成されてる）→ので、FOPEN,FCLOSEはだいじょぶっぽい
・ただ、中身は空っぽ→形態素解析が全く処理されてない感
27：任意たん@age推奨：2017/09/09(土) 23:42:39: ん、んー…？
「ジーキル博士とハイド氏.txt」をD&Dした後の処理を玉で見てみたところ、
文字コード設定がおかしくなってるような。

// request to library
// name : D:\PortableApps\ssp\ghost\__00_お気に入り\FoxTheory\ghost\master\SAORI\kisaragi\kisaragi.dll
EXECUTE SAORI/1.0
Charset: Shift_JIS
Sender: AYA
SecurityLevel: Local
Argument0: parse
Argument1: 　そのあとで、彼は一日中旅館の私室の暖炉にむかって、爪を噛みながら腰かけていた。（長いので以下略、ちゃんと読み込みはできてるっぽいです
28：任意たん@age推奨：2017/09/09(土) 23:49:55: …処理終了直前のところで、一つエラーが。
文字コードじゃなくて、このディレクトリがないのが原因…？

// response (Execution time : 0[ms])
SAORI/1.0 200 OK
Charset: Shift_JIS
Result: -1
Value0: param.cpp(69) [ifs] no such file or directory: D:\PortableApps\ssp\ghost\__00_お気に入り\FoxTheory\ghost\master\SAORI\kisaragi\dic\dicrc

// response (Execution time : 18250[ms])
SHIORI/3.0 200 OK
Sender: AYA
Charset: UTF-8
Value: \1\s[10]\0\0\s[2]新しい本？\w9ありがとう！\w9\w9\0\s[1]\nタイトルは…\w5…\w5ジーキル博士とハイド氏か、\w5読んでみるね。
29：任意たん@age推奨：2017/09/09(土) 23:57:49: うーむ。
\SAORI\kisaragi\dic\ を見直してみたところ、dicrc ファイル自体はありました。
中身も Configuration file of IPADIC から始まってるので、別に壊れてるわけでもないはず…あれー？
パスに日本語（２バイト文字）入ってるのがダメとか…？
30：任意たん@age推奨：2017/09/10(日) 00:02:45: …うん、kisaragi.dll のあるパスに、日本語入ってるとダメ、かな？

D:\PortableApps\ssp\ghost\__00_お気に入り\FoxTheory\ → D:\PortableApps\ssp\ghost\FoxTheory\
に移動して（昨日の状態に戻して）、再度処理してみると、
テキストファイルのD&Dのパースも、他ゴさんからの学習も、うまくいくようになりました！
31：任意たん@age推奨：2017/09/10(日) 00:23:30: >>30 の追記です。
ディレクトリ移動したこと自体がまずかったのかも、ということで
D:\PortableApps\ssp\ghost\FoxTheory\ → D:\PortableApps\ssp\ghost\_TEST\FoxTheory
ともう一度ディレクトリ移動させて確認してみたんですが、この場合は問題なく動作しました。
なので、パスに2バイト文字入ってると no such file or directory: 吐くんじゃないかなーと。

自分の場合、「最初は問題なく学習できてたのに、途中から学習できなくなった」のはたぶんこれが理由っぽいです。
「最初から全く学習ができない」パターンの方は、
ssp本体をドライブのルートに置いてみる（C:\ssp\ とか）といいのでは、と思いました。ご参考まで。
32：Nao：2017/09/10(日) 02:03:01: いろいろ報告をいただいて助かりました、作者のNaoです。
DeepLearningモジュール実行の際にはそれなりに大きなプログラムを動かすので、ネットワーク更新を行っても動作が改善しない場合は空きメモリをチェックしてみてください。
また>>31氏の指摘の通り、ゴーストまでのパスに2バイト文字(全角文字)が含まれているとうまく動作しない場合があるようです。
こちらはちょっと修正に時間がかかるので、また後ほど修正する予定です。

>>9
動画で使用していたバルーンはこちらhttp://khmix.sakura.ne.jp/ghost.shtmlのAero Glassを使用していました。
33：任意たん@age推奨：2017/09/10(日) 02:32:11: 遅くまでお疲れ様です…！バルーン情報もあざます！
今後も楽しみにしてますー。
34：任意たん@age推奨：2017/09/10(日) 20:04:33: オドラデクの魂の叫び（例：オッオゥ）を早く演算してみたい… +ォォ-オッ+オゥとかどうなるのか…
35：Nao：2017/09/10(日) 21:27:58: >>31で報告された、SAORIまでの絶対パスに2バイト文字が含まれていると形態素解析が正常に動作しない問題を修正しました。
36：任意たん@age推奨：2017/09/10(日) 21:39:41: >>35
素敵！！
早速試してみます乙です！！
37：任意たん@age推奨：2017/09/10(日) 21:40:45: 更新乙です！
とりま、2バイト文字が含まれるパスでも正常動作するの確認できましたー！
38：任意たん@age推奨：2017/09/12(火) 06:50:38: 結局他のゴーストと一緒に立たせて
Learned_ALLを○にしているけど
覚えているのか覚えていないのかよくわからない・・・
39：任意たん@age推奨：2017/09/12(火) 10:45:10: >>38
master¥words¥ghostlearnedやbookslearnedを見てみたら？
40：任意たん@age推奨：2017/09/12(火) 18:33:35: フォルダ内にある（ゴースト名）__（\0名）txtを開いてみて
「中身が空行ばっかりじゃなくて、ちゃんと単語が分かち書き（「授業遅刻寝坊」みたいな感じに）されてる行がある」
のが確認できたら大丈夫

ファイルサイズが10kBを超えてるなら、
Deep Learning(with Ghosts) で「+単語」とやってみて、関係ありそうな単語をリサさんが言ってくれたら
着々と学習が進んでいると考えておｋなはず

・Word2Vecの都合上、単語の頭に「+」「-」をつけないと、単語として認識してくれない
・単語はゴーストのトーク中で出てきた言葉（＝↑の学習結果ファイル内に記載がある単語、上記例なら授業遅刻寝坊のいずれか）を入力しないといけない、
の２点にだけ注意すればいいとおもう