htmltodatサポートスレッド - 1038588508

1：</b><font color=#FF0000>（L44UP/ps）</font><b>：2002/11/30(土) 01:48: QA・要望等受け付けるかもしれない（？）スレッドです。
作者にスキルがないのでできないことが多いかとは思います。
805：名無しさん：2014/10/01(水) 20:42:17: ダブルクリックの件はreadme.txtのわかりやすい所に書いといて欲しかったです(一括変換は割とよく使う為)
ソート後処理.prmは問題無く解凍できるようになりました
ありがとうございました
806： ◆/vmukiyuzw：2014/10/01(水) 21:02:38: >>805
意外でしたが一括変換にはまだニーズがあるんですね。
次のバージョンアップでは復活を検討します。
807： ◆/vmukiyuzw：2014/10/19(日) 20:13:28: http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/198,206

↑で実験しているのは、Fiddlerっていうツールを使って
ローカルプロキシ経由でのhtmltodat的処理を試しているものですが
htmltodatの「read.cgi7.00？」の正規表現をベースにスクリプト化したものを
使っています。
で、このスクリプトを弄っているうちに、read.cgiからのhtmlを
生datとほぼ一致するdatに変換できるようになりました。
ので、その成果（というほどのものでもないか）をこちらにもフィードバックしておきます。
>>799,801 への修正という形になります。

コメント：
# 2chのログでhtml化されているがdatに残っていないものを変換。
# 元datに近づけるためアンカー削除はオフにし
# 後処理で不要なもののみ削除する。

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

アンカー削除：
false

プレビューを表示しない：
true

後処理：
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# BE周りの処置
s#<img src="http://(img\.2ch\.net/.+?)">#sssp://$1#igk
# 以下はhtmltodatの内部処理に組み込まれているので不要
#s#<a href=.?javascript:be$(\d+)(?:,\d+)?$.*?>\?(.*?)</a>#BE:$1-$2#igk

正規表現：
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?<b>(.+?)</b>(?:</font>|</a>) ?：(.*?)<dd>(.*?)<br><br>(<dt.*?>|</dl>)#mi
808：名無しさん：2014/12/13(土) 03:49:50: ttp://geass2chlog2.web.fc2.com/main/1149586971.html
上のようなページをdat化するにはどうしたらよいのでしょうか
よろしければ教えてください
809：名無しさん：2014/12/13(土) 04:12:31: >>808
そのページの先頭にある『元のスレッド』の文字列上を右クリしてリンクをコピー
http://anime.2ch.net/test/read.cgi/anime3/1149586971/
これをhtmltodatに投げればおｋ

専ブラで過去ログ取得の設定がしてあればそのままのリンクをアドレスバーに貼り付けるだけでも可なんだけど
もしかするとボードデータの更新を怠っていたり板一覧取得先のURLが死んでたりすると
http://hayabusa6.2ch.net/test/read.cgi/anime3/1149586971/
という現行鯖のリンクに切り替わらないのでそんな時もhtmltodatがあれば大丈夫
810：名無しさん：2014/12/13(土) 05:39:10: あ、ごめん
完全補完ということなら2ch過去ログパラメータじゃ無理だわ
811：808：2014/12/13(土) 17:56:11: 2005年6月頃から2007年1月頃までの間のアニメ板のログが全て見れない状態なんですよね
なのでこの間のログは「みみずん」や「２ちゃんねるの国」等のミラーサイトから取得しているのですが全て揃っているわけでもなく…
ttp://geass2chlog2.web.fc2.com/main/index000.htmlのように2chに似た形でログを残してくれているサイトもいくつか存在しているので
これらをうまくdatに変換できないかと思い質問しました
812： ◆/vmukiyuzw：2014/12/13(土) 19:38:10: >>808さん
そのサイトについては以下のようなのでいけると思います。
一応prmファイルの形式で書いてますが、前処理等はいらなさそうなので
従来の使い方（正規表現一覧に登録して使用）のほうが楽かもしれません。
その場合コメントは無視してください。

コメント：
# アニメ板過去ログ保存サイトgeass2chlog2.web.fc2.comの変換用
# 正規表現は「read.cgi7.00？」を修正したもので上位互換性あり

正規表現：
m#<dt.*?>\s*([0-9]+).+?(?:"mailto:(.+?)">)?<b>(.+?)</b>(?:</font>|</a>)*\s?：(.*?)<dd>(.*?)<br><br>(<dt.*?>|</dl>|<script)#mi
813：名無しさん：2014/12/13(土) 20:42:35: >>812
無事変換できました
ありがとうございました
814： ◆/vmukiyuzw：2014/12/13(土) 23:00:10: >>809さん
多分、htmltodat-convert2をお使いでテストスレのほうに投稿くださった方ですよね？

> http://anime.2ch.net/test/read.cgi/anime3/1149586971/

このスレはうちの環境からはhtmltodat-convert2で>>807相当のprmファイルを使っても読めなかったです。
汎用ブラウザで開こうとしても「あなたは間違った道を歩んでいます誠に申し訳ございません。」
のエラーメッセージが返されます。

現状2ch.netではdatでは読めない過去ログでもread.cgi叩けば大抵読めるようですが
それでもやはり取れないログはあるようです。
一時期サーバが物理的に死亡して外部サイトからログを募集してたこととかありましたね。
あの辺のログは2ch.netのサーバには存在してないのかもしれませんね。
815：名無しさん：2014/12/14(日) 00:13:52: >>814
件のスレは908レスまで取得できたんだけど何が違うんだろう
816： ◆/vmukiyuzw：2014/12/14(日) 00:50:38: >>815
>>808のログには1001レスまであるので、もしread.cgiから取得できるのであれば
こちらも1001レスないとおかしいですよね。
調べたらみみずんから取得できるログは908レスまでのようです。
Getlogコマンドとの併用辺りでどこかで勘違いがあるのでは。
817：名無しさん：2014/12/14(日) 03:54:00: みみずん←ｿﾚﾀﾞ!!
Xeno本体内蔵のみみずん機能の切り忘れでした大変申し訳ない
818： ◆/vmukiyuzw：2014/12/27(土) 20:56:26: したらばの過去ログの取得方法が変更されたということなので
（旧URL：http://jbbs.shitaraba.net/カテゴリ/板番号/storage/スレッド番号.html
　新URL：http://jbbs.shitaraba.net/bbs/read_archive.cgi/カテゴリ/板番号/スレッド番号/　）

htmltodatで変換できるか確認してみたのですが、htmlの形式に変更はないようで
従来の正規表現「jbbs過去ログ」で変換可能なようです。

せっかくなんでこの際prmファイル化も考えておこうかなと思ったんですが
実はあんまりやる事がない・・・
旧URLから新URLへ飛ばすために「URLの変換」を指定するのかなと思ったんですが、
これはしたらば側でリダイレクトで飛ばしてくれるようなので
（でhtmltodatはリダイレクトを追尾するようになってるので）
当面これも指定する必要がなさそうなんです。
で、prmファイルをあえて作るなら以下の一行のみでOK。

正規表現=jbbs過去ログ
819： ◆/vmukiyuzw：2015/01/18(日) 22:59:05: 2ch.netのread.cgiが返すhtmlの形式が微妙に変更されているようです。
最近導入されたCloudFlareの仕様なのか設定なのか、
メール欄をエンコードして難読化する機能があり（ボット等に収集され
スパムに利用されるのを防ぐためのものらしい）、今まで

<a href="mailto:sage">

みたいな形式でメール欄が表現されていたのが

<a href="/cdn-cgi/l/email-protection#abd8caccce">

みたいになります。
（全部のレスがそうなるわけじゃなく途中から元の形式に戻ってたりするのが
いまいちよくわからんのですが）

で、エンコード部分をデコードするのにはアルゴリズムがあるので
JavaScriptとか使えば難しくはなさそうですが
正規表現だけでやろうと思うとちょっと厳しそう。
てことでhtmltodat的に考えると現状で変換するのはちょっと無理かな・・・

んで、今後どうするかですが。
現状では>>807のprmファイルで変換すると<a href="/cdn-cgi～のタグは
無視されるだけなので単にメール欄がないレスとして扱われます。
とりあえずこの現状で勘弁してもらえるか。
htmltodatの機能として対応するとなるとなかなか面倒そう。
一番うれしいのはCloudFlareの設定変えてもらってメール欄のエンコードを
やめてもらえるといいんですがね・・・2chサイドから見ると特にメリットもデメリットも
なさそうなんで望みは薄いかなぁ。
820： ◆/vmukiyuzw：2015/01/19(月) 21:10:48: >>819に関連して
2chのread.cgiのレスポンスが変更されてるので、ミラーしてるログ速なんかにも
影響でてるんじゃないかと思って調べてみたんですが
ログ速がうまくやってるのか特に影響はなかったみたいです。

ただ、ログ速のhtml形式がいつの間にか微妙に変更されていて
今までの記述ではうまくマッチしなくなってる
（エラーになるわけではないがdat中に不要なタグが混入する）
ようなので修正してみました。
正規表現に拡張形式を使ってみたのでhtmltodatのバージョン0.11.2以上で
使ってください。

コメント：
# ログ速変換用-20150119
# ID周りの変更に対応

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<span class="id_color.*?>(ID)</span>(:)<span.*?>(.*?)</span>(.*?)\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?>.*?<img .*?></div>##igk
s#<(iframe|img class).+?<br/>##g;
# <br/>タグに対応してない専ブラへの対応
s#<br/>#<br>#igk

プレビューを表示しない：
false

変換結果式：
$2<>$3<>$4<>$5<>

正規表現：
m`
(?# レス番号) <div\sid="(\d+)".*?
(?# 名前) <span\sclass="n?em">.*?<b>(.+?)</b></span>.*?
(?# メール欄) \[(.*?)\].*?
(?# 投稿日・ID) ：(.*?)\s*
(?# レス内容) <div\sclass="comment">(.*?)</div>
`imkx
821： ◆/vmukiyuzw：2015/01/24(土) 01:28:00: バージョンアップしました（0.11.3）
　・2chのCloudFlare採用によるメール欄の難読化をデコードするよう修正。
　・Ver0.11.0で削除したコントロールのうち
　　「一括変換」「subject.txt作成」を復活。

一点目は>>819で書いたことに関連してなのですが
対応策をいろいろ検討した結果、htmltodat内部に
デコード処理を取り込むのが当面いいかなと考え
そのように修正しました。
それ以外のエンコードロジックが出てきたらどうするんだとか
汎用性の面で問題はあるのですが、これに汎用的に
対処しようと思うとなかなか難しい面があって・・・
まあ当面対処すべきなのは１パターンだけですし
汎用性が要求されるケースが発生したらその時考えます。

で、若干の考慮事項があるのですが次スレで。

二点目は、>>805で「一括変換は使う」という方がいらっしゃったので
確かにまだニーズはありそうだなと復活させてみました。
「subject.txt作成」は「一括変換」を使う人には必要かもと思い
一緒に復活させました。
822： ◆/vmukiyuzw：2015/01/24(土) 01:36:20: >>821の関しての考慮事項です。
（バージョン番号間違えた。0.11.4です）

この変更は、>>819に書いたように

> <a href="mailto:sage">
> みたいな形式でメール欄が表現されていたのが
> <a href="/cdn-cgi/l/email-protection#abd8caccce">
> みたいになります。

となってしまうのを、元の"mailto:sage"に戻すためのものなわけです。

ところで、エンコードされた形式の
/cdn-cgi/l/の部分をハードコードするには気持ち悪かったのと、
内部処理的に、<a href="mailto:email-protection#abd8caccce">
みたいにmailtoの内容として表現されていると処理しやすい
というのがあったんで、前処理で変換してくださいという仕様にしました。
（形式が変わっても"mailto:email-protection#～"の形式にすれば変換可能ということ）

これを含んでのread.cgiの変換prmは以下のように。

コメント：
# 2chのread.cgiからの出力を変換-20150124
# 元datに近づけるためアンカー削除はオフにし
# 後処理で不要なもののみ削除する。
# メール欄デコード処理対応を反映

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

前処理：
# メール欄デコードの前処理
s#(<a href=)"/cdn-cgi/l/(email-protection\#.*?">)#$1"mailto:$2#ikg

アンカー削除：
false

プレビューを表示しない：
true

後処理：
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# BE周りの処置
s#<img src="http://(img\.2ch\.net/.+?)">#sssp://$1#igk
# 以下はhtmltodatの内部処理に組み込まれているので不要
#s#<a href=.?javascript:be$(\d+)(?:,\d+)?$.*?>\?(.*?)</a>#BE:$1-$2#igk

正規表現：
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?<b>(.+?)</b>(?:</font>|</a>) ?：(.*?)<dd>(.*?)<br><br>(<dt.*?>|</dl>)#mi
823： ◆/vmukiyuzw：2015/02/04(水) 00:46:45: バージョンアップしました（0.11.5）
　・prmファイル作成時に、無駄な要素（デフォルトから変更していない
　　チェックボックスの内容）が含まれないようにする。
　・「HTMLソース」「dat変換結果」欄の内容をエディタで開く機能を追加。
　　（それぞれの欄の右クリックから指定）

今回はまあ正規表現書いたりprmファイル作ったりする
開発サイドの人（ってほぼ私か＾＾；）向けの機能強化です。

一点目は、今まではprmファイルを作成しようとするときに
デフォルトから変更していないチェックボックスの情報も全部出力され
ちょっと冗長な状態になっていました。
これを、デフォルト状態から変更されていないものは出力しないよう
修正しました。
今までは実は目で見て削除していたんですがそれが多少楽になるかな
て感じです。

二点目は、これはかなり前からやりたかったことなんですが、
「HTMLソース」「dat変換結果」欄は表示するデータ量も多いので
もっと大きいウィンドウで表示したり自由に検索したりしたかったのですが
現状の機能の延長線では難しかったので、外部エディタでの表示による拡張を
することにしました。これにより正規表現等の作成が捗ることになると思います。
（現状でも私はエディタにコピペして作業することがほとんどだったので）

デフォルトでは、拡張子 .txt に関連付けられたエディタが起動します。
（関連付けを特に弄ってなければ普通はメモ帳になると思います）
好みのエディタに変更したい場合は、iniファイルで変更できるように
しました。配布ファイルにサンプルのhtmltodat.iniファイルを
同封しているので弄ってみてください。
（今のところ、エディタ側で編集してその結果を反映、とかはできません）
824： ◆/vmukiyuzw：2015/02/08(日) 12:21:57: バージョンアップしました（0.11.6）
　・前バージョンの「エディタで開く」機能に不具合があったので修正。

今回は不具合修正のみです。
エディタによっては、htmltodatのインストールパスに空白を含む場合に
上手く起動できないケースがあったので修正しました。

自分の環境で使ってる時にはパスに空白を含まないとこで使ってるので
気づくのにちょっと時間かかりました。
今後も同様な問題は起こり得るんで気を付けないといけないですね。
825：名無しさん：2015/03/15(日) 00:11:15: htmltodatByFiddler 1.03使わせてもらってます
JaneXeno 150312(Win7 64bit)で余裕で動きました
ありがとうございます
826：名無しさん：2015/03/17(火) 21:25:36: htmltodatByFiddler1.03を使わせてもらってます。
質問です。
UAをMonazillaから以下に書き換えると全レス”ここ壊れてます”と出て、
レスを取得できません。
なんででしょうか？以下に書き換えてます。

(oSession.oRequest["USER-AGENT"].Contains("Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"))) //専ブラ以外からのリクエストは変換しないほうがよさそう。Monazillaを名乗らない専ブラの場合は適当に変えて下さい
827：名無しさん：2015/03/17(火) 22:01:35: >>826
OnBeforeRequest内でIEのUser-Agentに書き換えた上で、OnBeofreResponseのそのif文書き換えてるんだよね？
828： ◆/vmukiyuzw：2015/03/17(火) 22:14:18: >>826さん
UAを変更したいという話なら、修正個所はそこではなく、
OnBeforeRequest のほうに次の一行を足してください。

oSession.oRequest["USER-AGENT"] = "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko";

お書きいただいたOnBeforeResponse のほうの判定ロジックは
現状あんまり意味ないと思うので外してくださっていいと思います。

if ((oSession.url.match(/(?:\.2ch\.net|\.bbspink\.com)\/test\/read/)) &&
(oSession.oRequest["USER-AGENT"].Contains("Monazilla"))) //専ブラ以外からのリクエストは変換しないほうがよさそう。Monazillaを名乗らない専ブラの場合は適当に変えて下さい

この2行は、以下に変更して下さい。

if (oSession.url.match(/(?:\.2ch\.net|\.bbspink\.com)\/test\/read/))

上のロジックを入れていたのは、Fiddlerがデフォルトでは汎用ブラウザのプロキシになっちゃうので
汎用ブラウザからread.cgiを見た時にdat変換されちゃうのはまずいかなと思っていたためです。
ですが、Fiddlerのオプションで「Act on system proxy startup」をオフにすれば
問題ないと分かったので、外して構わないと考えました。
829：名無しさん：2015/03/17(火) 23:46:58: >>826-827
ありがとございます。
>>827に書き換えで出来ました。
830：名無しさん：2015/03/17(火) 23:48:20: 間違えました。
>>827-828
ありがとうございました。

>>828に書き換えで出来ました。
831：名無しさん：2015/03/18(水) 19:53:36: 2chブラウザ Jane Style Part117 [転載禁止](c)2ch.net
http://anago.2ch.net/test/read.cgi/software/1426520789/614

614 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/03/18(水) 18:50:16.69 ID:gSYCzAIq0
http://mukiyu.g.ribbon.to/
　htmltodat 0.11.6(910k byte)の中のhtmltodat.exe/bregexp.dll/ntf32.dllの3つと
http://mirrorhenkan.g.ribbon.to/jane/htmltodat-convert2/
　htmltodat-convert2_20121221 (5k byte)の中のhtmltodat-convert2.wsfをJane2ch.exeと同じフォルダに解凍する

http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038588508/822の

コメント：
（中略）
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?<b>(.+?)</b>(?:</font>|</a>) ?：(.*?)<dd>(.*?)<br><br>(<dt.*?>|</dl>)#mi

までコピーする

htmltodat.exeを起動
左下3番目prmファイルボタン→入力欄を右クリックして貼り付ける
保存ボタン→任意の名前.prmと名づけJane2ch.exeと同じフォルダに保存する
htmltodat.exeを閉じる

command.datを開き
LINKからdat取得=wscript "$BASEPATHhtmltodat-convert2.wsf" "$LINK" "任意の名前"
入力からdat取得=wscript "$BASEPATHhtmltodat-convert2.wsf" "$INPUT" "任意の名前"
と入力して上書き保存

あとはGetLogと同じ右クリから外部コマンド使って取得
ただし差分入力には対応してないのでログが多少でもある場合は
スレurlをコピー後ログ削除→右クリ入力からdat取得でペーストして取得
832：名無しさん：2015/03/18(水) 19:54:46: 2chブラウザ Jane Style Part117 [転載禁止](c)2ch.net
http://anago.2ch.net/test/read.cgi/software/1426520789/622

622 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/03/18(水) 19:13:19.12 ID:SPOUqZL00
"$LINK"は"$LINK$URL"の方がいいよ
開いてるスレですぐ使える

2chブラウザ Jane Style Part117 [転載禁止](c)2ch.net
http://anago.2ch.net/test/read.cgi/software/1426520789/626

626 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/03/18(水) 19:18:13.92 ID:2NT7R8KV0
"$LINK$URL"だとgetlogと全く同じ使い方できるね
色んなパターン作っておけばいいか
後はこの閉じて開き直す手間が無くなれば完璧なんだけど厳しいか
833：名無しさん：2015/03/20(金) 10:21:08: 2chブラウザ Jane Style Part11(c)2ch.net （実質Part118スレ）
http://anago.2ch.net/test/read.cgi/software/1426777984/113,134,148より

・フォルダで管理する場合

例
Jane Style
　　 ┗script
　　　　　┗htmltodat
　　　　　　　　　┗htmltodat-convert2.wsf

・command.datに
LINKからdat取得=wscript "$BASEPATHscript\htmltodat\htmltodat-convert2.wsf" "$LINK$URL" "任意prm(拡張子書くな)"

・htmltodat-convert2.wsf修正箇所
【13行目挿入】
var base = (new ActiveXObject("WScript.Shell")).CurrentDirectory + "\\";
(new ActiveXObject("WScript.Shell")).CurrentDirectory = cur;

【20行目　curをbaseに】
var log = GetProf("PATH", "LogBasePath", base, base + "Jane2ch.ini");

【66行目　curをbaseに】
cmd.Run("\"" + base + "Jane2ch.exe\" " + "\"" + WScript.Arguments(0) + "\"");
834：名無しさん：2015/03/20(金) 10:21:52: 2chブラウザ Jane Style Part11(c)2ch.net （実質Part118スレ）
http://anago.2ch.net/test/read.cgi/software/1426777984/135より

必ず1つ下のサブフォルダの固定でよければ、

1.「htmltodat」というサブフォルダを作り、
bregexp.dll,nkf32.dll,htmltodat.exe,htmltodat-convert2.wsf,任意の名前.prm
の5ファイルを移動

2.htmltodat-convert2.wsfを2行修正する
20行目
var log = GetProf("PATH", "LogBasePath", cur, cur + "Jane2ch.ini");
　↓
var log = GetProf("PATH", "LogBasePath", "", cur + "..\\Jane2ch.ini");

66行目
cmd.Run("\"" + cur + "Jane2ch.exe\" " + "\"" + WScript.Arguments(0) + "\"");
　↓
cmd.Run("\"" + cur + "..\\Jane2ch.exe\" " + "\"" + WScript.Arguments(0) + "\"");

3.command.datのwsfとprmファイルにパスを追加
LINKからdat取得=wscript "$BASEPATHhtmltodat\htmltodat-convert2.wsf" "$LINK$URL" "htmltodat\任意の名前"
入力からdat取得=wscript "$BASEPATHhtmltodat\htmltodat-convert2.wsf" "$INPUT" "htmltodat\任意の名前"
835：名無しさん：2015/03/22(日) 14:22:53: janexeno & chaikaでhtmltodatByFiddler 2.00を使わせてもらっています

http://kanae.2ch.net/test/read.cgi/nmb/1423569517/
このスレを新規で読み込んだ後、新着チェックをすると416になり「ここ壊れてます」となります。

http://anago.2ch.net/test/read.cgi/software/1426858616/907
ということらしいので差分取得の部分を修正すればいいと思うのですが
htmltodatByFiddlerではどう修正すればいいでしょうか？
ご教示お願いします
836： ◆/vmukiyuzw：2015/03/22(日) 19:35:48: >>835さん

http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/239

にレスしました。
まあそんなこだわりがあるわけでもないんですが
htmltodatByFiddlerについては上のスレでやってきたので
情報が分散するのはあまりよくないなというのと、
本家（？）htmltodatの話題と混ざるとややこしいかもという
感じです。
837：835：2015/03/22(日) 20:09:18: >>836
さっそくの対応ありがとうございます。

スレ違いだったようで申し訳ありませんでした。
fiddlerに関する話題はそちらのスレにお邪魔させていただきます。
838：名無しさん：2015/03/23(月) 00:34:48: Fiddlerとかあったのか

謎の多い迎撃機だよな
839：名無しさん：2015/03/24(火) 23:28:58: 突然ですが質問させていただきます。
以下のような、外部板の過去ログとして保存されているスレッドの場合、
http://www2.atchs.jp/spacestar/oldkako/
HTML化は通常の方法でやっても良いのでしょうか？
また、正規表現はどれを選択すれば良いのでしょうか？

どうか返答をお願いします。
840： ◆/vmukiyuzw：2015/03/25(水) 01:03:27: >>839さん
そこの保存過去ログに限定しての回答でいいですかね？

> HTML化は通常の方法でやっても良いのでしょうか？

とは多分prmファイルを使わない方法でもいいかという意味かと思うのですが
そこのログに関していえば前処理も必要になりますので
prmファイルを使わない場合前処理と正規表現の両方の管理が必要になります。
それでも構わないというならいいですがお勧めはprmファイルのほうですね。
前処理・正規表現は以下でいけるかな。
サンプルが少ないのでまだわからないとこもありますが。

前処理：
s`<br />`<br>`ig
s`.nbsp;<br></dt>``ig

正規表現：
m`<DT>(?:<A.*?>)?([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?<b>(.*?)</B>(?:</A>|</FONT>) ?：(.*?)<DD>(.*)<BR><BR>(<dt>|</dl>)`mik
841：名無しさん：2015/03/25(水) 18:20:03: >>840
ありがとうございます。無事にdat化に成功しました。
prmファイルというのがわからず検索しましたが理解できませんでした。
普通にhttp://www2.atchs.jp/spacestar/oldkako/3.htmlをHTML化し、
◆/vmukiyuzwさんが教えてくれた前処理と正規表現を記入して変換開始を押しました。

しかし、dat化したファイルを専ブラで読んだ後、専ブラを再起動させると
スレビューが真っ白になり読めなくなってしまいます。
読みたくなったら専ブラを起動するたびにdatファイルを放り込まないといけないようです。
842： ◆/vmukiyuzw：2015/03/26(木) 00:05:44: >>841

> しかし、dat化したファイルを専ブラで読んだ後、専ブラを再起動させると
> スレビューが真っ白になり読めなくなってしまいます。
> 読みたくなったら専ブラを起動するたびにdatファイルを放り込まないといけないようです。

専ブラの種類＆バージョンは何でしょう。
あとdatファイルの取り込みはどのように行いましたか？
環境が許せば追試してみます。

# といいながら明日からちょっと忙しいので週末まで何もできないんですが
843：名無しさん：2015/03/26(木) 02:10:21: >>842
専ブラはJaneXenoです。
datの取り込み方は、http://www2.atchs.jp/spacestar/　を板登録して、
その板一覧にdatファイルをドラッグ＆ドロップしました。
それ以外の方法を知らないので…

お忙しい中すみません。
時間ができたらで結構ですのでどうかよろしくお願いします。
844：名無しさん：2015/03/26(木) 07:40:35: >>843
横からごめんなさい。（◆/vmukiyuzwさんではありません）
D&Dはとりあえず読むための方法ですね。
その板はどのツリーに、何という名前で登録しましたか。
例えば、　外部板
　　　　　　　　└宇宙の星
というように登録したのだとしたら、（適当でごめんなさい）
\JaneXeno\Logs\2ch\外部板\宇宙の星　という感じのフォルダがあるはずです。
コンピュータからこのフォルダを開いて、ここにファイルを移動します。
よくわかんなければ、外部コマンドに
%板フォルダを開く=explorer "$LOCALDAT\.."
と書いて、板一覧で右クリックし、「板フォルダを開く」をクリックすれば、フォルダが開きます。
845：名無しさん：2015/03/26(木) 22:00:18: >>844さん、アドバイスをありがとうございます。
その通りに実行したのですが、やはりスレは真っ白で何も表示されませんでした。
（コマンドも登録しましたが実行されませんでした）
やはり特殊な過去ログ倉庫に入っているスレだからでしょうか。

板登録は、　その他
　　　　　　　　　└宇宙の星
というふうにしました。
846：名無しさん：2015/03/27(金) 00:08:01: 2chで途中までログを持っているスレで使用するには
一旦ログを削除してからhtmltodat-convert2.wsfを実行するしか方法はないのでしょうか？
847：名無しさん：2015/03/27(金) 00:54:04: 質問というか要望というか、です。

1、スレタイの挿入位置を任意のところにしたいのですがデフォで出来ますか？
2ch形式と違いしたらばではスレタイがレス1の末尾でなくその1つ前のブロックなので、
正規表現と変換結果式を工夫してみたり、後処理の中で出来ないかと試したのですが一向にうまくいきません。
もしスレタイ挿入が後処理のあとなのでしたら、変換結果式の中で$titleのような形で指定できるようにしてほしいです。

2、上に関連してですが、したらばのタイトルは<h1>タグの方が本来のタイトルなのでそちらから取得するようにしてほしいです。
前処理でのスレタイ補正も考えたのですが、スレタイや板名次第では面倒なことになるので。
より汎用的にするなら変換結果式の中で$h1titleのような形で指定できたらと思います。

3、datを保存するときに文字エンコードを変更したいのですがどこで指定できますか？
readmeに書かれている「保存文字コード」を探したのですが見つけられません。
少なくともdat保存時のダイアログには表示されてないのです。

一応使用環境はOSはXP SP3、専ブラはChaikaです。

よろしくお願いします。
848：844：2015/03/27(金) 07:52:24: >>845
・Windowsのバージョンは？
・Jane2ch.exeの場所は？
　ショートカットから起動しているなら、それを右クリックして「リンク先」をここにコピペしてください
・JaneXenoの設定－【パス】の「ログとボード一覧のフォルダ」をコピペしてください
・その板の現行スレの一覧は見えていますか？
・取得した現行スレはありますか？
・外部コマンドをまだ削除していなければ、スレ一覧で右クリックして「板フォルダを開く」が見えますか？

> やはり特殊な過去ログ倉庫に入っているスレだからでしょうか。
そんなことはないです。
849：845：2015/03/27(金) 18:16:11: >>848さま

・Windowsのバージョンは？
Windows7 Home Premiun SP1

・Jane2ch.exeの場所は？
C:\Users\***\Documents\Jane Xeno\Jane2ch.exe

・JaneXenoの設定－【パス】の「ログとボード一覧のフォルダ」をコピペしてください
今見たら白紙状態でした。どう設定すべきでしょうか？（もしやこれが問題！？）

・その板の現行スレの一覧は見えていますか？
はい、見えています。

・取得した現行スレはありますか？
ありません。

・外部コマンドをまだ削除していなければ、スレ一覧で右クリックして「板フォルダを開く」が見えますか？
見えます。クリックしたところ、ちゃんと目的のところまでファイルが開きました！
datをそこにコピーして開いてみたのですが、
（･∀･）ｻﾃｵｼｺﾞﾄ･･･　　　　　　　　　　ε三三三三（; ･∀･）鯖ﾏﾃﾞｵﾂｶｲ
HTTP/1.1 400 Bad Request
（･∀･）（･∀･）ｵﾂｶｲｵﾜﾘ　三三三三３
（･∀･∀･）
（･∀･）ﾅﾝｶｴﾗｰﾀﾞｯﾃ HTTP/1.1 400 Bad Request
（･∀･）ｶﾝﾘｮｳ!!
というエラーで読むことはできませんでした。
850： ◆/vmukiyuzw：2015/03/28(土) 02:33:29: ちょっと忙しくて離れてた間にあちこちでいっぱいレスがついてる・・・＾＾；
とりあえずややこしそうなのから行ってみよう。

>>847さん
そもそも、したらばのログを変換してChaikaで読みたいという話なんですよね？
Chaikaの仕様をよく知らないのでわからないとこもあるんですが、
読みたいログはしたらばの現行（生きてる）ログ？それとも過去ログ？
現行ログにしてもhtmlで取得する（read.cgiを使う）方法と
したらば独自のrawmode.cgiを使う方法があるのですがどちらですか？
（貴方の書き方ではどれにでも判断できる気がしてよくわかりません）

変換したいURLのサンプルを（できれば複数）示していただきたく。
また、欲しい結果の形式も通常の2chのdat形式と違うような気もするので
その場合はそれも示していただければと。

1と2についてはまずはそこからってとこで。
3については、確認なんですがChaikaではしたらばのログはEUCのまま
ログを保存してるんですかね？
大抵の専ブラは2chと同様に扱いたいためSJISに変換して保存してるのが
ほとんどだと思うんですが、Firefoxのプラグインだからその辺あまり
頓着しなくてもできるってことなのかな？
851：848：2015/03/28(土) 07:40:32: >>849
そうそう、パスにユーザ名が入っていたら伏せてください、って書くの忘れました
ちゃんと***にしてくれてよかったです
ログとボード一覧のフォルダも、（空欄のこともあります）と書いておいたほうが親切でしたね

\Program Filesフォルダ絡みだと超めんどくさいんで、とりあえずそうでなくてよかった

現行スレの一覧が見えるなら、外部コマンドで開いたフォルダにsubject.idbとsubject.txtが
あるはずなのですが、ありますか？　他にファイルはありますか？
フォルダ名は「宇宙の星」で、フォルダのプロパティの「場所」は、
「C:\Users\***\Documents\JaneXeno\Logs\2ch\その他」となっていますか？

以下を試してみてください
・スレ一覧で「宇宙の星」板を開いていたら、閉じる
・レス欄でそのスレを開いていたら、削除する
　フォルダにコピーしたdatは消えると思います
・あらためて、（JaneXenoにではなく）フォルダにdatファイルをコピーする
・「宇宙の星」板を開く
これでスレ一覧の一番下にそのスレが出てくるはずなのですが…
852：848：2015/03/28(土) 07:44:36: はっ、◆/vmukiyuzw さんが！
>>850
>>844,848,851
853：848：2015/03/28(土) 07:51:18: ミスった…>>852

>>850
>>844,848,851 です。
差し出がましいとは思いましたが、htmltodatとは関係ない所でつまづいてるっぽかったので…
JaneXenoユーザなのでこのくらいは。
chaika使っていればそちらもお手伝いできるんですが、そうじゃないのでさっぱりです。
854：847：2015/03/28(土) 22:53:44: >>850
まず確認不足による事実誤認があったので一部撤回します。

>>847の2について現行、過去ログ問わずh1タグが本来のスレタイだと思ってましたが、過去ログではh1タグ自体がないのですね。
てっきりしたらば共通仕様としてあるものとばかり思ってました。
また仮にh1タグの方を使いたい場合でも前処理で本来のタイトルを削除後h1タグをtitleタグに置換すればいいだけと気づきました。

そういうわけで2については撤回します。申し訳ない。

で変換したいのは過去ログです。
ただChaikaと他の専ブラのdatの扱い方が根本的に違うので、どこのスレと指定する必要はないかな。
なんせ、

> 大抵の専ブラは2chと同様に扱いたいためSJISに変換して保存

これに驚きました。多くの専ブラがそういう仕様だったなんて。
テストがてら入れていたJaneXenoで試したら確かに。
Chaikaは最後までofflaw2対応を見送り続けるぐらいに公式ないし準公式な公開情報を尊重し実装してるので、
2ch仕様に変換済みのdatの保存は基本無しの方向です。
(尤も今回のAPI騒動のおかげで封じてきたWebスクレイピングを次回以降の大型アップデートで実装予定ですが)
ですのでサイトから取得したものはそのまま保存し、表示の都度然るべき変換を行ないます。
すなわち

したらば仕様
文字エンコード：EUC-JP
レス番号<>名前欄<>メール欄<>日付<>レス本文<>スレタイ<>ID

のままdatファイルとして保存しています。
このスレならば
http://jbbs.shitaraba.net/bbs/rawmode.cgi/computer/1929/1038588508/
をダウンロードしたのと同じですね。
なので文字エンコード指定とスレタイ位置指定が出来ればということです。

あと追加でprmファイルの読み書きダイアログがやや小さく思います。
初めて開いたときボタン類が見えなかったため使い物にならないと判断してしまいました。
ウインドウを広げればいいだけだったんですが出来れば修正願います。
一応開いた直後のスクショです。
http://light.dotup.org/uploda/light.dotup.org164419.png
855： ◆/vmukiyuzw：2015/03/28(土) 23:31:30: >>854さん
自分でもchaika使って調べてみて、だいたいお書きになった状況だろうなと
想像していました。

で、まず文字エンコードについてですが
htmltodatのウィンドウの何もない場所（例えばプレビュー欄の右上など）
をダブルクリックすると今まで見えなかったボタン等がいろいろ出現すると思います。
そのうち、一番下の欄、「prmファイル」のボタンの右に
「保存文字コード」というリストボックスが現れますので、そこで「EUC」を選択してください。
その状態のままdat保存するとEUC形式になります。

なんでそんな隠し機能になってるかというと>>784参照
つまり、SJIS以外で保存するブラウザがあるとは思っていなかったからです。

で、
> レス番号<>名前欄<>メール欄<>日付<>レス本文<>スレタイ<>ID
については次レスで。
856： ◆/vmukiyuzw：2015/03/28(土) 23:47:18: >>855続き。
後処理で、ID欄を削ってdat一行の最後に付け直すようにしてみました。
スレタイの付加は後処理より前にやっています。
実際に必要なのはスレタイの位置指定ではなくIDの場所移動だったみたいです。
ただ、テキスト上では変換結果を確認したのですが、私のほうで
htmltodatで変換したdatをchaikaで読む方法がまだわからず・・・
確認していただけたらと思います。（できたら教えてください）

コメント：
# したらば過去ログをrawmode.cgiが返すのと
# 同様の形式に変換する

変換結果式：
$1<>$3<>$2<>$4<>$5<>

後処理：
s`(\d+?<>.*?<>.*?)(\sID:(.+?))(<>.+?)\r\n`$1$4<>$3\n`ig

正規表現：
m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?<B> ?(.*?) ?</B>(?:</A>|</FONT>)(?: 投稿日)?： ?(.*?)(?:<BR>)?<DD>(.*) ?<BR><BR>#mik
857：849：2015/03/28(土) 23:59:33: >>851さま、原因がわかりました。
htmltodatでHTML化、dat化した時に、スレタイである日本語そのままのファイル名で保存されており、
再起動するとそれが文字化けして読み込み不可能となっていたのです。
http://www2.atchs.jp/spacestar/oldkako/を見るとスレッドID項目がありましたので、
その数字にファイル名を書き換えて、>>851さまの
＞＞以下を試してみてください　を実行したところ、成功しました。

外部コマンドで開いたフォルダにはsubject.idbとsubject.txtがあり、
例の文字化けしたdatファイルとidxファイルがありました。
それを削除して、ファイル名を変更したdatファイルをコピーし、
「宇宙の星」板を開いたら目的のスレが出てきました。
今度は再起動しても問題なく読めます。

過去ログ倉庫に移動された際に、**********.datという、従来のような
ファイル名ではなくなったためだと思います。

作者である◆/vmukiyuzwさま、そして救済に入ってくださった851さまには
とんだお騒がせをしてしまい申し訳なく思います。すみませんでした。
お付き合いいただきまして本当にありがとうございました。
858： ◆/vmukiyuzw：2015/03/29(日) 00:10:59: >>855さらに続き。

>>854
> あと追加でprmファイルの読み書きダイアログがやや小さく思います。
> 初めて開いたときボタン類が見えなかったため使い物にならないと判断してしまいました。
> ウインドウを広げればいいだけだったんですが出来れば修正願います。

これ、もともとXPの環境で開発してて、win8.1の環境に移植したときに一回発覚したので
その時に修正したんですが（>>800）、まだ出るんですか。
お使いのOS及びhtmltodatのバージョンをよろしければお教えください。
（といってもいろんな環境でテストできる状況でもないので修正できるかどうかはわからないです）
859： ◆/vmukiyuzw：2015/03/29(日) 00:17:26: >>857さん
問題解決したようでよかったです。
>>851さん
私が留守の間に丁寧にサポートしていただきありがとうございます！
860： ◆/vmukiyuzw：2015/03/29(日) 00:39:23: さてここまでの残件は
>>846さんですか。

htmltodat-convert2.wsfについてはすでにいろんなところで話に上がっていて
まとめページを書いてくださってる方もいて
http://pastebin.com/0QDr9S8v
私が語れることはあまりないと思うんですが

途中までログを持っているスレでhtmltodat-convert2を使うと
その時点で取得済みのログは上書きされるはずなので
「一旦ログを削除してから」という動作は必要ないと思いますよ。
上の参考スレにもありますが、再描画、もしくはいったん閉じて開きなおす
でいいと思います。
861：名無しさん：2015/03/29(日) 03:31:57: 要望です

解像度の低いディスプレイだとウインドウ下部が見切れて
マウスでの操作が出来ません
下部の見えないボタンは現在キーボードから操作しています

スクロールバー等での対応出来ればお願い致します
862：名無しさん：2015/03/29(日) 11:46:47: >>860
そのまとめページにも

>※ 一度でも該当スレを開いたことがある場合は、事前にログ削除して、a)、c)の手順で実行すればレス内容が表示されないということは起きない
>※既に開いたことがある場合は、ログ削除しないと「ここ壊れています」と表示される場合がある

とあります。
スレの再描画はやっていますが差分は表示されません。
一度ログを削除してから実行すると全部取得できるのですが。

とここまで書いた後でいろいろ試してみてわかったのですが、
どうやら該当スレの板のスレッド一覧を更新しないとダメな様です。

つまりお気に入りや最近読み込みから該当スレを開いて差分取得を試みるとスレの再描画やスレの開き直しをやっても差分は表示されない。
コマンドを実行した後に該当スレの板のスレッド一覧を更新してからスレの再描画やスレの開き直しをすると差分が表示される。
もしくは該当スレの板のスレッド一覧を更新してからコマンドを実行してスレの再描画やスレの開き直しをすると差分が表示されるみたいです。
863：名無しさん：2015/03/29(日) 12:42:09: 途中までログを持っているスレは
メモ欄のプレビューでいけるかと・・・
864：名無しさん：2015/03/30(月) 23:24:01: >>855-856
ありがとうございます。
多少の定義の変更が必要でしたけどほぼうまくいきました。
したらば自体何度か仕様変更があったようで定義も修正する必要があるでしょうけど、
ヒントは得たのでそれはその時おいおいやることにします。
以下でテストしました。

メンテナンス告知スレッド
http://jbbs.shitaraba.net/bbs/read.cgi/computer/10298/1071739838/
テストその１
http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1024130759/
テストその３
http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1117200553/
テストその４
http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1117201019/

テストその１のスレで文字化けする以外はおおむね満足な結果です。
文字化けは使用してるライブラリの所為でしょうがないのかな？

現時点で保存したprmです。

コメント：
# したらば過去ログをrawmode.cgiが返すのと
# 同様の形式に変換する

前処理：
# アンカーではないリンクのタグ除去
s#<a href="h[^>]+>([^<]+)<\/a>#$1#migk
# 旧仕様のID欄をrawmode.cgi仕様に置換
s#<font size=1>\[ ([^ ]*) \]<\/font>#ID:$1#migk

アンカー削除：
false

透明あぼーんを補う：
true

変換結果式：
$1<>$3<>$2<>$4<>$5<>

後処理：
# スレタイをrawmode.cgi仕様の位置へ移動
s#(\d+?<>.*?<>.+?)(\sID:([^<]+?))?(<>[^\r]+?)\r\n#$1$4<>$3\n#ig
# 透明あぼーん補完時の文字列除去
s#透明あぼーんかも<>##gk

正規表現：
m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?<B> ?(.*?) ?</B>(?:</A>|</FONT>)(?: 投稿日)?： ?(.*?)(?:<BR>)?<DD>(.*) ?<BR><BR>#mik
865：名無しさん：2015/03/30(月) 23:28:24: >>856
残念ながら板フォルダにdatを放り込むだけではChaikaのデータベース(storage.sqlite)には自動登録されないのでスレ一覧には表示されません。
一応今後の実装予定で何らかの形で登録しやすくするらしいですが。
手動での登録は現状sqliteを扱えるソフト、あるいはFirefoxのアドオンSqlite Managerを利用しますが今回は割愛。

とりあえず見るだけに限定しての話。

1、板フォルダはChaikaサイドバーの板一覧から板を選択、スレ一覧を表示。
2、右上のツールを押すとあらわれる｢ログディレクトリの表示｣で開く。
または、
1、同じサイドバーの右上のアイコンを押して｢フォルダを開く｣メニューからログフォルダを開く。
2、該当の板フォルダを探し出して移動。どれを開くべきかはフォルダ名で類推できると思うので割愛。

3、datを板フォルダに放り込みスレのリンク(多くは/read.cgi/なリンク)をChaikaで開く。

開くときは右クリックのChaikaメニューを利用するか、
Chaikaオプションの｢ブラウザ｣にあるスレッドリダイレクタをonにしてリンククリック。

>>858
OSは>>847で書いた通りXP SP3です。htmltodatのバージョンは0.11.6です。
またシステムフォントをMeiryoKe(ただしフォント名はMSゴシック系に改編)に変更しています。
このフォント変更の影響なのかボタン等の文字が切れて表示されるソフトがあったことを思い出しました。
どのソフトだったかまでは思い出せませんが、確かResourceHackerで修正したと記憶しています。
参考になったら幸いです。
866： ◆/vmukiyuzw：2015/03/31(火) 00:08:23: >>864-865さん
私がChaikaの使い方をあまり知らない中、
ご自分で努力いただきありがとうございます。
Chaikaのデータベース登録はこれから研究してみます。

> テストその１のスレで文字化けする以外はおおむね満足な結果です。
> 文字化けは使用してるライブラリの所為でしょうがないのかな？

そんなスレを引用されるとは・・・
そのスレは昔自力でプロキシ的動作をするソフトを作っていて
そこから文字コードの変換をテストしていたものなんです。
文字化けするかどうかをテストしていたんで文字化けは当然なんです。

あと、
>　あと追加でprmファイルの読み書きダイアログがやや小さく思います。

これはこちらで確認できる環境を作る自体がなかなか難しく。
>>861さんの要望なんかも類似の問題の気がするのですが
しばらく時間を頂きたく思います。
867：861：2015/03/31(火) 01:45:40: >>866
宜しくお願い致します
868：名無しさん：2015/04/01(水) 04:55:26: 画面が小さいモバイルPCで起動すると画面からボタンがはみ出してしまい、
下部の「prmファイル」「dat保存」のボタンが押せないのですが、
どうすれば良いのでしょうか？

OSはWin7です。解像度は最大で1024x600までしか出せず、
フォントサイズを小にしても表示し切れません。
幸い、VGA出力端子が付いているので外部ディスプレイに繋いで
なんとか使っている状態です。

よろしくお願いします。
869：名無しさん：2015/04/01(水) 06:23:59: >>868

>>861,866
870：名無しさん：2015/04/01(水) 09:24:38: >>868
見切れている部分がどの程度なのか分からないけど

タスクバーを自動的に隠す設定にしてみるとか
　タスクバー右クリック　-　プロパティ

タイトルバーをモニターの外にはみ出させるとか
　Alt+Space　-　移動(M)　-　↑キー

キー操作でサブウィンドウを表示させるとか
　prmファイル(R) = Alt+R
　dat保存(S) = Alt+S

こんなんじゃアカンのだろうか
871：861：2015/04/01(水) 10:22:41: >>870
まー取り敢えずありがとう
でもアカンから要望してるんだよ
親切でレスしてるのは分かるけど自分の力量の範囲にしようよ
まして確認できないものを無理して答えなくてもよいと思う

例えばタスクバーを自動的に隠すはタイトルバーの幅では追いつかない
ウインドウを移動しての対処はウインドウが自動的に最大化してしまう
見えないものをショートカットで操作する事が想像出来ないのかな

上記後出し情報は作者さんの力量を考えてあえて書いてない
初心者にレスするなら必要な情報かも知れないが
こういったものを創れる作者さんだからね

ウインドウが見切れる事例は他にもあるから検索すれば分かるはず
872：名無しさん：2015/04/01(水) 17:28:39: なんだこいつ
873：名無しさん：2015/04/03(金) 16:58:16: お邪魔します。

以下のしたらばログ倉庫の
http://jbbs.shitaraba.net/bbs/storage.cgi/otaku/5678/
スレッドをdatファイルにしたいです。

前処理と後処理は必要でしょうか？（その場合どれを選べばいいでしょうか）
また、正規表現は「jbbs過去ログ改」で間違いないでしょうか。
874： ◆/vmukiyuzw：2015/04/04(土) 00:13:00: >>873さん
えーと、基本的には前処理も後処理も必要ないはずですし
正規表現もそれで問題なくdat変換できると思うのですが
ここに質問してこられたからには何かうまくいかなかったんですかね？
その場合、お使いの専ブラの種類・バージョン、あとdatファイルを
どうやって取り込もうとしたかなど教えていただければアドバイス
できるかもしれません。

>>861さん、>>868さん
解像度の低い（or低くできる）環境というのが今私の周りになくて
ようやく来週には調達できるかなという感じです。
また、本業のほうがこのところかなり忙しく
プログラム修正のほうにまとまった時間をなかなか取れない状況です。
申し訳ないですが気長にお待ちいただければと思います。
875：名無しさん：2015/04/04(土) 04:39:50: >>874
873です。先程は正規表現が違うとのエラーでできなかったのですが、
もう一度試したら無事dat化できました。
ありがとうございました。
876： ◆/vmukiyuzw：2015/04/10(金) 23:51:56: htmltodatをバージョンアップしました（0.11.7）
　・解像度の低いディスプレイで使用する場合に画面下部が見切れてしまう問題の
　　対処として、スクロールバーを出せるよう修正。
　　また、それに伴いいくつかのフォームの位置・サイズ等の属性を修正。

そんなに色々な環境でテストできたわけでもないので若干推測を含むのですが。
解像度の低いディスプレイでは起動すると右端にスクロールバーが見えるようになると思います。
（環境によってはこのスクロールバー自体見切れてしまうかもしれません）
また、このスクロールバーで下までスクロールしても画面下部まで見られないかもしれません。

ウィンドウを最大化するとスクロールバーが見切れずに見えるようになると思います。
この状態だと画面下部までスクロールできると思います。
ちょっと一手間二手間必要なのはお許しください。

解像度に合わせて適宜リサイズして自動でディスプレイに収まるようにするのが本当はいい方法なんでしょうが
なにせ最初からそういう想定をせずに作っていたもので今から変えるとなると結構大変で・・・
とりあえずこんなものでお許し頂けないかと。

あと、>>854さんからご指摘があったprmファイル読み書きウィンドウが小さい（ボタンが見えない）件ですが
該当するかもと思われる件があったので修正してみました。
ただこちらの環境では不具合自体を再現できず直ってるかどうかを確認できないため
ご確認いただければ幸いです。

>>871さん
私は万年素人のサンデープログラマーなんで過大評価しないでください。
情報があればぜひ教えていただきたいです。
877：861：2015/04/11(土) 00:23:45: >>876
お忙しいところお手数をお掛けしまして申し訳ありませんでした
私の環境では最下部のボタン操作が出来るようになりました
有難う御座います

昔から利用させて貰ってましたが最近の仕様変更で更にお世話になっています
革めて有難うございます

何か気づいた点がありましたらお役に立てるか分かりませんが
私で宜しければご協力させて頂きたいと思います
878：854：2015/04/11(土) 13:01:34: >>876
0.11.7確認してみました。
prmのダイアログは問題ありませんね。
http://light.dotup.org/uploda/light.dotup.org170296.png

ただ本体の方が起動直後こんなことになってます。
http://light.dotup.org/uploda/light.dotup.org170297.png

0.11.6まではこんな感じでした。
http://light.dotup.org/uploda/light.dotup.org170301.png

あちらを立てればこちらが、といったところでしょうか。
とりあえずこれまで通り0.11.6を使うことにします。
879： ◆/vmukiyuzw：2015/04/11(土) 21:57:24: >>878さん
> あちらを立てればこちらが、といったところでしょうか。

うーむ、確かにそれに近い状況かもしれません。
なんとか両方立てられないかと考えた結果、以下の人柱バージョンを作ってみました。
一応目指したのは
・解像度が十分な環境であれば今までどおり一番下のボタンまで表示される
・解像度が低く全体を表示できない環境であればウィンドウを最大化すれば
　スクロールバーで一番下のボタンまで表示される

自分の環境（一応8.1、XPの2台でいろんな解像度で試しているつもり）では
うまく表示されるようなのですが、いろんな環境の方にお試しいただければと思います。

http://mukiyu.g.ribbon.to/cgi-bin/download2.cgi?name=htmltodat0.11.8&url=htmltodat0.11.8b.zip
↑
htmltodat.exeファイルのみ入ってます
880：861：2015/04/11(土) 23:27:05: >>879
ご苦労様です

うちの2台（解像度が高と低）で確認しました
どちらも特に問題ありませんでした
881：854：2015/04/12(日) 03:30:09: >>879
今度は大丈夫なようです。
http://light.dotup.org/uploda/light.dotup.org170653.png

ありがとうございました。
882： ◆/vmukiyuzw：2015/04/12(日) 04:05:36: >>861=880さん、>>854=881さん、ご確認いただき本当にありがとうございます。

多分htmltodatをよく使っていただいてる方からのコメントなんで間違いないとは思うのですが、
もうちょっと他の方からのコメントも待ちたいなというのと
もう少し弄ってみたいかなという部分があるんで正式リリースはちょっとお待ちください。
883：名無しさん：2015/04/12(日) 05:27:37: そもそも漠然と小さい画面だからと要望を出す馬鹿がいるから困るんじゃなかろうか
せめて自分の環境がどのような解像度と縦横比なのかぐらい書いてもらえよ
http://www.a-ain.net/2click/pc/pc_081siryo_gamen.html
884： ◆/vmukiyuzw：2015/04/19(日) 01:30:24: 2ch.netのread.cgiでftp://の書き込みをしたら読めなくなるバグがなかなか修正されないようなので
何かできないか考えて、とりあえずびんたん（スマホ用の2chビューア）からdat変換するのを考えてみました。
ただ、残念ながらread.cgiとは違い過去ログは読めないようです。
また、メール欄の情報が存在しないため欠落してしまいます。

コメント：
# びんたんの読み込みをdatに変換してみる

URLの変換：
s`http://(.+?\.2ch\.net)/test/read\.cgi/(.+?)/(\d+)/?.*`http://bintan.ula.cc/test/read.cgi/$1/$2/$3`

前処理：
# スレタイ置換
s`<title>.*?</title>``
s`<div class="topic_name_inner_left">\s*?<p>(.*?)</p>`<title>$1</title>`i
# レス1だけ形式が違うので他と合わせる
s`<span\ id="read_one_body(?:.|\s)*?<span>\s:\s(.*?)</span>`<a\ class="respop">1</a>.<b>$1</b>`i
s`<div\ style="clear:both;"\ class="topic_date">(.*?)</div>(?:.|\s)*?(<div\ class="honbun">.*?</div>)`$2<font>$1</font>`i

アンカー削除：
false

変換結果式：
$3<>$2<>$5<>$4<>

後処理：
s`<a\ href=.*?>``ig
s`</a>``ig

正規表現：
m`<a\ class="respop".*?>
(\d+) # レス番
</a>.+?<b>
() # メール欄情報は存在しないためダミーに
(.*?)</b> # 名前欄
.*?<div\ class="honbun">
(.*?) # レス本文
</div>.*?<font.*?>
(.*?) # 投稿日一般的なhtmlと違いレスの後ろに付いている（よって変換結果式で引っくり返しが必要）
</font>`mikx
885：名無しさん：2015/04/20(月) 13:41:26: htmltodatが急に使えなくなって、取得すると「２ちゃんねる専用ブラウザをご利用の皆さまへ」が表示されるんだけど、
対策されたかな？
886：名無しさん：2015/04/20(月) 14:27:30: >>885
UA変えてダメ？
887： ◆/vmukiyuzw：2015/04/20(月) 22:34:03: >>885さん
サーバによっては大丈夫なところもあるようですが確かにエラーになるところもありますね。
>>886さんのおっしゃるようにUAの問題のようなので、適当に変えてもらえれば回避できるかと。

htmltodatでUAを変更するには、受信オプション - HTTPヘッダの追加のところで
User-agent: なんたらかんたら
と指定してください。
汎用のwebブラウザのUAを指定しておけばかなり安全なんじゃないですかね。
例えばIE11のUAであれば（うちの環境でですが）
User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; LCJB; rv:11.0) like Gecko
こんな感じです。

# UAを色々弄ってテストしてみたのですが、現バージョンでの
# User-Agent: Monazilla1.00 (htmltodat/0.11.1)
# てのがエラーになるようです。（0.11.0とか0.11.2にしてもエラーにはならない）
# てことは2ch側でピンポイントではじく対象UAのリストに入ってることなのね・・・なんか複雑
888：885：2015/04/21(火) 20:33:41: >886, 887
User-agent 設定したら使えるようになりました、ありがとうございました
889：名無しさん：2015/04/29(水) 02:30:44: >>887
いつもツールを使わせていただきありがとうございます。
すみません、どうしても回避できません。
先月までは何も問題なく使えていました。

htmltodat起動
受信オプションクリック
httpヘッダ追加ボタンクリック
User-Agentとコピペ＆OKクリック
下の欄にUser-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; LCJB; rv:11.0) like Geckoをコピペ＆OKクリック
htmltodatを再起動し、受信オプション、一覧表示と、User-Agentとクリックし、上記コピペがあることを確認し、閉じる
Janeの右クリックからwscript "$BASEPATHhtmltodat-convert2.wsf" "$LINK" "htmltod"を使うがご利用の皆様へ表示
試しにコピペをUser-Agent:抜きとかやってますが、駄目でした。

どこか間違っていたら教えてください。

Win7Pro、C:\Progra~1\Jane\jane2ch.exe Jane3.81、自動車板
log C:\Jane
当該過去ログ削除済
890： ◆/vmukiyuzw：2015/04/29(水) 03:30:06: >>889さん
多分勘違いがいくつかある気がするんですが。

「受信オプション」の内容はhtmltodatの全体で保存されるのではなく
各prmファイルに保存される仕組みになっています。
また、「受信オプション」から「追加」で設定するものは
「HTTPヘッダの追加」欄に入力した内容に名前を付けて保存するためのものなので
「追加」をクリックして出てきた入力ボックスにUser-Agentを入力しただけでは
何の意味もありません。（そこに入力した名前でファイルが作られるだけ）

てなわけで、お使いのprmファイルは「htmltod.prm」でしょうか？これをお使いなら
・htmltodat起動
・「prmファイル」ボタンで「htmltod.prm」ファイルを読み込む
・受信オプションからhttpヘッダ欄にお書きになった「User-Agent: ～」を入力＆OKクリック
（追加ボタンを押すのではないですよ？そこ間違えないように）
・再び「prmファイル」ボタンで「htmltod.prm」ファイルを（上書き）保存

これでいけると思うんですがどうでしょう。
891：名無しさん：2015/04/29(水) 14:11:59: >>890
htmltod.prm=任意の名前.prm
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

http://anago.2ch.net/test/read.cgi/software/1426520789/614
>htmltodat.exeを起動
>左下3番目prmファイルボタン→入力欄を右クリックして貼り付ける
>保存ボタン→任意の名前.prmと名づけJane2ch.exeと同じフォルダに保存する
>htmltodat.exeを閉じる
892：名無しさん：2015/04/29(水) 15:10:40: 今まで使えていたのに使えなくなったのでスレに来たら解決法が書いてあったので試しました

が、駄目です
2ちゃんねる専用ブラウザをご利用の云々言われて見れません

HTTPヘッダの追加：
User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; LCJB; rv:11.0) like Gecko

という内容でPRMファイルを作りJane2ch.exeと同じフォルダに保存しました
なのでこのフォルダにはPRMファイルが2つ入っています
その後Janeを再起動しログを削除し再度コマンドを実行してみたのですが変わらず見れませんでした
UAを変えて自分の環境のものを入力してみたのですが意味はなかったです
足りないことは何でしょう？
893：名無しさん：2015/04/29(水) 17:41:36: 新しくprmファイルを作るんじゃなくて
今まで使ってたprmファイルに追記する形になるんだよ
894：名無しさん：2015/04/29(水) 17:43:02: なるほどｎ
895：名無しさん：2015/04/30(木) 19:48:25: 困ってたらこのスレにたどり着きました
>>890の手順で解決しました
有り難うございました！
896： ◆/vmukiyuzw：2015/05/01(金) 01:26:27: UA絡みの問題で2ch.netからエラーを返されるケースが多発しているのかな？
>>892さんは多分解決したかな？
>>889さんはどうだろう。

近々、>>879あたりを反映したバージョンアップをする予定ですが
その際UAも変更すると思うので、この問題は解消するかも。
でも2ch.net側からは「はじくUA」のリストに入れられてるぽいので
>>890みたいな対処をかましておいたほうがいいかもです。
897：名無しさん：2015/05/02(土) 01:26:37: 横からだけど受信オプション設定のHTTPヘッダ一覧にあるUA変更1だけでいまのところ問題なしです
898：名無しさん：2015/05/15(金) 23:26:52: 2ちゃんねる専用ブラウザをご利用云々が増えてきたなぁ…
899：名無しさん：2015/05/15(金) 23:56:14: どこかのスレで見たが専ブラの独自UAは弾くらしい。
非対応専ブラはお断りってことなんだろう。
900：名無しさん：2015/05/16(土) 00:39:48: ち、相変わらずイライラさせるｗ
コレだからアメリカのストリップバーの経営者上がりは…ｗ
たとえ独善的でも、妙な感覚の上に成り立ったひろゆきの新しさのほうがまだ面白かった…ｗ
901：名無しさん：2015/05/16(土) 10:37:59: FC2のようにならないためだから仕方ない。
サーバ>アメリカ
経営者>アメリカ
902：名無しさん：2015/05/16(土) 12:30:04: >> 900
だよな。ひろゆきは自分しか儲からないような仕組みであってもユーザーの自由っていう哲学を持ってやってた。
今のJIMクソには哲学も何もありゃしない。自分以外のすべてが不自由を感じていても金さえ独占できればあいつは満足するんだろうな。

>> 901
FC2もしれっと鯖や登記をアメリカじゃなくて日本が国交結んでるかどうかも怪しい中南米の島国にでもすればよかったのにな。
AnyDVDのアンティグア・バーブーダみたいにさ。
903： ◆/vmukiyuzw：2015/05/28(木) 01:30:34: http://anago.2ch.net/test/read.cgi/software/1427376861/983-985
htmltodatはもともと2chのread.cgiを読むために作ったツールじゃないので。
むしろ2chで読めないスレを読むために何とかしようと作ったものなんで
こういう言い方されるのは正直むかっとしました。

でも、UAでmonazillaをかたるのには特にこだわりはないし
適当に変えてもいいんでしょうが、
その適当なUAの相手に迷惑かけるなんてことはまさかないでしょうが
ちょっと気持ち的に抵抗があるのです。
なので、問題がある方は
>>887あたりで対処していただけないかと。
（今後気持ちが変わるかもしれませんが）
904：名無しさん：2015/05/28(木) 03:26:07: Monazilliaが弾かれるわけじゃなくてhtmltodatが弾かれてるのが現実なのに
Monazilliaを問題にするのは相当なこだわりがあるように見受けられますが？
使う人の利便性を考えたら、Monazilliaを名乗るのはこだわり次第として、
htmltodatを入れるのは止めておいたほうが良くはありませんか？