htmltodatサポートスレッド - 1038588508

1：（L44UP/ps）：2002/11/30(土) 01:48: QA・要望等受け付けるかもしれない（？）スレッドです。
作者にスキルがないのでできないことが多いかとは思います。
2：（L44UP/ps）：2002/12/03(火) 03:42: とりあえず現状報告。
HTML取得を複数回押すとConnection closed gracefully のエラーになることがあります。
まじめにコネクションを切ってないのでまずい場合がある模様。
あと、EUC->SJIS変換しても化ける場合があります。別に凝ったことはしてないのになぁ。
HTML取得の後に化けるケースは対応できそうですがソース貼り付けの場合がどうも
うまくいかないっぽい。研究中です。
一応手元のバージョンではソース貼り付けのケースを除いては対応できたようなので
もう少しテストしてから差し替えます。
3：（L44UP/ps）：2002/12/05(木) 07:35: 修正版（0.0.6）をアップしました。
4：（L44UP/ps）：2002/12/16(月) 10:16: 0.0.7をアップしました。
今回は微修正のみです。
5：ジャス（jXxeRXqw）：2002/12/28(土) 16:55: 最近移転させられたスレを取り込みたくて、read.cgi7.04pの正規表現を書いてみました。
書いたといっても、正規表現は初めてだったので、悪戦苦闘したあげくできたのはsampleから
空白と数文字を省いただけのものになりましたが･･･。一応変換できるようなのですが、
これで良いのでしょうか？ご教示いただければ幸いです。
正規表現は次の通りです。
read.cgi7.04=m#<DT>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?).*?：(.*?)<DD>(.*) #mi
6：（L44UP/ps）：2002/12/28(土) 17:33: >>5
２ちゃんのread.cgiを読むのなら、regexps.txtに入っている「read.cgi7.00?」が
使えると思うのですが。
試されたURLも教えていただけると助かります。
7：ジャス（jXxeRXqw）：2002/12/28(土) 21:55: 早速のレスありがとうございます。試したURLは以下のものです。
http://life.2ch.net/test/read.cgi/lifetr/1040737543/l50
但しさっき気づいたのですが、原因は私の操作ミスでして、私はこのスレをプラウザで
表示させて、ファイルメニューから「名前を付けて保存」しておりました。そうではなく、
このスレへのリンクを右クリックで「対象をファイルに保存」にすると、ご指摘の通り
read.cgi7.00?で変換することができました。
（リンクのページ）http://life.2ch.net/lifetr/subback.html
大変失礼しました。
尚、申し遅れましたが、私は以前に一括変換の際に拡張子htmも対象となるよう要望した
ものです。あの時も素早い対応ありがとうございました。重ねてお礼申し上げます。
8：名無しさん：2003/01/12(日) 17:04: >>7
http://cheese.2ch.net/pure/kako/1000/10000/1000052758.html
でためしたところ、「read.cgi7.00?」では１行が長すぎると言われましたが、
ジャスさんの正規表現使ったらＯＫでした。
両方あったほうがいいかも知れません。
9：名無しさん：2003/02/19(水) 11:42: sample.htmlを変換しようとしても1行が長すぎますって出るんですが、なんでですか？
10：（L44UP/ps）：2003/02/27(木) 19:26: PCを修理に出しててレスが遅くなりました。
>>9
正規表現にはもちろん「sample」をそのまま指定してますよね？
だとするとちょっとわからないです。
11：名無しさん：2003/04/03(木) 21:15: 「ふぁるがいあ」のレスを、
名前トリップ,メール欄,投稿日ID,本文,題名
の形にするには、正規表現をどの様にすれば良いのでしょうか？

当方には、プログラムの知識が全く御座いません。
お教え頂ければ幸いに存じます。
12：（L44UP/ps）：2003/04/03(木) 23:37: >>11
変換したいスレのURLを書いて頂ければアドバイスできるかもしれません。
「ふぁるがいあ」でググってみたのですがよくわかりませんでした・・・
（「現在この掲示板はサービスを停止しています」とか言われたので）
13：11：2003/04/04(金) 22:05: >>12
こちらです。雑談スレッドのログです。
　
http://www20.tok2.com/home/LEFTy/sinzatu1.html
14：（L44UP/ps）：2003/04/05(土) 01:10: >>13
正規表現「その他」を使えば2ch標準形式のdatには変換できましたが。

>>11をみると、もしかしてかちゅ～しゃ形式にしたいのでしょうか？
であれば、変換結果を再度自力でテキストエディタ等で変換して頂くしか
ないかと思います。datファイルは「<>」を「,」に変換すればいいらしいですが、
idxファイルの作り方は知りません。

# そういう情報をお持ちの方がこのスレに書いていただけると
# うれしいのですが、こんな過疎状態では難しいですね・・・ｗ
15：11：2003/04/05(土) 12:05: 解りました。自力で何とかさせて頂きます。

＃過疎状態……２chにスレでも立てれば。
＃……荒れるか。
16：11：2003/04/06(日) 11:40: 2ch標準形式のdatのままで読み込めるエディタはどの様な物が有るのでしょうか？
教えて頂けると有り難いです。
17：（L44UP/ps）：2003/04/06(日) 20:11: >>11さん
かちゅのログ形式について調べてみたのですが、かなり標準形式とは異なる
独特のもので、単に「<>」を「,」にを変える程度ではまともに読めるものには
ならないようです。（レス番ポップアップ等がまったく効かない）

対処としては、かなり面倒な方法ですが、htmltodatでできたdatファイルを
適当なwebスペースにupしてかちゅからアクセスするという方法があるようです。
（以下の情報を参考にしました。
kage板総合質問スレッド
ttp://kage.monazilla.org/test/read.cgi/kage/037402107/237-245 ）

試しに私のサイトにupしてみましたので、以下のURLでかちゅから
アクセスしてみてください。
http://mukiyu.hp.infoseek.co.jp/test/read.cgi?bbs=katju&key=0000000001
18：11：2003/04/06(日) 23:26: 有り難う御座います。
レス番ポップアップを使うためにDATファイルの書き換えをしていたのですが、
流石に1000以上の書き換えを手動で行うのは、骨が折れます。
更にそれをあと50スレッド以上行おうとしていた自分の正気を疑いたくなってきました。

さて、あとは何処のwebスペースにupすれば良いやら解らないと言うのが問題でして、
今、絶望的に感じている所ですが(泣笑）
19：（L44UP/ps）：2003/04/07(月) 01:21: >>18
> さて、あとは何処のwebスペースにupすれば良いやら解らないと言うのが問題でして、

無料で利用できるホームページサービスはいくらでもあるので
それらを利用してはいかがでしょう。
http://www.google.com/search?q=%96%B3%97%BF%83z%81%5B%83%80%83y%81%5B%83W&btnG=Google+%8C%9F%8D%F5&num=50&hl=ja&ie=Shift_JIS
アップロードにはFFFTPがお勧めです。
20：11：2003/04/07(月) 22:58: >>19
何から何まで色いろとアドバイスを頂き、感謝の言葉も御座いません。

本当に、有り難う御座いました。
21：11：2003/04/18(金) 16:34: ええっと、どうやればURLに「？」が入れられるのでしょうか。
ファイル名に「？」は入れられ無いですし……。
アドバイスを頂けるとありがたく思います。
22：（L44UP/ps）：2003/04/18(金) 18:33: 全角の「？」でしょうか？
該当のURL（またはファイル名の例）を教えてください。
23：11：2003/04/18(金) 19:34: >>21
半角の「?」です。
例は>17にある様な物です。
24：（L44UP/ps）：2003/04/18(金) 21:35: すみません、質問の意図を今ひとつ理解できていません。

>>21を読んで、
「htmltodatのURL欄に『?』が入力できない（エラーになる？）」
という意味かと思ったのですが、どうもそういうことではないようですね。

もしかして、>>17の
http://mukiyu.hp.infoseek.co.jp/test/read.cgi?bbs=katju&key=0000000001
みたいなURLに向けてファイルをアップロードするにはどうすればいいか、
ということでしょうか？
25：11：2003/04/19(土) 03:44: >>24
済みません、説明不足でした。

その通りです。
26：（L44UP/ps）：2003/04/19(土) 15:57: http://mukiyu.hp.infoseek.co.jp/test/read.cgi?bbs=katju&key=0000000001
の例は、かちゅーしゃからアクセスするためのURLで、実際にUPする
ファイル名とは違います。
上のようなURLをかちゅーしゃでアクセスすると、実際には
http://mukiyu.hp.infoseek.co.jp/katju/dat/0000000001.dat
というURLに対してGETが行われるので、これにあわせてファイルを
UPするようにします。

>>17でリンクした「kage板総合質問スレッド」にも詳しく書いて
下さっている方がいるのでご参照ください。少し引用すると、

> 置くディレクトリは、http://適当なwebスペース/bbsname/dat/に
> bbsnameの部分は、目的の板の板ディレクトリ名にしておく。
> 例 http://kage.monazilla.org/kage/dat/

「適当なwebスペース」の部分は通常自分のアカウントで鯖にログイン
した場合のルートディレクトリになるはずなので、実際にはそこに
bbsname/datのディレクトリを作ってからdatファイルを置くことに
なります。
27：（L44UP/ps）：2003/04/19(土) 18:24: 専用の簡易httpサーバでも書いてみようかな・・・
28：（L44UP/ps）：2003/04/20(日) 22:10: とふと思ったけど、車輪の再発明以上のものにはなりそうにないのでやめます。
代わりに、と言っては何ですが、datファイルからsubject.txtを生成する機能を
実装中。
これを使ってローカルでhttpサーバを動かしてかちゅーしゃ等からアクセスする
方法についてまとめてみる予定。
29：（L44UP/ps）：2003/04/22(火) 01:12: >>28について各種2ch用ブラウザで動作を検証中。
「>>1」のようなリンクのポップアップがうまくいかないものが多い。
（ホットゾヌ、ギコナビ等）
どうやらhtml上で>>1の前に付加されているアンカータグ<a href=～>
がそのまま解釈されてしまってうまくいってない模様。
たいていの2ch用ブラウザには>>1のようなリンクにはアンカータグが
なくても自動で補う機能がついているようなので、これに頼ることにして
dat変換時にアンカータグを削除する機能をつけてみることにします。
30：（L44UP/ps）：2003/04/25(金) 18:18: とりあえずバージョンアップしました。(0.1.0)

・subject.txt生成機能を実装。
・レス本文中のアンカータグ削除機能を実装。
・エラーメッセージ等微修正。

ドキュメントについてはまだこれからです。
31：名無しさん：2003/05/14(水) 20:08: 「sample」正規表現で過去ログHTMLを変換すると、
コテハン内の空白やトリップ付きコテハンで名前欄の内容の一部が欠落する模様。

ついでに２ちゃんねるプロバイダーの
２ちゃんねるビューアが吐くHTML用正規表現ｷﾎﾞﾝﾇ。
32：31：2003/05/14(水) 20:38: ……と思ったが、ひょんな拍子で２ちゃんねるビューア用正規表現が、
自力で出来てしまったので晒しておく。

m#<DT>(?:<a .+?>)?([0-9]+).+?(?:<A HREF=mailto:(.+?)>)?(.*?)</.+>.*?：(.*?)<DD>(.*) #mi

完璧かどうかは判らないけどね。
33：31：2003/05/14(水) 20:38: ……と思ったが、ひょんな拍子で２ちゃんねるビューア用正規表現が、
自力で出来てしまったので晒しておく。

m#<DT>(?:<a .+?>)?([0-9]+).+?(?:<A HREF=mailto:(.+?)>)?(.*?)</.+>.*?：(.*?)<DD>(.*) #mi

完璧かどうかは判らないけどね。
34：31：2003/05/14(水) 20:39: むぅ、これが２重カキコの罠か。
35：（L44UP/ps）：2003/05/14(水) 21:50: # サーバーエラーでなかなか書けなかった・・・

>>31さん
「sample」はあくまでサンプルですし、readmeにも書いてるとおり
そのまま使えるとは期待しないでください。

うまくいかないURLの例を書いていただけるとうれしいのですが、
とりあえず以下のようなのではどうでしょうか。

m#<dt>([0-9]+).+?(?:"mailto:(.+?)">)? (.*?) (?:|</a>) 投稿日： (.*?)<dd> ?(.*?) #mi
36：31：2003/05/14(水) 22:03: ↓実際に用があったスレッドとは違いますが、★とかもあってテストに最適
http://pc.2ch.net/nntp/kako/1041/10410/1041061070.html

>>35の正規表現で、ばっちりＯＫでした。
37：（L44UP/ps）：2003/05/14(水) 22:52: 間違った・・・
m#<dt>([0-9]+).+?(?:"mailto:(.+?)">)? (.*?) (?:|</a>) 投稿日： (.*?)<dd> ?(.*) #mi
でないとまずいかもしれません。
（他の正規表現もそうだな・・・見直さなくちゃ）
38：fuwa：2003/05/16(金) 11:08: ども。ありがたく使わせていただいています。

さて、以下はおんぷちゃんねるの過去Logなんですが、変換がうまくいきません。
http://www.42ch.net/UploaderSmall/source/1052921487.htm
したらば(www)と>>33さんの正規表現を使いましたが（他の正規表現ではダメ
でした）、イマイチです。
よろしければ正しい正規表現を教えてください。
39：（L44UP/ps）：2003/05/16(金) 18:36: >>38さん
HTMLソース見ましたがかなり独特ですね。やたら変なところで改行してて。
（投稿日と時刻の間とか、<A の直後とか）

で、正規表現を弄っているうちに、プログラム的に直さないとまずい部分が
発覚してしまったので、修正します。
今日中にはUPできると思うのでしばらくお待ちください。
40：（L44UP/ps）：2003/05/16(金) 20:09: 修正版をUPしました。(0.1.1)
・アンカータグ削除がうまくいかない場合があるバグを修正。

>>38さん
バージョンアップした上で、以下の正規表現をお試しください。

m#<dt>([0-9]+).+?(?:"mailto:(.+?)">)?(.*?)(?:|</a>) +?投稿日：(.*?) *?<dd>(.*)( *?<dt>|</dd>)#mi

投稿日と時刻の間の半角スペースの数がまちまちだったりしますが
これは元のHTML上そうなっちゃってるんで勘弁してください。
41：名無しさん：2003/05/16(金) 22:51: 迅速な対応ありがとうございました。m(_ _)m

　カ　ン　ペ　キ　で　す　！

しかし、うーむ、やっぱり独特でしたか…。
私も中見て「…ヘンだ」とか思ってました。(^^;)
とにかくこれでdat化が迅速になります。ありがとうございました！
42：名無しさん：2003/05/17(土) 03:29: ギブアップです(ノ＿･｡)。

よろしければ、ご指南頂きたいです。

http://www25.big.or.jp/~wolfy/ragnarok/　←元サイト
http://chobi.net/~akemino/ragnarok/kako/　←ログおいてあるとこ

HTMLファイルを『OpenJane Doe α0.1.7.1』
のログ形式にしたいと思っています。添付
されていたsample.htmlを変換したDATファ
イルは、ちゃんと読み込むことができまし
た。
43：（L44UP/ps）：2003/05/17(土) 15:20: >>42さん
該当サイトのログは全てgzip圧縮されているようですね。
htmltodatは現在残念ながらgzip圧縮には対応していません
ので、URL直打ちではHTML取得自体ができません。

ログをダウンロードして適当な解凍ツールで解凍してから
変換する必要があります。
（ブラウザで表示して「名前をつけて保存」とする方法も
ありますが、数が多ければ面倒ですし、保存の段階でHTMLが
適当に加工されてしまうので別の正規表現が必要になるかも
しれません）

正規表現は、read.cgi7.00のを元にちょっと弄っただけですが
以下のようなのでいけると思います。

m#<dt><A.*?></A>([0-9]+).+?(?:"mailto:(.+?)">)?(.*?) ?(?:|</a>) 投稿日：(.*?)<dd> ?(.*?) (<dt>|</dl>)#mi
44：（L44UP/ps）：2003/05/17(土) 16:35: おまけ・・・
gzip解凍のできるツールは世の中にいろいろあると思いますが、
いっぺんにたくさんのファイルを対象にしたい場合、GUI型の
ツールより、gzipコマンドがお勧めです。
http://www.gzip.org/
ここからダウンロードして、コマンドプロンプトで*.gzファイルの
あるフォルダに移動し、
gzip -d *.gz
これだけで済みます。
45：42：2003/05/17(土) 17:47: やった～。できました。無事に変換できて、閲覧もばっちしでし
た(>>参照など)。

解凍自体はこのツール(http://www.kmonos.net/lib/noah.html)を
使ってできていました。各種DLLを自動で落としてくれるCALDIXっ
てツール同梱で、とても便利ですよ。

おかげさまで、落としまくったログを快適に閲覧できそうです。
また何か詰まることがあったら、なにとぞご指南よろしくお願い
します。

最後に一発、(≧∇≦)ｱﾘｶﾞﾄｰ。
46：42：2003/05/17(土) 23:24: 追記。

1000を超えるログファイルを解凍しようとして、その
すさまじさにちょいとびびり…でもまぁしょうがない
かと放置モードに入ろうとして、ふとgzipを試してみ
ました。

20秒たらずで全ファイル解凍完了。

GUIが常にいいとは限らないのだな、と心から実感し
た瞬間でした。アドバイス、深謝m(_ _)m。
47：（L44UP/ps）：2003/05/21(水) 21:02: バージョンアップしました。(0.1.2)
正規表現に関する質問が増えてきたので、前から気になっていた正規表現編集の
手抜き部分（汗）を少し手直ししました。

0.1.2(2003/05/21)
・メインウィンドウからの正規表現一覧編集時の動作を少し修正。
一覧から選択して編集した場合しか「追加」ができなかったのを、一覧から
選択したものでなくても（例えば正規表現欄に直接入力したようなときも）
「追加」ができるようにした。
また、一覧から選択したものでない場合に「更新」をしたとき、「追加」と
同様の動作になるようにした。
48：もうだめぽ：2003/07/05(土) 02:02: …すみません、自分でかまってたらよけいにおかしくなってしまいまして。
お知恵をお借りしたいと思います。
変換したいHTMLソースは
http://members.tripod.co.jp/iijimalink3/log88.html
なのですが…

ここの＞35,37　の2Ch用の正規表現を使っても
「一行が長過ぎるか、正規表現が正しくないようです」
と出て変換できません。かろうじて変換できたのは「したらば（WWW)」用の
物でしたが、これはトリップ部分が削られてしまいます。

ここの「テストその２」というスレの＞7の正規表現を使うとトリップは再現
出来ましたが、今度は地の文のフォントがすべて緑色になってしまいます。

よろしければ、何かヒントでもいただけないでしょうか？　お願いします。
49：もうだめぽ：2003/07/05(土) 06:40: 上で書き忘れたのですが、どちらの正規表現を使っても本来1001あるはずの
発言が250～500前後に削られてしまい、とてもまともに読めない状態です。

同じ2chでも鯖の設定によって条件が変わってしまうのか、保存したHTMLの
状態によって変換の可否が決まるのか…　ううむ。 (´-ω-`)
50：もうだめぽ：2003/07/05(土) 08:21: 連続書きすみません。

その後、諸先輩方の作例から下の正規表現をでっち上げ、何とかOpenJaneDoeで
文字属性を保ったまま1001発言を表示出来るようにはなりました、が…
正規表現自体の理解が足りず、未だmail欄が空白になる現象を直せません。

m#<DT><A.*?>([0-9]+).+??(?:<a href="mailto:(.+?)">)?(.*?)(?:</A>)?(?:|</a>) ：(.*?)<DD>(.*) #mi
51：（L44UP/ps）：2003/07/05(土) 14:57: >>48-50さん
件のログはDAT2HTMLでHTML化されたもののようですね。
DAT2HTMLもバージョンによって出力形式が微妙に異なるようですが、
バージョン0.26で変換したものなら以下のようなのでいけるかと思います。

m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|) ：(.*?)<DD>(.*) #mi
52：48-50：2003/07/05(土) 18:42: （L44UP/ps）様、早速＞51の式で変換したところ、無事にOpenJaneDoeで
綺麗に表示する事が出来ました！！　（｡´Д⊂)ﾟ｡･

せっかく教えて頂いた事ですし、これを機会に自分で弄くってた＞50とよく
見比べて、使いこなせるように勉強してみる事にします。

（L44UP/ps）様、本当にどうもありがとうございました！！

また、つまらない事で質問する事があるかも知れませんが…
そのときは、どうぞよろしくお願いします。

では…
53：48-50：2003/07/05(土) 18:46: すみません、追伸になってしまって申し訳ありませんが…

素早い対応をして頂いて、本当にありがとうございました。
54：（L44UP/ps）：2003/07/15(火) 00:13: 今日たまたま見つけたのでご報告。
>>51で

> DAT2HTMLもバージョンによって出力形式が微妙に異なるようですが、
> バージョン0.26で変換したものなら以下のようなのでいけるかと思います。

と書いたのですが、バージョン0.26の中にもいくつか細かいバージョン違いが
あるようで、>>51の正規表現ではうまくいかない場合があるようです。
（具体的には、名前欄の前後の<A HREF～>、</A>の位置が違う）

「DAT2HTMLの出力なのに>>51ではうまくいかないよ！」という場合は、以下の
正規表現（「テストその２」スレの7のものと同じですが）だとうまくいくことが
あるので、お試しください。

m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>)? ：(.*?)<DD>(.*) #mi

# どちらのバージョンでもいっぺんに対応できる正規表現を書いてみようと
# したのですが、曖昧になりすぎてうまくいきませんでした・・・＿|￣|○
55：名無しさん：2003/07/15(火) 17:47: 本日このソフトを知り、試してみているのですが、
dat出力までは出来たのですが、
それをどうやって表示させるのかがわかりません。

使っているのはopenjane Doe　α0.1.8.2です。
datファイルをどこに保存すればいいのかとか
教えていただけませんか。。

ものすごく初歩の質問でごめんなさい。。。
56：（L44UP/ps）：2003/07/15(火) 23:14: Janeの場合、デフォルトでは
(Janeのインストールフォルダ)
　┗ Logs
　　┗ 2ch
　　　┗ (カテゴリ毎のフォルダ)...
　　　　┗ (板毎のフォルダ)...
の形式でフォルダができているはずです。
datファイルは任意の「板毎のフォルダ」の下に置いてください。
Janeでその板のスレ一覧を開けば、多分一番下のほうに該当のスレが
表示されるようになるはずです。
57：名無しさん：2003/07/16(水) 00:07: >>56
見れました！どうもありがとうございます。
自分で勝手にフォルダ作っても表示されないんですね。それで見れませんでした。
58：名無しさん：2003/07/17(木) 01:20: http://log-chan.hp.infoseek.co.jp/
↑のﾛｸﾞちゃんねるのHTMLﾛｸﾞを取得したいのですが
自分には手も足も出ません・・・
誰か正規表現書いた方、うｐしてもらえませんか？
｡ﾟ･（ﾉД`）･ﾟ･｡
59：（L44UP/ps）：2003/07/17(木) 22:18: >>58さん
いくつかログを見てみましたが、それぞれ微妙に形式が異なり、
汎用的なルールを書くのが難しかったです。
HTML中に
<META content="IBM HomePage Builder 2001 V5.0.4 (Trial) for Windows" name="GENERATOR">
とありますが一個一個手で整形してるのかしら？

一応以下のようなのをひねり出してみました。
ラウンジにあった４つのスレは一応変換できましたが、他のログにも
全て通用するかどうかはあまり自信ありません・・・

m#<DT>([0-9]+).+?(?: )?(?:<FONT.*?>)?(?:<A HREF="mailto:(.+?)">)? ?(.*?) ?(?:|</A>).*?投稿日： ?(.*?) ? .*?<DD>(.*) *? ( *?<DT>|</DL>)#mik
60：＜削除＞：＜削除＞: ＜削除＞
61：名無しさん：2003/07/18(金) 05:26: >>59
ありがとうございますー！！
私が読みたかったスレはこれで大丈夫でした。
本当にありがとうございました。
62：名無しさん：2003/07/29(火) 10:13: JBBSしたらばに過去ログ倉庫機能がついたのですが、
これに対応した正規表現を書いた方はいらっしゃいませんでしょうか？(´・ω・｀)

アクティブなスレとの違いは、<a name="1">とかがついてるだけっぽいので、
ここをどうにかすればいいとは思うのですが、何をどうしたらよいやら（；´Д｀）

読みたいと思ってるのは、ここにあるスレです。
http://jbbs.shitaraba.com/game/1578/storage/index.html
http://jbbs.shitaraba.com/game/5091/storage/index.html
63：（L44UP/ps）：2003/07/29(火) 21:54: >>62さん
JBBSしたらば過去ログは私も利用していますので・・・
こんなのを使ってますがどうでしょう？

m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)? (.*?) (?:</A>|) 投稿日： (.*?) <DD>(.*) ? #mik
64：名無しさん：2003/07/30(水) 08:11: >>63
おお！ありがとうございます！
無事に変換することが出来ました。
今後も便利に使わせて頂きます(=´∇｀=)
65：名無しさん：2003/09/26(金) 17:53: こんにちは

別のスレッドでお聞きしたのですが、こちらのほうが適当かと思い
こちらでもお聞きさせてください。

最近になってhtmltodatを試してみたのですが
2chプロバイダーのhtml(メニューから「htmlのみ」で保存しました)がうまくいきません。
試した正規表現は登録されているもの全てと
2chプロバイダー=m#<DT><A name=([0-9]+).+?(?:<A href="mailto:(.+?)">)?(.*?).*?：(.*?)<DD>(.*) (<DT>|</DD>)#mi
です。

ご指導頂ければ幸いに存じます。
66：（L44UP/ps）：2003/09/26(金) 18:49: >>65さん

> 別のスレッドでお聞きしたのですが、こちらのほうが適当かと思い

「乱立する～」スレですね。今見てきました。
私は2chプロバイダーに加入してないので、2chプロバイダーの吐くhtmlがどんな
ものかわからず正規表現自体に関するアドバイスはできないのですが、

> 2chプロバイダーのhtml(メニューから「htmlのみ」で保存しました)がうまくいきません。

この方法でhtmlを保存した場合、ブラウザが適当にhtmlを整形・加工してしまう
ので、正規表現にヒットしにくくなってしまう場合があります。
リンクを右クリック→「対象をファイルに保存」として保存するか、適当な
ダウンロードツール（iria、irvine等）で保存したhtmlならうまくいくかも
しれません。
67：65：2003/09/26(金) 23:00: >>66様、お返事ありがとうございます。

2chプロバイダーですがcgiを用いているようで
「リンクを～」などが使えないようです。

実際のhtmlの一部なのですがEUC→SJIS後、
横スクロールありにチェックを入れたところ

 <dt><a name=64>64</a> ：<a href=mailto:sage>名無しさん＠お腹いっぱい。</a> ：02/12/19 20:21 ID:hxRcrPWT<dd> マウ筋も軌跡でろ！
 <dt><a name=65>65</a> ：名無しさん＠お腹いっぱい。 ：02/12/20 00:56 ID:hi4FfEbG<dd> StrokeItで、デスクトップで「Ｗ」を書いてＩＥ起動するのがすげー気持ちいい。 他のもいろいろ試してみっかな、フリーのヤツ
 <dt><a name=66>66</a> ：名無しさん＠お腹いっぱい。 ：02/12/20 01:27 ID:1/Z054zb<dd> 俺はWはWORDに使ってる ブラウザはL
 <dt><a name=67>67</a> ：<a href=mailto:sage>名無しさん＠お腹いっぱい。</a> ：02/12/20 01:32 ID:fBTLXZIA<dd> <a href="../test/read.cgi/software/1039655120/66" >>>66</a> DonutL使いと見たがどうか。

こんな風になっています。
これだけだと不十分でしょうか。
68：（L44UP/ps）：2003/09/27(土) 01:12: >>67
ざっと見たところ、
・mailto の前後の「"」が無い
・名前欄の後が</a>だったりだったりする
ところが微妙に違うみたいですね。

とりあえず、書いて頂いた分に対してだけ通用しそうなルールを書いてみました。

m#<DT><A.*?>([0-9]+).+?(?:<A HREF=mailto:(.+?)>)?(.*?)(?:</A>|) ：(.*?)<DD>(.*) #mi

最後１レスが変換できないかもしれません。
また、キャップやトリップ付のレスがあると正しく変換できないかもしれません。
うまくいかなければ、html全体をどこかにupして頂けるとアドバイスできるかも
しれません。
69：65：2003/09/27(土) 01:58: 作者様、度々ありがとうございます。

ご指示いただいたものも試したのですが
うまくいかないようなのです。

一応
http://up.isp.2ch.net/up/c7eddd8c5120.lzh
こちらにアップさせていただきました。
なお887にトリップを使ったレスがあります。
(あと関係ないかもしれませんが本文中にトリップのコピペがあります。)
キャップを使ったレスは、ないようです。

お手数をおかけし恐縮ですがよろしくお願いします。
70：（L44UP/ps）：2003/09/27(土) 08:41: >>69
頂いたファイルでいろいろ正規表現を試していたのですが
「これでいけるはずなのにうまくいかない…」状況に。
仕方なく、プログラムレベルでのデバッグをしてみると、とんでもない
バグを見つけてしまいました^^;
htmlの最初の行が空行だった場合、必ず「変換結果０行でした」のエラーに
なってしまうというものです。（まあそんなことまで想定してなかった
ということなんですが）
早速fixしたバージョン(0.1.3)をリリースしましたので、お試しください。
正規表現は>>68のでいけると思います。
71：65：2003/09/27(土) 16:06: >>70
作者さま、こんにちは。

ご指示いただいたものをいくつかのスレッドで試したところ
もんだいなく変換できました。

今回は、度重なるご指導ありがとうございました。
便利に使わせていただきます！
72：名無しさん：2003/12/02(火) 02:01: ぶしつけな書き込みですいません。

2chのスレをhtmlで保存してあるのをこのツールで変換して
Live2chで使っています。read.cgi7.00?で、ほぼうまくいって
いるのですが、一点だけ気になることが。

「>>72」とかの引用が文字だけ表示になってしまって、リンク
されてないんです。正規表現を理解しておらず、他力本願なの
ですが、どなたかお助け下さい。
73：（L44UP/ps）：2003/12/03(水) 18:25: >>72さん
アンカータグ削除機能（>>29-30参照）とLive2chの相性の問題かな、と
最初思ったのですが、Live2ch Ver.1.01で確認したところ、アンカータグ
削除を行っていてもちゃんと>>xx形式へのリンクはされました。
ということはやはりdatへの変換がうまくいっていない可能性が高いです。
（１行１レスになってないとか）

該当のスレのURLを教えていただければアドバイスできるかもしれません。
74：72：2003/12/03(水) 19:29: お返事いただきありがとうございます。

自分の環境では2chのどのスレでも再現してしまいました。
保存をブラウザでしたやつを利用したからでしょうか？
（IE 6.0.2008とNN 4.78jの両方で確認してみました)

とりあえず作者さんの環境で、これではいかがでしょうか。
新幹線の乗り方(超初心者編)２
http://travel.2ch.net/test/read.cgi/travel/1036408453/

えっと実はアンカータグ削除機能のことは知らなかったのですが、
もしよろしければread.cgi7.00?に機能あり/なしの二つの変換式
バージョンを用意するってのでも、私的には十分満足です。
75：72：2003/12/03(水) 22:31: すいません。今さら気付いたんですが、アンカータグ削除機能は
変換式ではなく本体プログラムの方での対応だったんですね。失礼しました。
（このチェックボックス自体はon/offして試していたのですが）

Live2ch v1.01の設定で「拡張ポップアップ」をonにしても「>>」だけはテキスト表示。
ん～「＞」とか「>」は表示するのに・・・。こんな感じでした。
76：（L44UP/ps）：2003/12/03(水) 22:41: >>74
> とりあえず作者さんの環境で、これではいかがでしょうか。

こちらでも再現しました。そして原因もわかりました。

html上で<や>のような文字を表現する場合、htmlタグと区別するために
代わりに&ｌｔ；、&ｇｔ；（本来は半角）を使用する、のが一般的なルールなの
ですが、今の2chのread.cgiでは>>xxを&ｇｔ；&ｇｔ；xxではなくそのまま>>xxと
いう文字でhtml出力しているようです。
（サーバのdatファイル上では&ｇｔ；&ｇｔ；xxになっているので出力時に
わざわざ変換しているようです）

# これはルール違反じゃないかと思うのですが・・・

で、htmltodatもLive2chもそんなことは想定していないので&ｇｔ；&ｇｔ；xxには
リンクが貼れるがただの>>xxにはリンクが貼れない、という状況のようです。
ちなみにJaneでもギコナビでもリンクは貼られませんでした。

対処としては各ブラウザの作者さんにお願いするわけにもいかないでしょうから
htmltodatで変換するようにしたいと思います。
気長にお待ちを・・・
77：72：2003/12/03(水) 23:59: はい、ありがとうございます。さっそく(?)気長に待つことにします。
78：（L44UP/ps）：2003/12/04(木) 08:02: バージョンアップしました。(0.1.4)

0.1.4(2003/12/04)
・本文中に「>>x」(xは数字)の文字列があったら「＆gt;＆gt;x」（実際は半角）に
変換するよう修正。
2chのread.cgiの仕様変更（？）により、>>x形式のリンクが＆gt;＆gt;xでなく
>>xそのままで出力されるようになってしまったため、ブラウザによっては
リンクであると認識できなくなる不具合への対応。

お試しください >>72さん
79：72：2003/12/04(木) 20:30: 気長に待つつもりでおりましたら、なんてすばやい対応。
ちゃんとうまく動きました。ありがとうございます。
80：名無しさん：2004/02/23(月) 13:39: いつもありがたく利用させて貰っています。
いちごびびえす用にいろいろ書いているんですが、どうも上手くいきません。
どなたかいちごびびえす用の正規表現を教えていただけないでしょうか。
81：（L44UP/ps）：2004/02/27(金) 23:23: >>80さん
あんまり調べてないんでうまくいくどうかわかりませんが
一度お試しください。

m#<DT>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?).*?　 (.*?)<DD>(.*)#mi
82：名無しさん：2004/04/14(水) 20:39: http://makimo.to/2ch/life2_fashion/1046/1046890775.html
ここがうまく表示できないのですが・・・
83：（L44UP/ps）：2004/04/15(木) 00:19: >>82さん
前にwin板のJaneスレで見かけたのですが、makimo.toのログは
htmltodat使わなくてもdat形式で取得できるそうですよ。

参考：
2chBrowser OpenJane@Win板 Part12
http://pc2.2ch.net/test/read.cgi/win/1063590722/
http://pc2.2ch.net/win/kako/1063/10635/1063590722.html
の49,56,73

ちょっと長くなりますが引用しておきます。

--------------------------------------------------------
49 名前：名無し~3.EXE[] 投稿日：03/09/20 17:03 ID:cDvhXlYB
http://makimo.to/2ch/
ここの過去ログ墓場にあるスレを
OpenJaneDoeで閲覧したいのですが…
見る方法はあるでしょうか？

---------------------------------------------------------
56 名前：名無し~3.EXE[sage] 投稿日：03/09/20 18:22 ID:cDvhXlYB
ちなみに>>49のサイトの管理人に聞いてみたところ、

[105] (無題) 投稿者：ぴ投稿日：2003/09/20(Sat) 16:10
http://makimo.to/2ch/xxx_xxx/xxxx/xxxxxxxxxx.html
というURLがあったら、自動的に
http://makimo.to/cgi-bin/html2dat/html2dat.cgi?xxx_xxx/xxxx/xxxxxxxxxx.html
にアクセスするような仕組みがあれば可能だと思いますが、

ブラウザの作者のほうへ依頼したほうがいいと思います。

という答えが返ってきました

---------------------------------------------------------
73 名前：名無し~3.EXE[sage] 投稿日：03/09/21 01:53 ID:w1p6Vafg
>>56 って、下のURL自身がhtml形式からdat形式に変換するcgiなような……。
スレのURLを変換して表示すればdat形式で表示されるよ。

例えば、
ttp://makimo.to/2ch/news4_news/1055/1055607711.html
なら、下のURLを開く。
ttp://makimo.to/cgi-bin/html2dat/html2dat.cgi?news4_news/1055/1055607711.html

表示された内容を１行目の"+OK /dat/news4_news/1055/1055607711.dat"を除いて
テキストエディタに貼り付けて、"1055607711.dat"という名前でログフォルダに
保存（指定可能なら改行コードはLFの方がいいかも）。
84：82：2004/04/16(金) 18:46: >>84
素早い対応ありがとうございました。
これからも利用させてもらいます。
85：名無しさん：2004/04/22(木) 18:45: はじめまして、いろいろ試行錯誤しながら使わせて頂いています。

ところでこちらのサイトので管理されている過去ログ
http://ifuya.hp.infoseek.co.jp/area88temp/menu.htm
なんですが、変換後に『ギコナビ』で読み込ませてもスレッド名が表示されません

ファイル処理は問題なく逝っているのですが…

ギコナビは、ﾊﾞﾀ47、変換方法はDAT2HTML0.26です

よろしくおながいすます　（汗
86：（L44UP/ps）：2004/04/23(金) 02:09: >>85さん
該当のサイトのログをいくつか見てみました。
http://ifuya.hp.infoseek.co.jp/area88temp/log/1078421871.html
http://ifuya.hp.infoseek.co.jp/area88temp/log/1077967909.html
http://ifuya.hp.infoseek.co.jp/area88temp/log/1077289427.html 等
「DAT2HTML0.26」では「一行が長すぎるか、～」のエラーが出たのですが
「read.cgi7.00？」ではちゃんと変換でき、ギコナビﾊﾞﾀ47でスレッド名が
表示されるのも確認しました。
一度お試しください。
87：85：2004/04/24(土) 02:52: 早速のご返答有難うございます！

…試したのですが、やっぱり無理ですた（泣
変換した新着ﾚｽの日付が『1970年1月1日』と表示され、
スレッド名が表示されず、取得・カウント共に『0』のまま…
日付はどうでも良いけど、ｽﾚ名が反映されないとは…

今時Win98＋IE6なんで、その性かなぁ…　ｼｸｼｸ
88：（L44UP/ps）：2004/04/24(土) 17:21: よくわからないですけど、>>85で「DAT2HTML0.26」で変換できている時点で
何か違うような気がします。
・うまくいかないスレのURLを教えてください。
・HTML取得はURL直打ちでしましたか？それともいったんローカルに
保存してから取得しましたか？その場合、どうやって保存しましたか？
・ギコナビでのスレ内容自体の表示はできていますか？
（レス番ポップアップが効くか、等）

以上の情報をください。
89：85：2004/04/25(日) 10:16: >>88さま
どうも色々試行錯誤しながら、他の奴も変換していた性で
自分でも勘違いしていたかもしれません＞DAT2HTML0.26

>86の
http://ifuya.hp.infoseek.co.jp/area88temp/log/1077967909.html
だけはスレッド名取得その他問題なく『ﾊﾞﾀ47』に取り込み成功したのですが、
何故上手くいったか判らず…

・うまくいかないスレ：過去ログ置き場
http://ifuya.hp.infoseek.co.jp/area88temp/menu.htm
！症状：
・ギコナビで『アニメ板』を表示した時に変換したｽﾚが現れず、取得済みｽﾚから該当ｽﾚを呼び出すと
取得済みの過去ログと現行最下スレッドの境に「スレッド名：空欄、取得・カウント共に『0』」
のファイルが表示される。
・タブにもｽﾚ名はでない（名称未設定になっているみたいです）
！HTML取得：
・URLは該当ログを表示して、アドレスをコピペ
！ギコナビでのスレ内容自体の表示：
全て問題無し

という感じです。過去ログが『DAT2HTML 0.29a』でhtml変換されている性なんでしょうか?

後下の奴も「その他」変換で同じ症状が出ました
http://bustof.hp.infoseek.co.jp/1079113823.html
（html変換：DAT2HTML 0.26）

ファイル変換自体は上手くいくんで、ギコナビで過去ログ監理する時、
ｽﾚ名さえ読んでくれれば問題解決なんですが…
90：（L44UP/ps）：2004/04/25(日) 19:12: 変換自体がうまくいくのにスレッド名が表示されないのは
ちょっと原因がわかりません。
私の環境では
http://bustof.hp.infoseek.co.jp/1079113823.html
も正規表現「その他」で変換でき、スレッド名もスレ内容も
取得・カウントもちゃんと表示できましたが・・・

変換後、htmltodatの「dat変換結果」欄の１行目の最後、
<>の後ろにスレッド名は入っていますか？
（ギコナビでのスレッド名もこれを表示しているはず）

また、ギコナビを再起動しても表示は変わりませんか？
91：85：2004/04/26(月) 21:56: ＞また、ギコナビを再起動しても表示は変わりませんか？
ぐはっ、か、肝心なことを見逃してました…

再起動で、｢表示｣問題解決しました。
こんなこと気付かずに無駄ﾚｽしてしまいスイマセン

お詫びに、ﾁｮｯﾄ逝ってきます
　　 ||
　∧||∧
（ / ⌒ヽ
　| | 　　|　＜　>90氏様、有難うございますた…
　∪ ﾉﾉ　　　　　　　
　 |　|　|　　　　　　　　　
　 ∪∪　　　　　　　
　　：　　　　　　　　　　
　　：　　　　　　　　
　―━―
92：名無しさん：2004/05/03(月) 18:10: Internet Archiveの正規表現を教えてもらえないでしょうか…？
ただ、このスレッドは全てのレスを表示できません

http://web.archive.org/web/20020919151417/choco.2ch.net/test/read.cgi/park/950434711/701-800
93：（L44UP/ps）：2004/05/03(月) 22:07: >>92さん
正規表現は「read.cgi7.00?」でうまくいくと思いますが、
全レス取得できないスレを変換しても2ch用ブラウザでの
表示はうまくいかないと思いますよ。
94：92：2004/05/04(火) 01:42: >>93
そうですか…無理を言ってしまってすいません
95：名無しさん：2004/05/10(月) 20:42: とても便利なツールだと思うので使いこなしたいのですが
起動でつまずいてしまいました…
htmltodat.exeをダブルクリックしても「必要なDLLファイルBREGEXP.DLLがみつかりませんでした。」と表示されてしまいます。
ヘルプに書いてあるhttp://www.hi-ho.ne.jp/babaq/index.html
のBREGEXP.DLLをダウンロードして同じフォルダの中に入れているのですが
それだけではダメなのでしょうか？
「Bregexp.h」「Breg50.lib」「Bregexp.lib」を開いてみましたがうまくいきませんでした。
初心者な質問で申し訳ありませんがご教授ください。
96：（L44UP/ps）：2004/05/10(月) 23:39: >>95さん
基本的にはDLLをexeと同じフォルダに置くだけで動くはずなのですが・・・
ちょっと原因がつかみかねます。

・差し支えなければ、exeとDLLを置いたフォルダ名を教えてください。
・BREGEXP.DLLをシステムフォルダに移してもだめですか？
　※システムフォルダはwondowsのバージョンによって異なります。
　XP - C:\WINDOWS\SYSTEM32
　2000 - C:\WINNT\SYSTEM32 （2000はあまり使ってないのでうろ覚え）
　9x - C:\WINDOWS\SYSTEM
97：95：2004/05/12(水) 01:00: 解凍したままデスクトップで作業していました。お恥ずかしいです。
先程BREGEXP.DLLとexeをC:\WINDOWS\SYSTEMに移してみた所、ちゃんと動きました。
お手数をお掛けして済みませんでした。ありがとうございます。
98：名無しさん：2004/05/29(土) 13:55: DAT2HTML 0.29用の正規表現はどのようになりますか？
入っていた全ての正規表現を試してみても上手く変換できませんでした。
99：（L44UP/ps）：2004/05/29(土) 17:12: >>98さん
DAT2HTML 0.29と0.29appで手元の適当なdatをHTML変換してみましたが
いずれも正規表現「DAT2HTML0.26」でdatに戻せましたよ。

ただ、HTML変換時にスキンが指定されてたりすると違った形式のHTMLに
なってしまう可能性もあります。
差し支えなければうまくいかないURLを教えてください。
100：名無しさん：2004/05/29(土) 22:17: >99
すみません。再度実行してみたら今度は出来ました。
お手数おかけしました。
101：名無しさん：2004/06/15(火) 17:16: すみません。
こちらの過去ログ置き場のHTMLファイルを変換したいのですが、
1行が長すぎると出て変換出来ません。
http://umaibo.net/y/y01.htm

ページの先頭に【 2chtubo Ver.1.1.4.0 】と記載されてます。
これは、２ちゃんねるビューア用の正規表現とは別物が必要という事で
よろしいのでしょうか。

ご指導、よろしくお願いいたします。
102：（L44UP/ps）：2004/06/15(火) 19:15: >>101さん

> ページの先頭に【 2chtubo Ver.1.1.4.0 】と記載されてます。

のとおり、2chtubo 1.1.4.0を使って表示したhtmlを保存したもののようですね。
正規表現は以下のようなのでいけると思います。

m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.*?)(?:|</a>) *?：(.*?) *?<dd.*?>(.*?) ( *?<dt|</dd>)#mi

ベースにしたのは「read.cgi7.00？」で、ポイントは、DTやDDタグに<DT id=res0_1>
みたいなのがくっついているので、これにマッチさせるために<dt.*?>等としたところ
でしょうか。あとは半角スペースの位置・数の微修正程度。
103：101：2004/06/16(水) 12:45: どうもありがとうございました。
よもや、こんなに早くお答えが頂けると思っていませんでした…

「ポイントは～」以降の相違でレスの切り分けが出来なくなってた訳ですね。
これでやっと大量の過去ログを専用ブラウザで読む事が出来ます。
ほんとうに、ありがとうございました。
104：名無しさん：2004/07/05(月) 20:12: dat落ちｽﾚ閲覧用に、isp.2ch.net/viewerから落とし>>68の正規表現でdat化させる
方法を多用していましたが、先日これでは巧く行かないｹｰｽに遭遇しました。

 <dt><a name=3>3</a> ：<a href=mailto:sage>(´･ω･｀) ：02/01/17 21:46 ID:qUrW9FUs<dd> (´･ω･｀)
 <dt><a name=266>266</a> ：(=ﾟωﾟ)ﾉ ：02/01/17 23:09 ID:BaagaU6g<dd> <a href="../258" >>>258</a> (=ﾟωﾟ)ﾉ 
 <dt><a name=266>266</a> ：(=ﾟωﾟ)ﾉ ：02/01/17 23:09 ID:BaagaU6g<dd> <a href="../258" >>>258</a> (=ﾟωﾟ)ﾉ 
 <dt>

この様にRes内の連続改行が では無く、 となってる個所があり、
ここで2Resが1Res結合されてしまいます。そこでRes部を最短一致の*?に変更し、

m#<DT><A.*?>([0-9]+).+?(?:<A HREF=mailto:(.+?)>)?(.*?)(?:</A>|) ：(.*?)<DD>(.*?) #mi

とすることで取り敢えず解決しました。今のところ他の部分への副作用は特に見
当たりません。以上、ご報告まで…
105：名無しさん：2004/07/09(金) 21:45: http://makimo.to/cgi-bin/search/search.cgi?q=|*�e�[�e)�d��&sf=2&andor=AND&G=�G�k�n�Q
↑の中にあるログを変換したいんですが、どの正規表現を選んでもダメなんです。
　解決方法ないですかね？教えてください。
106：105：2004/07/09(金) 21:48: ↓すいません。こっちでした。
http://makimo.to/cgi-bin/search/search.cgi?q=|*�e�[�e)�d��&sf=2&andor=AND&G=�G�k�n�Q
107：（L44UP/ps）：2004/07/10(土) 15:29: >>105さん
>>83ではだめですか？
108：105：2004/07/11(日) 02:45: >>107さん
あっ、上に書いてあったんですね。
>>83でＯＫでした。どうもすいません。
109：名無しさん：2004/08/14(土) 11:48: http://www.geocities.co.jp/Playtown-Spade/3115/believe_or.html

ここを「なんだっけ…」という正規表現でDAT化しようとすると
日付の色や文字の大きさが違ったり、T color=#8080ff size=2> New!と
余計なものが付いてきたりします。
他の正規表現ではエラーが出るか変換できても同じような表示になります。
正規表現はまるでわからないので申し訳ないのですが
110：（L44UP/ps）：2004/08/14(土) 20:42: >>109さん
「New!」とか入ってるとこを見ると、何かの2ch用ブラウザで表示させた
結果をHTML化したもののようですね。
とりあえず以下のような正規表現を書いてみました。

m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>)?(?:)?(?:)(?:<FONT.*?>) (.*?)<DD>(.*) #mi

但し、このHTMLにはスレタイの情報がどこにもないので、スレタイは
表示できません。
自力でdat内なり情報ファイルなりに書き足してください。
111：109：2004/08/16(月) 00:01: レスありがとうございます。
正規表現の方はばっちりでした!
idxとSubject.txtをいじるのに苦労しましたがスレタイもOKでした。
ログの名前って数字じゃないとだめみたいですね
112：109：2004/08/16(月) 00:01: レスありがとうございます。
正規表現の方はばっちりでした!
idxとSubject.txtをいじるのに苦労しましたがスレタイもOKでした。
ログの名前って数字じゃないとだめみたいですね
113：109：2004/08/19(木) 15:58: http://like_a_god.at.infoseek.co.jp/MMR.html
今回はここなのですが、前回と似たような感じなので
>>110の正規表現でほぼうまくいきました。
ただ、メール欄になにも書かれていないレスが消えてしまうようです。
度々すみませんがまた教えていただけないでしょうか
114：（L44UP/ps）：2004/08/20(金) 18:11: >>113さん
>>109との違いはNew!があるかないかだけみたいですね。

>>110の正規表現中の(?:)の繰り返しの２個目は
New!にマッチさせるためのものだったんで、New!があってもなくても
いいよう、これに?を付けました。
あと日付欄の前の半角スペースがあったりなかったりしたのでこれも
?をつけました。
これは>>109にも>>113にもマッチするはずです。

m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>)?(?:)?(?:)?(?:<FONT.*?>) ?(.*?)<DD>(.*) #mi
115：（L44UP/ps）：2004/08/20(金) 18:13: あと、ついでと言っては何ですがバージョンアップしました。(0.1.5)
>>109のようなスレタイ（正確には<title>タグ）が含まれないHTMLを変換
したとき、プレビュー欄の表示がおかしくなっていました。
これは、プレビュー表示時にスレタイが見つからなければHTMLヘッダ情報
自体を出力していなかったのが原因だったので、これを修正しました。

但し、これは見た目だけの話で、いずれにせよスレタイの情報が取得でき
ないことに変わりはないので、>>110のとおり自力でdat内なり情報ファイル
なりに書き足す必要があります。
116：109：2004/08/20(金) 23:08: どうもありがとうございました。
バージョンアップお疲れ様です
117：名無しさん：2004/08/26(木) 00:45: めちゃくちゃ初心者な質問で恐縮ですが、
html化された過去ログ　例えば
http://curry.2ch.net/occult/kako/1007/10074/1007429618.html

を　htmltodat　の正規表現「sample」を利用してdatファイルにし、
それを　dat2html　を使用してhtml化すると、ＵＲＬがダブってしまいます

34 名前：あなたのうしろに名無しさんが・・・：01/12/05 17:36
http://piza2.2ch.net/test/read.cgi/occult/1007144685/l50" target="_blank">http://piza2.2ch.net/test/read.cgi/occult/1007144685/l50
このまま二人が帰ってこなかったら、死ぬほど（比喩抜きで）後味の
悪い話が完成する。

のような感じで。
これは致し方ないことなのでしょうか。
もしくは正規表現に手を加えれば修正できるのでしょうか。
ご面倒でなければ、お教え頂ければと思います
118：117：2004/08/26(木) 01:02: すみません、「アンカー削除」のチェックを外してdat化していました・・・
チェックを入れたままにしたところ、うまくいきました。
スレ汚しすみませんでした
119：名無しさん：2004/08/30(月) 01:57: Internet Archiveの正規表現
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.*?)(?:|</a>) *?：(.*?) *?<dd.*?>(.*?) ( *?<dt|</dd>)#mi
120：名無しさん：2004/08/30(月) 12:56: 今更だけどオフラインモードで終了して
htmltodatで生成されたDATを該当フォルダに移動
該当フォルダのsubject.txtに生成されたsubject.txtの内容を上書きすれば
自動的に.idxが生成されるね…　これって標準仕様なのかな？
121：名無しさん：2004/09/24(金) 21:09: いつもお世話になってます。
にくちゃんねるのログをDAT形式に変換する方法はないでしょうか？
>>84を読むとにくちゃんねるのhtml形式のログはDAT形式に変換できるようですが、
http://makimo.to/cgi-bin/dat2html/dat2html.cgi?http://that3.2ch.net/test/read.cgi/gline/1094036120/
などのように、まだhtml化されていないログをDAT形式に変換する方法はないでしょうか？
にくちゃんねるがDAT形式で保存しているのをユーザーにhtml形式で提供していますが、
にくちゃんねるからはhtml形式で保存されないログはDATでは提供されていないので、
どうしてもにくちゃんねるのhtml形式のログをDAT形式に変換したいのです。
122：（L44UP/ps）：2004/09/25(土) 22:59: >>121さん
にくちゃんねるのhtmlてcssとかJavascript使いまくりでhtmltodatで変換するのは
結構面倒ぽいので、にくちゃんねるの管理人さんに質問してみました。
すると、有難いことにDAT形式で取得するオプションを付けてくださいました。
ttp://makimo.to/cgi-bin/bbs/bbs.cgi

具体的には、URLの最後に&view=DATを付けてください。
>>121の例だと
http://makimo.to/cgi-bin/dat2html/dat2html.cgi?http://that3.2ch.net/test/read.cgi/gline/1094036120/&view=DAT
みたいな感じです。
123：名無しさん：2004/09/26(日) 17:55: >>122
出来ました。どうもありがとうございました。
124：名無しさん：2004/10/11(月) 00:17: makimo.toから>>83のやり方でdatを取得してログフォルダに入れたらきちんと表示されなかったので、
>>83で取得したdatをdattohtmlでhtml化してそれをhtmltodatの｢なんだっけ・・・｣でdat化したら上手くいきました。
「DAT2HTML0.26」や「その2」だと変換できるんだけどレスの順序がバラバラになってしまいました。
125：名無しさん：2004/10/11(月) 15:22: ん？？？さっき漏れもmakimo.toからﾀﾞｳｿしたが、

1) /2ch/ → /cgi-bin/html2dat/html2dat.cgi?　でﾀﾞｳｿ(ﾌｧｲﾙ末尾欠落は無視)
2) 拡張子修正 .html → .dat
3) html2datでsubject.txt作成

これだけでOkayﾀﾞﾀｰｮ
126：名無しさん：2004/11/08(月) 11:49: ttp://fun.kz/
↑用の正規表現を既に考えた方いますか？
127：名無しさん：2004/11/11(木) 17:26: >>126
そこは2chと構造が同じなのでhtmltodatを使わなくても、
2chブラウザに外部板として「fun.kz/board/」を追加すれば見れますよ。
boardの部分は適宜読み込みたい板のディレクトリ名に変更。
その中から見つからない場合は「fun.kz/board/dat/」から目的のdatを
直接落として後はdat2htmlするなり2chブラウザに入れるなりしてください。
128：126じゃないけど：2004/11/12(金) 22:12: >>127
ありがとう。さっそく役に立ちました。
129：126：2004/11/18(木) 22:25: >127
あ、ありがとうございました！
130：名無しさん：2004/11/21(日) 00:25: http://aw0015.hp.infoseek.co.jp/2ch/gx-19.html
これがどうやっても正しく変換できません。その他となんだっけ･･･なら
変換は出来るのですが、番号が飛び飛びになってしまいます。
131：名無しさん：2004/11/21(日) 00:29: すみません。バージョンアップしたらできるようになりました。
半年前のやつだったので、古かったようです。
スレ汚し申し訳ございませんでした。
132：名無しさん：2004/12/04(土) 17:48: 始めまして。
htmltodatを使わせて頂いております。
さて、下記のURLの変換がどうしてもうまく出来ません。
http://f33.aaa.livedoor.jp/~kagura/kako/1060675865.html

正規表現は、どのようにすれば宜しいのでしょうか。
お分かりの方居りましたら、ご教授下さいますようお願い致します。
133：週刊少年マンガ板住人：2004/12/15(水) 17:42: ２ちゃんねるミラー化計画からログを引っ張ってこれるように
UFT-8のデコードにも対応してもらいたいです。

>>132
m#<dt>.+</a>(\d+) 名前：.+<a href="mailto:(.*)">(.*) ?.+：(.+) <dd>(.*) #mki

こんな感じ？名前欄のスペース有り無しでハマった…
134：週刊少年マンガ板住人：2004/12/16(木) 16:16: 誤字った…改めて

>>作者様へご要望です
２ちゃんねるミラー計画からログを引っ張ってこれるように
UFT-8のデコードにも対応してもらいたいです。
対応ご検討いただけると嬉しいです。
135： 週刊少年マンガ板住人：2004/12/16(木) 16:24: うわぁ直ってない。
×UFT-8
○UTF-8
です。
136：週刊少年マンガ板住人：2004/12/16(木) 17:11: この際なんで要望その2！

自分はperlしか知らないんですが、()の対応がうまく取れず拾いたいレコードを
取りこぼしてしまい、(多くはメール欄の有無で処理が大きく分ける必要のあるhtml)
結局前処理が必要になることがあるので、

・マッチング用の正規表現スペースを2つか3つにして or で拾い
・2つ目以降のスペースはそれぞれ空の時マッチング動作に加わらずスキップ
としていただけるとなお嬉しい…

この仕様だと旧パターンの互換性は一つ目の正規表現スペースだけを使う事で保証されます。
137：（L44UP/ps）：2004/12/18(土) 01:04: >>134-136さん
UTF-8対応は割と簡単そうなので気が向いたらそのうちやりたいと思います。
２ちゃんねるミラー計画とやらのURLを教えてください。
2つめのご要望はかなりの改造になってしまうのでちょっと難しいと思います。
138：週刊少年マンガ板住人：2004/12/18(土) 03:57: 対応、どうもありがとうございます。
うーん、フラグ持たせて評価関数ループ…じゃ難しいのかな。

２ちゃんねるミラー計画@fun.kz
http://fun.kz/

サイトはこちらです。
139：132：2004/12/18(土) 11:11: >>133
どうも、ありがとうございました。
無事、変換することが出来ました。
140：名無しさん：2004/12/19(日) 07:16: >週刊少年マンガ板住人
>>127
141：週刊少年漫画板住人：2004/12/19(日) 13:00: >>140
あああああぁぁぁぁながあったらはいりたい。
申し訳ないっす。
142：名無しさん：2004/12/28(火) 06:22: ( )内で処理をすると
その部分が問答無用で５つのデータとして割り当てられていっちゃうのかと思ったら
(?: )って書くと回避できるんですね。
それに気付くまで数時間ぐらいずっといじってた・・・
143：名無しさん：2005/01/24(月) 14:24: http://jbbs.livedoor.jp/movie/3205/storage/1089709230.html

livedoorしたらばのログなのですが、>>133の正規表現を用いても変換不可でした。
出来ましたら御対応して頂きたいのですが…
144：（L44UP/ps）：2005/01/24(月) 18:03: >>143さん
正規表現は>>63のでほぼいけると思うのですが
（以前と多少形式が変わったみたいで名前欄が若干変ですが）、
それ以前にこのhtmlはソースを全部表示できないですね。
（レス番109までしか表示できない）

htmlソースを直接取得して調べてみるとレス番110の途中に大量の
NULL文字(0x00)が混入・・・噂のjbbsのバグかな？
とりあえずGET直後にNULL文字を除去するよう改造してみたところ
全部表示できるようになりました。
今日か明日中にUPできると思います。
145：（L44UP/ps）：2005/01/24(月) 20:37: 久しぶりにバージョンアップしました。(0.1.6)
・html中にNULL文字(0x00)が含まれるとそれ以降のhtmlが表示できなくなる
　不具合の対処として、GET直後にNULL文字を全て除去するよう修正。

お試しください。>>143さん
正規表現は>>63のよりも、サンプルで添付しているregexps.txtにある
「jbbs過去ログ」のほうが多少まともに変換できるようです。
146：名無しさん：2005/01/25(火) 16:42: >>145
試してみた所、見事変換に成功しました。
作者様誠に有難う御座います
147：＜削除＞：＜削除＞: ＜削除＞
148：名無しさん：2005/04/03(日) 14:38:32: てすと
149：名無しさん：2005/04/05(火) 08:18:02: dat2htmlがバージョンアップしましたが、そのファイルは
どの正規表現を使ってもうまくdatに戻せませんでした。
正規表現はどのようにしたら良いでしょうか
150：名無しさん：2005/04/05(火) 10:47:58: >>149
そういう時にはdat2htmlのバージョンと、
スレのURLを書いてもらえるとありがたいです。

今のままではアドバイスのしようがありません。
151：名無しさん：2005/04/13(水) 15:47:34: >149に便乗して質問させていただきます。
今まで手持ちのログを試した経験では、dat2htmlがv0.3以上の場合
「一行が長すぎるか…」で変換に失敗するようになりました。

ちょうど今も、下記のログを変換しようとしていたところなのですが…
　http://2ch.pop.tc/log/05/04/10/1344/1112979897.html

使用されているdat2htmlのバージョンは0.32fpとのこと。
申し訳ありませんが、正しい正規表現をご教授していただけたら幸いです。
宜しくお願い致します…
152：（L44UP/ps）：2005/04/16(土) 03:26:59: DAT2HTMLのどのバージョンからかまではちゃんと調べてませんが、
確かに現時点の最新版Ver.0.32gでは出力されるHTMLの形式が微妙に
変化してますね。
具体的には、各レスの先頭が
・0.29の場合 :<dt><a name="R1">1</a> の形式
・0.32gの場合:<a name="R1"></a><dt>1 の形式
というように、タグの位置が入れ替わっています。

で、正規表現としては、「DAT2HTML0.26」の
m#<DT><A.*?>([0-9]+)～の <A.*?> の部分が不要になることに
なるので、これを削ればマッチするようになると思います。

m#<DT>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|) ：(.*?)<DD>(.*) #mi

あと細かいところですが、>>151のHTMLでは各レスの<dd>タグの後、
レス本文の前後に、半角スペースが1個ずつ付加されています。
この半角スペースはDAT2HTMLのバージョンによって、あったりなかったり
オプションで有無を指定できたりもするみたいです。
上記正規表現で変換したdatにも半角スペースの有無はそのまま反映されます。
2ch用ブラウザでの見た目は多分変わらないはずなので気にしなくても
いいかもしれませんが、気になるようであれば正規表現の <DD> の後に
半角スペースを適宜足すなりしてみてください。
153：151：2005/04/16(土) 07:57:38: >>152 作者様、早速のお答えどうもありがとうございます。
一応自分でも無い知恵を絞っていろいろ弄っていたのですが、とても対応できなかったので
早速>>152を試してみた所…

＞m#<DT>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|) ：(.*?)<DD>(.*) #mi

では
＞1 名前：名無しさん[] 投稿日：2005/04/09(土) 02:04:57 ID:Eg5j8Arg
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　~~~
のように、秒数とIDの間に半角スペース2つ分空白が空きましたが、ﾚｽ後半で答えられていた通り

＞m#<DT>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|) ：(.*?)<DD >(.*) #mi
と、半角スペース一つ入れる事で正常に変換できました。

DAT2HTML側のオプションで変化するとの事なので、両方とも登録する事にします。
自分一人なら早々に挫折するところでしたが、ご教授本当に有難うございました。
それでは…
154：151：2005/04/16(土) 08:03:58: 度々すみません。
↑の「秒数とID云々」の所ですが、IE上では2つ以上の半角スペースは無視されるんでしたね。

＞1 名前：名無しさん[] 投稿日：2005/04/09(土) 02:04:57 　ID:Eg5j8Arg

元の投稿では↑こんな感じになっていました。
155：名無しさん：2005/04/17(日) 02:10:33: http://makimo.to/2ch/salami_hrhm/991/991002509.html

このスレをhtmltodatを使って2ch標準形式のdatに変換しようとしてるのですが、
まったく出来ませんでした。

最初からhtmltodatに入ってた正規表現は全部試してみたんですが、
ほとんどの正規表現で、「1行が長すぎます」と出てDatに変換できません。

これをDatに変換するには、どういう正規表現を追加すればいいんでしょうか？
よろしくお願いします。
156：名無しさん：2005/04/17(日) 17:39:15: >>155
>>83を参照。
157：155：2005/04/17(日) 22:39:16: >>156
出来ました。
ありがとうございました。
158：名無しさん：2005/04/18(月) 01:22:44: makimo.to（にくちゃんねる）の過去ログだったら、IEで表示して
マウスポインタを画面右上に持っていくだけで「DAT」っていうのが
出てきますよ。（要JavaScript ON）
まあやってることは>>83と同じですがちょっとだけ楽ってことで。
159：155：2005/04/18(月) 21:12:18: >>158
そうだったのか・・・
JavaScript切ってるので気づきませんでした。
ありがとうございました。
160：名無しさん：2005/04/19(火) 20:37:26: 2ちゃんねる検索（公式）でhtmlを取得したのですが
どの正規表現を使ってもうまくdatに戻せませんでした。
正規表現はどのようにしたら良いでしょうか
バージョンは0.1.6を使用しております。

サンプル用のhtmlはこちらです。
http://wiki.fdiary.net/2chZelda/?c=plugin;plugin=attach_download;p=sample;file_name=findhtml.zip
161：（L44UP/ps）：2005/04/20(水) 20:13:05: >>160さん
cssが同封されていたり、HTML中に
<META content="MSHTML 6.00.2900.2627" name=GENERATOR>
というのが入っているのを見ると、IEで表示したスレをメニューから
「名前をつけて保存」で保存したもののようですね。
この方法で保存した場合、IEが適当にHTMLを整形・加工してしまうので、
正規表現にヒットしにくくなってしまう場合があります。
なので、htmltodatとしては
・スレのURLを直打ちで取得
・スレへのリンクを右クリック→「対象をファイルに保存」で保存
・適当なダウンロードツール（iria,irvine等）を使う
のいずれかをお勧めします。

とりあえず以下のようなのを書いてみました。

m#<DT><A.*?>([0-9]+).+?(?:<A *HREF="mailto:(.+?)">)?(.*?)(?:</A>|) *：(.*?) <DD>(.*) ( <DT>)#mi

一応サンプルの3つのHTMLにはマッチしましたが、上に書いた整形・加工の
影響でdat中に無駄な半角スペースがいくらか入ってしまいます。
（2ch用ブラウザでの見た目上は影響ないはずですが）

あと、これらのHTMLは、タイトルがスレタイではなく
「2ch検索: [dat:http://qb5.2ch.net/test/read.cgi/operate/1112336659/]」
のようになっているので、dat変換後に正しいスレタイに変更してください。
（datの1行目の一番最後をテキストエディタで書き換える）
それから、ghard板のHTMLだけなぜかcharsetがEUCですね。
162：（L44UP/ps）：2005/04/20(水) 20:42:48: >>161の正規表現をそのままコピペすると<DD>と<DT>の前の半角スペースが
それぞれ1個だけになっちゃいますが、実際には2個です。
（ブラウザが2個以上の半角スペースは省略してしまうため）
163：160：2005/04/20(水) 22:59:55: （L44UP/ps）さん、
迅速な対応をして頂き本当にありがとうございます

最初は、自分の力で正規表現を書こうとしていたのですが
DATについての知識もない状態ではどこから手をつけていいか
わからず、恥ずかしながら相談しました。

早速、>>161をの正規表現の式を>>162に書いてある修正を加え
HTMLのファイル名を短くして、同名のフォルダとの関連づけを絶ったうえで
変換してみたところ、無事dat化することができました。

>それから、ghard板のHTMLだけなぜかcharsetがEUCですね。
1つだけEUCになっているのはこれを初めに保存したからです。
ソースを見て文字化けしているのが気になったので
後の２つはシフトJISを選択して保存しました。他に意味はないです。

それと、今回のHTMLは、IEで表示したスレッドを「名前をつけて保存」の
「Webページ、完全」で保存したものでした。>>161での推測通りです。

あと、取得方法の件ですが
2ちゃんねる検索では、ポイントを支払ってhtmlを取得するシステムなので
直接URLを入力しても無理なようです。
なので変換結果に問題があるのかもしれないのですが
今後も同じ保存方法をとることになりそうです。
まあ、今は読めれば問題ないのでこれで満足しています。

今回の相談ではお手数をおかけしました。本当に感謝しています。
164：名無しさん：2005/04/25(月) 11:57:48: 同じ保管庫にあったログの中で２ファイルが
全然ヒットしないので正規表現が正しくないようです。
のエラーメッセージがでました。
どの正規表現でもできないようなのですがどうすればいいですか？
教えてください
http://www.armd.ne.jp/lemona/logdata15.html
165：164：2005/04/25(月) 11:58:41: 書き忘れました。
もうひとつは
http://www.armd.ne.jp/lemona/logdata16.html です
166：名無しさん：2005/04/25(月) 20:45:27: メインPCが故障して修理に出してしまったのでトリップがありませんが作者です。

まず>>164に関してですが・・・
これはどういう方法でHTML化したのでしょうね？
<DT>タグや<DD>タグがないのでレスの切り分けようがありません。
一応HTMLの体裁をしていますが実質プレーンテキストと変わりません。
かなり無理やりですが以下のようなのを書いてみました。

m#([0-9]+)() 名前：(.+) 投稿日：(.+?) (.*) ([0-9]+ 名前：| <HR>)#mi

ところが変換してみるとdatの行数とスレの最終レス番が全然合わない・・・
と思ったらスレ途中に透明あぼーんがいっぱい入ってますね。
htmltodatには透明あぼーんを補う機能など無いのでその分レス番がずれて
しまいます。（dat化の結果にテキストエディタで透明にされた分だけ
改行を足せばレス番は合うかもしれませんが・・・）
というわけではなはだ適当な結果しか出せませんでした。
167：名無しさん：2005/04/25(月) 22:55:44: 次に>>165に関してですが・・・
こちらはぱっと見、まともなHTMLに見えたので簡単かなと思ったのですが
途中から名前欄「ﾐ,,ﾟДﾟﾐ　保管時に削除しますた誉」の荒らし？が・・・
こいつの名前欄の前後にはタグがついてないので、仕方なく
(:?)?などとする羽目に・・・すると正規表現があいまいになりすぎた
ためか変換が滅茶苦茶遅いです。結局、テキストエディタで

ﾐ,,ﾟДﾟﾐ　保管時に削除しますた誉

のように前後にタグをつけて一括変換してからのほうが手っ取り早かったです。
その上での正規表現ですが

m#<DT>([0-9]+).+?(?:<A HREF="mailto:(.+)">)?(.*)(?:</A>|)?：(.*?) *<DD>(.*)(<DT>|</DD>)#mi
168：名無しさん：2005/04/26(火) 14:34:47: お忙しいところ失礼します。
DAT2HTML 0.30ep なんですが、どうでしょうか。

例
http://fire.kakiko.com/gaidenkuma/1.html

なんだっけ…ならほぼ変換されますが、ｺﾃﾊﾝのＩＤと
投稿日の日時が変なようです。

よろしくおねがいします。
169：名無しさん：2005/04/26(火) 19:06:29: >>168さん
HTML中に
<META content="MSHTML 6.00.2800.1491" name=GENERATOR>
というのがあるのを見ると、DAT2HTMLで変換した結果をいったんIEで表示し
それをメニューから「名前を付けて保存」で保存したもののようですね。
この方法で保存した場合（以下略。>>161参照）

とりあえず、正規表現「DAT2HTML0.26」をベースにしたのですが、名前欄に
一致させるための「(.*?)」の部分が、トリップつきの名前だと
トリップの前のにマッチしてしまっておかしくなるので、最長一致の
「(.*)」に変えました。（これは他の正規表現にも同じ問題があるかも・・・）

あと、投稿日の前の「：」の前の半角スペースがあったり無かったり数が
まちまちだったりしたので（これはIEの整形・加工の影響）、ここに「*」
を加えました。
結果は以下です。

m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*)(?:</A>|) *：(.*?)<DD>(.*) #mi
170：168：2005/04/27(水) 08:45:21: >>169
お手数かけました｡
171：164：2005/04/28(木) 09:30:21: >166
>167
ありがとうございます
自分もソースをもう一度よく見たら他のと全く違う形式に気づきました。
試してみて、ダメだったら別のHTMLミラーを探して見ます。
172：163：2005/04/29(金) 21:56:41: ブラウザをFirefox/1.0.3に変更したら次のようなHTMLが保存できるようになりました。
http://wiki.fdiary.net/2chZelda/?c=plugin;plugin=attach_download;p=sample;file_name=findhtm2.zip

なので今後は、
1　Firefoxを使って2ch検索でhtmlを表示させる
2　「名前を付けてページを保存」の「htmlのみ」で保存。ファイル名はスレ固有の番号。
3　htmltodatでHTMLを呼び出し、EUC→SJISボタンを押す
4　正規表現は「DAT2HTML0.26」を選択し変換。変換が終わったらdatを保存。
5　datの1行目に編集を加え正しいスレタイに変更
という手順で使おうかと思っています。

以上、報告でした。
173：（L44UP/ps）：2005/05/07(土) 01:43:47: DAT2HTMLについて、ちょっとサポート掲示板をのぞいてきたのですが、
>>152でのタグ位置の変化は、どうやらVer.0.32からのバグ扱いされている
模様です。
最近のバージョン（といってもバージョン番号は正確にはわからないのですが）
では修正されているようですのでご注意ください。
（おそらく正規表現「DAT2HTML0.26」がそのまま使えるとは思うのですが）
174：143：2005/05/27(金) 13:28:36: 再び失礼致します。
http://jbbs.livedoor.jp/movie/3205/storage/1090591778.html

上記スレッドなのですが、投稿日欄やトリップ欄が壊れた状態で変換されてしまいます。
他の正規表現も試してみましたが、今度はレス番が1つズレるという結果に成りました。
何とか、正常に変換される事は可能なのでしょうか？
175：名無しさん：2005/05/27(金) 18:30:43: >>174
EUC->SJISにした後>>63の正規表現で変換できましたよ。
もう一度ログを落とし直してみるとか。
176： ◆/vmukiyuzw：2005/05/27(金) 18:58:50: >>174さん
正規表現「jbbs過去ログ」で一見問題なく変換できた・・・と思ったら
元スレがレス番170まであるのにdatは168行しか変換できません。
調べてみると、元スレのレス番15と19が飛んでいます。

>>166でも書きましたが、htmltodatには透明あぼーんを補う機能など
無いので、その分レス番がずれてしまいます。
対処としては、datに無理やり透明あぼーんを表現する行を突っ込む位しか
思いつきません。
変換後のdatをテキストエディタで開いて、15行目と19行目に

透明あぼーん<>透明あぼーん<>透明あぼーん<>透明あぼーん<>

とか入れてみるとかどうでしょう。
177： ◆/vmukiyuzw：2005/05/27(金) 19:03:06: あれ？トリップの仕様が2chと一緒になったのかな？
今までここでは（L44UP/ps）と名乗っていた作者です。
178：175：2005/05/27(金) 19:06:11: 確認しなおしたら作者さんの言う通りになってた・・・早とちりすみません。
179：143：2005/05/30(月) 17:54:20: >>176
試してみました所、正常に閲覧する事が可能に成りました。
誠に有難う御座います
180：名無しさん：2005/07/15(金) 02:32:36: ぜろちゃんねるの過去ログは変換出来ますでしょうか？
一覧やこのスレに出ている例は全て試しましたが、出来ませんでした。
変換したいのは、下のhtmlです。

http://0ch.mine.nu/jikken/kako/104/1043234114.html
http://0ch.mine.nu/jikken/kako/104/1049781744.html
181：180：2005/07/15(金) 05:04:16: すみません。自己解決しました。
同じディレクトリにあるdatファイルを取得すれば良いだけでした。
書き込んだついでに一言。
htmltodatには昔からお世話になっております。ありがとうございます。
182：名無しさん：2005/09/05(月) 18:30:31: どうもうまくいかないので、宜しければ正規表現を考えて頂けないでしょうか。

こちらです。
http://snapshot.publog.net/dat.php?url=http://ex11.2ch.net/test/read.cgi/news4vip/1119660972/

ところで、上と同じスレですが
http://snapshot.publog.net/html/news4vip/2005/06/25/095612.html
は同じ型(?)なのでしょうか。
183： ◆/vmukiyuzw：2005/09/05(月) 20:41:10: >>182さん
若干余分なものがくっついてますが基本的には「read.cgi7.00？」と似た形をしているので
これをベースに試したところ、日時・ID欄の前のコロンの全角半角が違うだけだったので、
これを変えるだけで基本的には変換できました。

m#<dt>([0-9]+).+?(?:"mailto:(.+?)">)?(.*?)(?:|</a>) :(.*?)<dd> ?(.*?) (<dt>|</dl>)#mi

但し２点ほど考慮事項が。
1.メール欄に mailto:.sage のように無駄な（？）ドットが必ず一個ついてくるようです。
　これを忠実に再現するなら上の正規表現のままでいいですが、不要だと思われるならば
　mailto:\.? とでもすれば取り除けます。
2.htmltodatではスレタイの情報は<title>タグから取得しているのですが、このスレは<title>タグが
　本来のスレタイではなく「http://ex11.2ch.net/test/read.cgi/news4vip/1119660972/」
　みたいにURLになっちゃっているので、本来のスレタイに打ちかえる必要があります。

> http://snapshot.publog.net/html/news4vip/2005/06/25/095612.html
> は同じ型(?)なのでしょうか。

ソースの見た目は特に違いはなさそうでしたし同じ正規表現で変換できましたけど。
184：182：2005/09/06(火) 13:49:49: 即答ありがとうございます。datに変換出来ました。
これで、snapshotにしか残っていないスレッドもdat化出来ます。
ありがとうございました。
185：名無しさん：2005/09/06(火) 17:04:55: 　a
186：名無しさん：2005/09/07(水) 17:17:51: afgeae test
187：182：2005/09/09(金) 20:43:52: すみません、またお願い出来ませんでしょうか。

http://p2.chbox.jp/read.php?url=http://live20.2ch.net/test/read.cgi/liveanb/1126241150

↑これなのですが、>>182のようなURLでは取り出せないようなのです。
ソースを見てみると、何とも難しそうなのですが、出来ますでしょうか・・・。
188： ◆/vmukiyuzw：2005/09/10(土) 13:52:59: >>187さん
これはp2によるHTMLですかね。
Javascript等のガラガラが入りまくりでhtmltodatとしては非常に
苦手なパターンです。

まず、htmltodatの仕様からくる致命的な不都合が２点。

1.htmltodatでは日時・ID欄は一つのものとしてとらえているので
　日時とIDの間に挟まっているものは取り除けません。

2.htmltodatではメール欄は名前欄より前に「mailto:～」の形式で
　書かれていることを前提にしているので、このHTMLのように
　名前欄の後ろにしかもプレーンテキストでポンと置かれても
　それがメール欄である事を識別するすべがありません。
　（しかもこの形だと日付欄と区別するのも難しい）

とはいえ、名前欄と本文だけはそれなりに取り出せたので一応
書いておきます。後は申し訳ないですがエディタ等で前処理なり
後処理なりして整形してください。

m#<dt.*?>([0-9]+).+?()(.*) .*?：(.*?)</dt>.*<dd> (.*) </dd>#mi

あと、レス番が256から始まってますがこれをdat変換してもしょうがないので
「全部」のURLで変換してください。
それからスレタイにも余分なものが付いてますのでご注意を。
189： ◆/vmukiyuzw：2005/09/10(土) 13:59:37: あと、技術的な解決法ではありませんが、サイト管理者さんに
生datでの提供をお願いしてみるというのはどうですかね。
（にくちゃんねるとかは確かこれによりdatの提供もされるように
なったという経緯があったはず）

・・・とふと思ったけどサイトを見に行ってみると既に要望されて
いる方がいらっしゃるようですね。
（しかもスルーされてる模様 orz）
190：182：2005/09/10(土) 14:52:39: >>188-189
ありがとうございます！これで充分です。
>>182のようなURLで取り出せないものは、こちらのほうを使わせて頂きます。
191：名無しさん：2005/09/10(土) 23:19:50: http://sapporo.cool.ne.jp/morikake/morikake3.html
このhtmlの変換をしたいと考えています。
何だっけ…が一番近いようなのですが、日付のタグやIDのリンクが悪さをするようです。
ログを置き換えて処理しようとしたのですが、IDのリンクがうまく処理できず、煮詰まってしまいました。
ご教授お願いします。
192： ◆/vmukiyuzw：2005/09/11(日) 13:55:42: >>191さん
これも>>189の1と同じ問題で、日時とIDの間に挟まっているアンカータグを
取り除く事ができません。申し訳ないですがエディタ等で前処理なり
後処理なりして整形してください。

m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>)?<FONT.*?>.*?<FONT.*?>(.*?)(?:</A>)?<DD>(.*) #mi

アンカータグが残っている影響でプレビュー欄が変になりますがご容赦ください。
あとこのHTMLにはスレタイがないのでご注意を。
193：名無しさん：2005/09/11(日) 14:36:12: >>189
やあ、(´･ω･｀)
オフラインでも保存されたスレが見たいから
dat提供を頼んでみたけどスルーされたのさ。

多分、182の人はそんな俺の書き込みを見て何か思ったエロイ人。
194： ◆/vmukiyuzw：2005/09/11(日) 18:44:08: >>192
> これも>>189の1と同じ問題で、
>>188の1の誤りでした。失礼。
195：191：2005/09/11(日) 20:15:31: >192
どうもありがとうございました。タイトルは分かっているのでなんとかしてみます。
196：182：2005/09/16(金) 19:51:41: snapshot（というか「p2.chbox.jp～」）のスレを
htmltodatで一括変換してみたところ（タイトルが違うのは承知の上で）
８スレ中 dat変換に成功したのは４スレのみでした。。
・・何故なのでしょう？

対象スレ：
(1)http://p2.chbox.jp/read.php?url=http://news19.2ch.net/test/read.cgi/newsplus/1126372408/all
(2)http://p2.chbox.jp/read.php?url=http://news19.2ch.net/test/read.cgi/newsplus/1126372282/all
(3)http://p2.chbox.jp/read.php?url=http://news19.2ch.net/test/read.cgi/newsplus/1126368731/all
(4)http://p2.chbox.jp/read.php?url=http://news19.2ch.net/test/read.cgi/newsplus/1126372069/all
(5)http://p2.chbox.jp/read.php?url=http://news19.2ch.net/test/read.cgi/newsplus/1126378029/all
(6)http://p2.chbox.jp/read.php?url=http://news19.2ch.net/test/read.cgi/newsplus/1126166580/all
(7)http://p2.chbox.jp/read.php?url=http://news19.2ch.net/test/read.cgi/newsplus/1126363579/all
(8)http://p2.chbox.jp/read.php?url=http://news19.2ch.net/test/read.cgi/news/1126373580/all

このうち、dat変換に成功したのは(1)(2)(6)(8)でした。
197： ◆/vmukiyuzw：2005/09/16(金) 21:53:49: >>196さん
>>188でも書きましたが、p2によるHTMLにはJavascript等のガラガラ（※注：htmltodatから
みると邪魔でしかない要素を勝手にこう呼んでいます）が大量に含まれています。
変換できないHTMLは、このガラガラがあまりに多すぎて、まさにエラーメッセージどおり
「一行が長すぎる」のエラーに引っかかってしまっている状態です。
で、内部バッファのサイズ制限を多少ゆるくして回避できないか試してみましたが、今度は
BREGEXP.DLLの制限（readmeにちょっと書いてますがマッチする文字列長が長すぎると
fatal errorを起こすというもの。直してくださいよBabaさん！てこんなとこで書いても意味
ないですが）に引っかかってしまう始末。

結局のところ、前処理で不要なものを取り除いてしまう以外回避策はないかと思います。
ご自分の掲示板でも既に気づかれていたようですが、<dd id= で始まる行が一番のガン
なので、こいつらを全部取っ払っちゃってください。単に空行に変換するだけでも充分です。

これで(1)～(8)まで全てエラーが出ないことを確認しましたが、一点だけ問題がありました。
>>188で書いた正規表現ですが、<dd>タグの後に一個半角スペースを付けていたのですが、
あぼーんのあったレスにはこの半角スペースが存在しないためマッチしませんでした。
なので、?を付けて<dd> ? として以下のように修正します。

m#<dt.*?>([0-9]+).+?()(.*) .*?：(.*?)</dt>.*<dd> ?(.*) </dd>#mi
198：182：2005/09/19(月) 20:13:30: 御返事遅くなり申し訳ありません。
不具合を取り除く正規表現がなかなか厄介でしたが（ヘタレなので）、何とかなりました。

snapshotのスレも、何とかなりそうです。ありがとうございました。
199：名無しさん：2005/09/20(火) 23:24:03: 韓国人と仕事で困った事・過去ログ倉庫一覧
http://cool.kakiko.com/korea00/log.html
こちらのログの変換をしようとしたら、
「1行が長すぎるか、正規表現が正しくないようです。」
とでて変換できません。
他力本願で申し訳ありませんが、対応はできないでしょうか？
200： ◆/vmukiyuzw：2005/09/21(水) 09:48:27: >>199さん
このHTMLは何者だろう・・・？
http://lime.kakiko.com/korea/log/log01.html
の一番最後に「名前：Katjusha extender 投稿日：Katjusha extender
倉庫に落ちました。。。」てのがついていたので、かちゅ～しゃで
表示したものをHTML保存したものかなあ？

ともあれ、HTMLの形式としては「DAT2HTML0.26」に似ていて、違いは
・日時・ID欄の前が単に全角コロンではなく「投稿日：」と付いている
・名前欄の後のタグが省略されることが無い
程度だったので、これをベースにして以下のようなのを書いてみました。

m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*)(?:</A>)? 投稿日：(.*?)<DD> ?(.*) #mi

あと、これらのHTMLにはスレタイの情報がないのでご注意を。
201：名無しさん：2005/09/21(水) 21:25:06: >>200
無事変換できました。
スレタイについては、datを編集して対応します。
◆/vmukiyuzwさん、ありがとうございました。
202： ◆/vmukiyuzw：2005/09/27(火) 20:39:13: htmltodatをバージョンアップしました。(0.2.0)
・UTF-8→SJIS変換機能を実装。
・HTTPステータス301,302等の時にエラーにせずリダイレクトするよう修正。
・<title>タグに余分なものが含まれるときにスレタイトルが取得できない
　不具合を修正。
・UIの細かい改善（「URLまたはファイル名」欄でcntl+aで全選択できるよう
　にした、ファイル名のドラッグ＆ドロップができるようにした）。

今回の変更点メインは、以前>>137で予告していて、http://2ch.dumper.jp/
への対応を見越してつけた、UTF-8対応です。
http://2ch.dumper.jp/のスレッドは、UTF8->SJIS変換をした後であれば
正規表現「read.cgi7.00？」で変換できるようです。
203： ◆/vmukiyuzw：2005/09/27(火) 20:49:12: >>202
あ、一つ書き忘れてました。
> http://2ch.dumper.jp/のスレッドは、UTF8->SJIS変換をした後であれば
> 正規表現「read.cgi7.00？」で変換できるようです。
のですが、スレタイに「 - DUMPER.JP」というのがくっ付いてきてしまいます。
申し訳ないですが前処理か後処理で取り除いてください。
204： ◆/vmukiyuzw：2005/09/30(金) 22:59:06: またバージョンアップしました。（0.2.1）
・be鯖からの取得が「500 Internal Server Error」になってしまう不具合を
　修正。
・9x系のPCで動かすと正規表現欄やHTMLソース欄の右端が欠けてしまって
　編集不能になる不具合を修正。

ちょっと今回の修正はうまくいってるかどうか自信ありません。
不具合があればご報告ください。
205：182：2005/10/03(月) 20:17:24: バージョンアップありがとうございます。
色々試させて頂かせております。

早速ですが、また解決して頂きたいhtmlがあります。

http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog2.html
http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog3.html
http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog4.html
http://f55.aaa.livedoor.jp/~vipper/browjer/projectlog5.html

「～projectlog1.html」もありますが、これは何とかなりました。
残り４つなのですが、なかなか合致しません。
宜しければ、調べて頂けないでしょうか。

あと、上の４スレとも自分の環境ではhtmltodatでの呼び出しは
文字化けして出来ませんでした。
htmlをＤＬしてドラッグ＆ドロップ（←大変便利です）すると問題無いのですが・・。
206： ◆/vmukiyuzw：2005/10/05(水) 17:49:48: >>205さん
レス遅くなってすみません。
正直手こずりました・・・

名前欄・メール欄のあたりのバリエーションがさまざまで、一発でマッチするパターンが
なかなか見つけられませんでした。
なので、or表現を使いまくって、結果以下のようになりました。

m#<dt.*?>.*?(?:|<FONT.*?>)([0-9]+).+?：(?:<A.*?href="mailto:(.*?)">|)(?:| )(.*?) *?(?:||</a>|</a>) ?：(.*?) *?<dd.*?> ?(.*?)(<layer| *? *?<A *?id=.*?>| *? *?</d)#mi

かなり複雑な正規表現になってしまったので、変換には結構時間がかかると思います。

あと、文字化けするのはHTMLがgzip圧縮されているためです。（>>43参照）
対処としては
・ログをダウンロードして適当な解凍ツールで解凍（数が多い場合はこれがお勧め）
・ブラウザで表示し、「名前をつけて保存」で保存
・ブラウザで表示し、「ソースの表示」でエディタ等で表示し、保存（これだとHTMLが
　適当に加工されることもないので私としてはお勧め）

htmltodat自体に解凍機能をつけるのは結構大層な改造になってしまうのでできれば
やりたくないのですが、なぜ化けてるのかがわからないのはまずいと思うので、
警告メッセージくらいは出すようにしようかなと思っています。
207：182：2005/10/05(水) 20:59:33: >mukiyuさん

ありがとうございます。「|」で４つに分けてあったりして、何とも凄いです。
ちょっと試してみたんですが、本当に変換に時間がかかりますね。

お時間をとらせてしまって、申し訳ありませんでした。
今後共宜しくお願い致します。
208： ◆/vmukiyuzw：2005/10/06(木) 20:56:55: htmltodatをバージョンアップしました。（0.3.0）
・beコード削除機能を実装。
・名前欄とメール欄の位置が逆になっているHTMLに対応するため、メール欄逆転
　機能を実装。
・HTTP受信時にgzip圧縮されたデータを受け取るとエラーになるよう修正。

いろいろとご指摘いただいた182さん（663さんとお呼びしたほうがいいでしょうか？）
に感謝します。
209： ◆/vmukiyuzw：2005/10/13(木) 02:19:26: htmltodatをバージョンアップしました。(0.4.0)
・アンカー削除、beコード削除等を別ウィンドウで表示するよう修正。
・メール欄逆転機能を削除。代わりに、より汎用的に対応できるよう、
　変換結果式を指定できるよう修正。
・変換前処理・後処理機能を実装。

オプションのあたりがごちゃごちゃしてきたのと、今後の拡張性も考え、
別ウィンドウに切り出すようにしました。
でもモーダルではなくモードレスウィンドウなので、表示したまま
メインウィンドウの操作をすることも可能です。
210： ◆/vmukiyuzw：2005/10/13(木) 02:21:30: まず変換結果式欄についてですが、何も入力しなければ今までどおり
$3<>$2<>$4<>$5<>
になります。
名前欄とメール欄が逆転しているようなケースでは、
$2<>$3<>$4<>$5<>
と指定してください。
また、にくちゃんねる(makimo.to)のようにメール欄の表現が複数あるような
ケースでは
$4<>$3$2<>$5<>$6<>
のような指定も可能です。
これを前提としたにくちゃんねるのHTMLの正規表現は

m#<dt>([0-9]+) 名前：(?:|<a href="mailto:(.*?)" class=mailto>)?(.*) (?:</a>|)? (.*?) <dd> *?(.*?) *? *?(<a name.*?>|</tl>)#mi

でいけると思います。
211： ◆/vmukiyuzw：2005/10/13(木) 02:22:31: 次に変換前処理・後処理についてですが、今まで「前処理か後処理で対処して
ください」と書いてきたことのいくらかがこれで対処できるようになると思います。
例えば、>>196-197のようなガラガラについてですが、前処理で

s#<dd id=.*?\n##ig

とでも書けば取り除けます。
>>203で書いたhttp://2ch.dumper.jp/のスレタイとかでも

s#(<title.*?) - DUMPER.JP(</title>)#$1$2#

とか書けば取り除けます。
212： ◆/vmukiyuzw：2005/10/13(木) 02:23:54: あと、後処理については実はあまり有効な使い道を考えてませんｗ
（前処理があるなら後処理もいるかなーくらいのノリで付けてたりして）
まあ、前処理でもbeコード削除でも取り除けないゴミを除去するくらいには
使えるんじゃないでしょうかね。例えば>>196-197ですがbeコード削除を
しても (p)ID:qEFalaaz0(7) みたいにp2コード？が残っちゃいますよね。
これを取り除くには

s#(.*?<>.*?<>.*?)[(]p[)](ID:.*?)[(].*?[)]#$1$2#

などとすればよいかと思います。
213： ◆/vmukiyuzw：2005/10/13(木) 22:05:41: 連日ですがバージョンアップしました。(0.4.1)
・セパレータが<>以外だと正しく変換できない不具合に暫定対応。

現在、変換結果式のセパレータを「<>」以外のもの（カンマ区切りとか）に
されるとうまく動作しません。
で、後処理で変換できるようにしたつもりだったんですが、処理の順番で
うまくいっていませんでしたので、これを修正しました。
例えばかちゅ～しゃライクなカンマ区切りにしたいような場合だと後処理を
以下のように指定します。
（注：あくまで例であり、このようにすればかちゅ～しゃで読めるようになると
いうわけではありません）

s#(.*?)<>(.*?)<>(.*?)<>(.*?)<>(.*?)#$1,$2,$3,$4,$5#
214：名無しさん：2005/10/16(日) 12:21:57: 乙乙です
215： ◆/vmukiyuzw：2005/10/17(月) 18:30:13: バージョンアップしました。(0.4.2)
・HTTP受信時にgzip圧縮されたデータを受け取ると解凍するよう修正。
・変換後処理の欄で改行文字やスペース文字を表示できるようにするのを忘れて
　いたので修正。

今回は不具合対応のみです。
今後の予定としては変換オプションのファイル保存・呼び出し対応等。
216： ◆/vmukiyuzw：2005/10/21(金) 22:48:04: バージョンアップしました。（0.5.0）
・変換オプション中の前処理・変換結果式・後処理をそれぞれファイルに保存・
　一覧選択できるようにした。
・使用しているzlibのバージョンを1.1.3→1.2.3に変更。
・v0.4.2のエンバグ（ローカルHTMLが正しく読めない場合がある等）を修正。
217： ◆/vmukiyuzw：2005/10/21(金) 23:47:01: 前バージョン（0.4.2）では、かなり初歩的な、でも致命的なバグを仕込んでしまいました。
ダウンロードされた方々、申し訳ありません。

あと、zlib 1.2.3 に対応したgzip_delphi2.zipを公開されている、Open Jane Project の
◆184NBKmVW6氏に感謝します。
218：集計人：2005/10/23(日) 23:17:32: 集計人と申します。自サイト"http://www.usamimi.info/~shukeisho/"
内のphpスクリプトで、htmltodat使ってます。
"htmltodatのようなもの"の補足文書がすごい参考になりました。感謝感謝！
219： ◆/vmukiyuzw：2005/10/29(土) 00:37:44: バージョンアップしました。（0.6.0）
・文字コード自動判別機能を実装。
・取得即変換機能を実装。
・変換前処理のちょっとしたデバッグ機能を実装。
・変換前処理・後処理の保存時に不要な改行コードがついてしまうバグを修正。
・その他細かい修正（URL欄でEnterキーを押せば取得動作をするようにした・
　一括変換で変換中止ボタンを押してもそのファイルを処理中は中止できなか
　ったので、メインの変換処理に割り込みをかけられるようにした）

今回の変更点メインは文字コード自動判別です。
もともとは、HTML欄にコピペされた場合に変換するタイミングがわからないので
ボタンで変換するようにしていたのですが、そんな使い方してる人はほとんど
いないだろうと思い（実用上あんまり使い物になりませんし）、自動判別するように
しました。
これで、EUCやUTF-8のHTMLでもボタンを押して変換する必要がなくなりました。
（一括変換のウィンドウからもチェックボックスをなくしました）

次に取得即変換ですが、正規表現や変換オプションが同じものが使えるHTMLを
取得する際に、いちいち変換開始ボタンを押さなくてもいいようにと考えてつけました。
文字コード自動判別もそうですが、省けるアクションはなるだけ省けるようにして
使い勝手を向上させようという方向です。
# 後はdatファイル名まで自動で確定できればバッチコマンド的に動作させることが
# 可能なのですがこれがなかなか難しい・・・今後の研究課題です
220： ◆/vmukiyuzw：2005/11/03(木) 16:26:35: バージョンアップしました。（0.6.1）
・変換前処理で改行コード（Enterキー）が入力できないバグを修正。
・HTMLソース等で64kb（65,546バイト）以上入力できないバグを修正。

今回は不具合対応のみです。

一個目のは単純なバグで、Enterキーを受け付けるかどうかというプロパティ
（WantReturnsプロパティ）というのがあるのですが、なぜかこれだけOFFに
しちゃってました。
（しかし後処理でも同じコンポーネントを使っているのになぜ前処理だけ変えて
しまったのかは不明です。デフォルトではONなのに・・・酔っぱらってたのかなｗ）

二個目ですが、使用しているコンポーネント（というかそれの継承元である
RichEditコントロール）に、デフォルトで64kbまでしか入力できないという制約が
あり、MaxLengthプロパティというのを適切な値に設定しておかないといけな
かったようです。
（プログラム板のくだすれDelphiスレで教えていただきました。
http://pc8.2ch.net/test/read.cgi/tech/1126590039/879-882 ）
これで、昔から疑問に思っていた「HTMLソース欄に直接コピペすると途中で
切れる」現象も解決できたと思います。
221：名無しさん：2005/11/06(日) 13:48:08: お助け下さい。
下記の過去ログをdat変換したくて、このスレの正規表現も片っ端から試してみましたが
どれも歯が立ちません。
http://makimo.to/2ch/pc7_software/1095/1095427149.html
ｈｔｍｌｔｏｄａｔのバージョンは0.6.1です。よろしくお願いします。
222： ◆/vmukiyuzw：2005/11/06(日) 15:05:03: >>221さん
にくちゃんねる（makimo.to）のdatは>>83の方法、または>>158の方法で取得できます。

どうしてもhtmltodatで変換したいんだったら>>210の方法で・・・と書こうとして正規表現に
抜けがあるのを見つけました。
ということであらためて・・・
変換結果式欄に
$4<>$2$3<>$5<>$6<>
と指定した上で（一覧に「makimo.to」というのが出てくるはずなのでそれを選べばいいです）、
正規表現は
m#<dt>([0-9]+) 名前：(?:|<a href="mailto:(.*?)" class=mailto>)?(.*) (?:</a>|)? (.*?) <dd> *?(.*?) *? *?(<a name.*?>|</tl>|</dl>)#mi
でできると思います。
223： ◆/vmukiyuzw：2005/11/06(日) 15:12:05: >>222
ああ、まだ漏れが・・・
m#<dt>([0-9]+) 名前：(?:|<a href="mailto:(.*?)" class=mailto>)? ?(.*) (?:</a>|)? (.*?) <dd> *?(.*?) *? *?(<a name.*?>|</tl>|</dl>)#mi
にしてください・・・
224：221：2005/11/06(日) 15:37:58: >>223
できました。
素早いお返事、ありがとうございました。
225： ◆/vmukiyuzw：2005/11/06(日) 19:04:45: バージョンアップしました。（0.6.2）
・文字コード自動判別をオプションで指定できるよう修正。

文字コードはHTML中のmetaタグのcharsetを見て判別しているのですが、
稀にcharsetで指定された文字コードと実際の文字コードが異なるケースが
あるようなので、一応オプションでON,OFFできるようにしました。
基本的にはONのままで使用して問題ないと思います。
226：名無しさん：2005/11/07(月) 02:01:16: http://www.geocities.jp/karc304/gurps-basic/17th.html

バージョン0.6.2でこのURL変換しようとすると、
読み込み行とバッファサイズばかりが増えてしまい、
変換行がさっぱり増えてくれません。
やがてhtmltodatが固まってしまいました。

このhtmlはdat2htmlの0.32fpで変換されたもののようなので、
>>152に書かれている正規表現を使用したのですが、
正規表現が間違っているせいなのでしょうか？
挙動がちょっとおかしかったので、バグかもしれないと思い報告に来ました。
227：663：2005/11/07(月) 02:45:02: >>226さん
これではどうでしょう（管理人さんでなくてごめんなさいです）

m#<DT>([0-9]+) ：(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>)? ：(.*?)<DD> ?(.*) #mi
228： ◆/vmukiyuzw：2005/11/07(月) 02:56:49: >>226さん
正規表現がおかしいときに挙動不審になるのは仕様です（開き直り）
ところでこれは何となくdat2htmlにスキンを適用して変換したもののような気がする・・・
（気がするだけですが）
とりあえず
m#<DT>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|).*? ：(.*?)<DD> ?(.*) #mi
でどうでしょう。

#なんかどれかの正規表現ととかぶってる気がする
229： ◆/vmukiyuzw：2005/11/07(月) 02:59:29: うわ先に書かれてるし＞＜
そっちでもOKですね
リロードしてなくてごめんなさい663さん
230：663：2005/11/07(月) 03:33:26: >>229
いやー、すごいニアミスでした。というか失礼しました。

それだけでは何なので
snapshot(http://snapshot.publog.net)の変換方法について
まとめてみたものを出してみます。

http://www.geocities.jp/mirrorhenkan/snapshot/

↑そんなに試していませんが、beのスレ以外は大体使えるのではないかと思うです。

という事で、htmltodatの要望ですが
be板のDATは文字コードがEUC-JPみたいなので
保存する際の文字コードにEUC-JPも選択出来るようにして頂けたら
・・と思います。

あと、以下お遊び用の要望なのでそれほど重要ではないのですが
UTF-8でも保存するように出来たら嬉しいです。

DATを直接呼び出してHTML整形表示するjavascriptみたいな事をやっているのですが
ＩＥ以外のブラウザでも汎用的に読み込めるようにするには
DATの文字コードをUTF-8にしないといけないみたいなので・・・。
例えば↓これとか。

http://www.geocities.jp/mirrorhenkan/dat2html-3/dat/read-xml.html?key=utf8

ちなみに上のは以下のDATを読み込んで整形出力しています
http://www.geocities.jp/mirrorhenkan/dat2html-3/dat/utf8.dat

# ・・って、全然htmltodatと無関係ですね
231： ◆/vmukiyuzw：2005/11/08(火) 00:05:02: >>230対応バージョンアップしました。（0.7.0）
・dat保存時に保存する文字コードをSJIS,EUC,UTF-8から選択できるようにした。

しかし実装したものの、SJIS->EUC変換が笑うくらい遅い・・・SJIS->UTF-8変換は
普通に速いんですが・・・
Open Jane Projectの◆184NBKmVW6氏が、一部を高速化したjconvert.pasを公開され
ているようなので、そちらの採用も検討してみます。
（ただ、JaneではSJIS->EUC変換なんて必要ないでしょうから期待薄です・・・
車輪の再発明になってしまうかもしれないけど自力で書くしかないかな・・・）

で、sample.htmlをEUC変換したdatをbe対応版のJaneで読ませてみました。
本文は普通に読めますが、日時・ID欄の曜日が文字化け（というかEUCのまま）します。
エディタでEUCモードで読むと文字化けしないので、これはJaneのバグ（というか今の
be板のdatには曜日はついていないようなので日時・ID欄のEUC->SJIS変換をサボって
いるのでしょう）と思われます。

あと、UTF-8変換したdatですが、エディタで見るとそれなりに出来ているようですが
UTF-8のdatに対応したブラウザとかないので私の手元ではどう検証したものかわかり
ません。
ということで、663さんに検証していただけるとありがたいなと・・・
（指名してしまってすみません）
232： ◆/vmukiyuzw：2005/11/08(火) 00:26:36: >>231
> Open Jane Projectの◆184NBKmVW6氏が、一部を高速化したjconvert.pasを公開され
> ているようなので、そちらの採用も検討してみます。
> （ただ、JaneではSJIS->EUC変換なんて必要ないでしょうから期待薄です・・・
> 車輪の再発明になってしまうかもしれないけど自力で書くしかないかな・・・）

とんでもありませんでした！sjis2eucも対応されていてしかもめっちゃ高速です！凄い！！
感謝の気持ちでいっぱいですが、今日はもう遅いのでバージョンアップは明日にします。
すみません。
233： ◆/vmukiyuzw：2005/11/08(火) 18:45:01: ということでバージョンアップしました。（0.7.1）
・SJIS<->EUC変換に使用するモジュールを変更し変換を高速化。

これでSJIS->EUC変換も実用的な速さになったと思います。
Open Jane Project の◆184NBKmVW6氏に再び感謝します。

あと、正規表現の「read.cgi7.00？」と「sample」に多少の不具合があり
修正しています。自分でregexps.txtに何か追加している方は、申し訳
ないですが手動でマージして下さい。
234：663：2005/11/09(水) 20:59:41: ありがとうございます。

とりあえず、各文字コード変換したものを上げてみました。
http://user.ftth100.com/mirrorhenkan/test/read-euc.php?key=sample-euc&st=1&to=1001
http://user.ftth100.com/mirrorhenkan/test/read-utf8.php?key=sample-utf8&st=1&to=1001

datはそれぞれ以下の場所です
http://user.ftth100.com/mirrorhenkan/test/dat/sample-euc.dat
http://user.ftth100.com/mirrorhenkan/test/dat/sample-utf8.dat

どちらも上部の「掲示板に戻る」とかが文字化けしてますが
他は問題無さそうです。
UTF-8のほうのレス番の横が文字化けしてますが
スクリプト側の問題っぽいです（適当にcharsetだけ変えただけですし）

あとbe板はsubject.txtもEUCなのですが
もし可能でしたら「subject.txt作成」でもEUC保存出来たらお願いしますです。

> UTF-8のdatに対応したブラウザとかないので私の手元では
> どう検証したものかわかりません。

「JaneNida」がUTF-8にも対応していますです↓

http://members.at.infoseek.co.jp/koreawatcher/janenida.htm

ません。
235： ◆/vmukiyuzw：2005/11/09(水) 21:26:35: >>234
> UTF-8のほうのレス番の横が文字化けしてますが
> スクリプト側の問題っぽいです（適当にcharsetだけ変えただけですし）
ソース見てみると名前の前や日時の前の全角コロン「：」がSJISのままなので
これが化けるようですね。

> あとbe板はsubject.txtもEUCなのですが
> もし可能でしたら「subject.txt作成」でもEUC保存出来たらお願いしますです。
ん？私の環境ではbe板のsubject.txtはSJISに変換されて保存されているのですが。
（ちなみにJane Style Doe 2.13ですが）
EUCのまま保存するブラウザもあるのでしょうか？
236： ◆/vmukiyuzw：2005/11/09(水) 22:44:43: というか、EUCやUTF-8に変換したdatを作成できるようにしてしまったので、
逆にsubject.txt作成時にSJIS変換もする必要があるような気がしてきました・・・
あと、文字コード自動変換もオプションにしてしまったので、一括変換でのEUC、
UTF-8変換も復活させないとまずいですね。
# 文字コード変換には結構昔からかかわる機会が多いのですが、いつまでたっても
# 面倒だなと思います・・・
237： ◆/vmukiyuzw：2005/11/09(水) 23:20:12: >>235
> ん？私の環境ではbe板のsubject.txtはSJISに変換されて保存されているのですが。
> （ちなみにJane Style Doe 2.13ですが）
> EUCのまま保存するブラウザもあるのでしょうか？
ちょっと補足しとくと、subject.txt作成の用途としては
1.ローカルでdatと同じフォルダに作成してdatを選択するために使う
2.適当なサイトにdatをアップロードして、datの直上のディレクトリにsubject.txtを
　アップロードして、ブラウザからアクセスするために使う
の2通りを想定していて、いずれの場合も普通の2ch用ブラウザではSJISで充分だと
思うわけです。
で、be板のsubject.txtを直接書き換えることなんてできるはずもないので、あとは
ローカルでのsubject.txtがEUCである必要があるのかどうか、という疑問です。
238：663：2005/11/09(水) 23:51:31: えーと

subject.txtをbeサーバと同様にeuc-jpにしたい理由ですが
以前「beスレのまとめサイトを作りたいのでプロファイル表示出来ないか」
という人が居られましたので
（http://yy14.kakiko.com/test/read.cgi/mirror/1115123243/71）
0chスクリプトを改変して表示するような事をやったのですが↓

http://mirrorhenkan.hp.infoseek.co.jp/be/cgi-bin/be/
http://mirrorhenkan.hp.infoseek.co.jp/be/cgi-bin/test/read.cgi/be/1111061495/l50

これ↑はShift-jisに変換したものを使っただけのものでした。
なので、完全にbeと同じように出来たら面白そうだなと。
ただ beと同じくdatをEUCにするとすると、スクリプト側でsubject.txtだけshift-jisだと
面倒な事になりそうなので・・・。beのsubject.txtもEUCみたいですし。

・・というのが理由だったりします。
239：663：2005/11/09(水) 23:57:35: 補足です

> beのsubject.txtもEUCみたいですし。

beサーバ側のsubject.txtの事です
例えばこれ↓

http://be.2ch.net/be/subject.txt
240： ◆/vmukiyuzw：2005/11/10(木) 00:32:50: >>238
うーむ・・・それだけのことならエディタとか適当な変換ツールで変換してよという気もしますが・・・
どのみち>>236の対応はしないといけないなと思うのでついでにやりますか。
なんか変なUIになっちゃいそうな悪寒がしますが・・・

>> beのsubject.txtもEUCみたいですし。
それはもちろん知ってます。jbbsしたらばでもそうですし。
ただ、ローカルに保存する際に（少なくともJaneでは）SJIS変換されていたので、EUC保存の
必要性に疑問を感じただけです。
241： ◆/vmukiyuzw：2005/11/10(木) 02:07:54: ところで、>>226さんを放置してしまったような気がするんですが
うまくいったんでしょうか？
できれば報告が欲しいです。
242： ◆/vmukiyuzw：2005/11/14(月) 01:36:09: バージョンアップしました。（0.7.2）
・EUCやUTF-8のdatに対応するため、subject.txt作成機能にも文字コード変換を
　追加。
・文字コード自動判別をオプションにしたので、一括変換でのEUC,UTF-8チェック
　ボックスを復活。

>>234-240の流れを受けての各種文字コード変換対応です。
一括変換でもチェックボックスでなくコンボボックスにしたほうがいいんじゃねーのと
いう気もしますが修正が面倒なので次の機会に。
243：663：2005/11/27(日) 21:50:54: もの凄く遅くなりましたが、対応ありがとうございました。

あれから色々やってみて、読み込む際にjcode.plを間に絡ませれば
どの文字コードでもShift-jisに変換出来るな、と考えたのですが
perlは何だかよくわかんないのでそのままです。。
（phpのほうでは何とかなったんですが）

で、要望です。
（かなりわがままな内容なので対応出来なくても別に構いません）

スレの１の投稿日時からスレッドのキーを検出して
「キー№.dat」で保存するようには出来ないでしょうか？

日時から対応するキー№を出すものを作ってみたのですが
http://www.geocities.jp/mirrorhenkan/key/key2.html
これをまとめサイトの一括変換に使えないものかと。

例えば、以前こちらで出ていた
http://lime.kakiko.com/korea/log/log01.html
から
http://lime.kakiko.com/korea/log/log50.html

とか

http://sixhot.hp.infoseek.co.jp/sixhot/LogPart01.html
から
http://sixhot.hp.infoseek.co.jp/sixhot/LogPart42.html

などのように、htmlのファイル名がキー№ではない場合
上で書いたような事が出来ればな、と思うのです。

ただ問題は、
秒数まで出ていないスレ　とか
エイプリルフールに立てられた「皇紀○○年」とか
等のものですが、
その場合は元HTML名で保存されるようにする

・・とか出来たら有り難いのですが。。
244： ◆/vmukiyuzw：2005/11/28(月) 00:05:06: >>243
> スレの１の投稿日時からスレッドのキーを検出して
> 「キー№.dat」で保存するようには出来ないでしょうか？
検討してみます。
ただ、スレの１の投稿日時とスレッドキーが必ずしも一致するものかどうかが
多少気になります。通常は問題なく一致するんでしょうけど、vipや狼みたいに
スレ立てが異常に多い板の場合、bbs.cgiでどう処理してるかわからないので
一致しない可能性があるような気がします。
まあ一致しなくてもあんまり問題はないのかもしれませんが。

> ただ問題は、
> 秒数まで出ていないスレ　とか
> エイプリルフールに立てられた「皇紀○○年」とか
> 等のものですが、
> その場合は元HTML名で保存されるようにする
> ・・とか出来たら有り難いのですが。。
これを判別して元HTML名で・・・ていうほうが難しいですね。
（エイプリルフールのときは皇紀以外にもいろいろありましたよね）

おそらくできるとしたら
１．URLに9桁～10桁の数字があればそれをファイル名にする
　（これは今でも近いことをやっていますが）
２．それがなければスレの１の日時分秒からファイル名にする
　（このときは秒がないとか皇紀とかはお構いなし）
３．スレの１から変換できないとき（がどういう場合かはまだ確認
　してませんが）は元HTML名をファイル名にする
というアルゴリズムになっちゃうと思います。
245： ◆/vmukiyuzw：2005/11/28(月) 00:18:35: あと、663さんにはトリップをつけていただけるとありがたいなと思います。
（って、このスレが663に達するにはあと何年かかるかわかりませんがｗ）
246： ◆/vmukiyuzw：2005/11/28(月) 21:22:29: >>244
> 　（このときは秒がないとか皇紀とかはお構いなし）
にちょっと補足です。
年月日の前に余分なものが付いていれば・・・等という判定は可能だと思います。
でも、datのファイル名が9～10桁の数字でないとうまくいかないブラウザもある
ようなので、たとえ元々のキーNoとは食い違うことになっても、9～10桁の数字に
変換できるものならばしておいたほうがいいんじゃないだろうか、という考えです。
247：663：2005/11/28(月) 22:01:40: 御返事ありがとうございます。
検討して頂けるとの由、大変有り難いです。

はっきり確かめていないので何ですが、
西暦が二桁のスレもあったかもしれません。

あと、イレギュラーな暦表示ですが
例えば「えまのん」という専用ブラウザでは
Calender.txtとい外部ファイルに対応歴一覧が書いてあって
それで管理しているようでした。

今 Calender.txt を見てみたら

> 皇紀=660
> 娘。暦=3
> 娘。歴=-7

とあり、想像するに
・皇紀から６６０を引いた数が西暦（西暦1940年＝皇紀2600年）
・娘。板が出来てから３年（「暦」）
・娘。が結成されてから７年（「歴」）
という事なのかなー、と。

それが内部処理とどう繋がっているのか判りませんが。。

# トリップ、暫く考えてみます
248： ◆/vmukiyuzw：2005/11/28(月) 22:12:21: >>247
西暦二桁は想定の範囲内なので問題ないです。
皇紀等は、全てのバリエーションが出ているか不明ですし、今後また
同様のイタズラ（？）される可能性もあるのでとりあえず無視の方向で。
249： ◆/vmukiyuzw：2005/12/01(木) 20:43:59: なんかぐぐったらたまたま見つけました。
http://qa.2ch.net/test/read.cgi/argue/1112282670/
やっぱかなりのバリエーションがあるようですね。
# 「ユダヤ暦って６０００年近くあるのかよ」という書き込みを見て
# 試しに今テスト中のモジュールで6000年を変換すると
# スレッドキーが12桁になったｗ
250： ◆/vmukiyuzw：2005/12/08(木) 22:19:31: バージョンアップしました。（0.7.3）
・dat保存時のファイル名を決める際に、URLまたはファイル名に9～10桁の数字が
　含まれない場合、変換結果のレス１の投稿日時よりファイル名を取得するよう
　修正。
　また、一括変換時にはこの機能を使用するかどうか選択できるようチェック
　ボックスを追加。
・一括変換での文字コード指定をチェックボックスからコンボボックスに変更。
・BREGEXP.DLLを同封するようにした。

>>243- からの流れを受けての修正です。
readmeにもちょっと書いてますが秒がないとか西暦でないとかは考慮してません。
（変なものは無条件で2005年にするという手もあるかなとも思ったんですが・・・
どうせ今後また同様のイタズラ（？）があるような気がするので無視です）

あと、最初のインストールが簡単になるよう、BREGEXP.DLLを配付ファイルに
同封するようにしました。アップデートの際にはあまり関係ありませんが。
251：663 ◆red7kKzN/E：2005/12/09(金) 18:48:54: # 暫定トリップつけてみました

>>250
ありがとうございます。
ＤＬしてsample.htmlを変換保存しようとしたら
９桁の数字が出てびっくりしました。
まとめサイトの一括変換に使ってみようと思います。

で、別の要望（というか独り言）なのですが・・

下窓にdat変換されたものが出ますよね。
そこを編集して保存しようとしても、書き換えたものが反映されないみたいなのですが
反映して保存出来るようにはならないものでしょうか？

具体例を出すと、例えば
http://hobby7.2ch.net/test/read.cgi/phs/1117976461/
のスレですが
ミラーサイトが
http://mimizun.com/cgi/dattohtml.pl?http://mimizun.com:81/log/2ch/phs/hobby7.2ch.net/phs/kako/1117/11179/1117976461.dat
で見つかります。
最後の１レスが拾えてないので、その分だけ手打ちで追加出来たら嬉しいな、と。
保存してからエディタで追加するよりは一手間省けますし。
（もちろん上の場合はdatを直接ＤＬ出来ますが）

または「変換オプション」の後処理で何とかなるでしょうか。
上のだと

s#$#n\停止しました。。。<>停止<>停止<>真・スレッドストッパー。。。(￣ー￣)ﾆﾔﾘｯ#

とかするとか・・。（試してないのでこれでいいのかどうか判りませんが
252： ◆/vmukiyuzw：2005/12/09(金) 20:47:46: >>251
> ＤＬしてsample.htmlを変換保存しようとしたら
> ９桁の数字が出てびっくりしました。
981726540.datとなったと思います。
sample.htmlの本来のスレッドキーは981726544なので、レス１に秒が無いぶんだけずれてます。
まあこういう仕様ですということで・・・

> 下窓にdat変換されたものが出ますよね。
> そこを編集して保存しようとしても、書き換えたものが反映されないみたいなのですが
> 反映して保存出来るようにはならないものでしょうか？
確かに、HTMLソース欄の編集は反映されるのに、dat欄の編集が反映されないのは
手抜きですわな＾＾；
まあ簡単に対応できると思うのでやります。
（と言いつつ最後の改行の有無とかの処理が意外と面倒な予感がする・・・）

> または「変換オプション」の後処理で何とかなるでしょうか。
> 上のだと
> s#$#n\停止しました。。。<>停止<>停止<>真・スレッドストッパー。。。(￣ー￣)ﾆﾔﾘｯ#
> とかするとか・・。（試してないのでこれでいいのかどうか判りませんが
後処理は変換結果の行単位に処理するようにしているのでこの方法では対処できないはずです。
253： ◆/vmukiyuzw：2005/12/10(土) 00:06:32: >>252
> まあ簡単に対応できると思うのでやります。
思った以上に簡単でした（ソースに一行追加しただけ＾＾；

> （と言いつつ最後の改行の有無とかの処理が意外と面倒な予感がする・・・）
これは特に気にしなくてもdelphiのほうでうまく処理してくれました。
ただ、余分な改行があったりするとブラウザで読んだときに「ここ壊れてます」に
なりますが・・・これは自己責任ということで放置して問題ないと思います。

今日はもう遅いのでUPは明日ということで・・・・
254： ◆/vmukiyuzw：2005/12/10(土) 21:29:43: バージョンアップしました。（0.7.4）
・dat変換結果欄を直接編集しても保存する際に反映されなかったのを、反映する
　よう修正。

直接編集する際には当然、datファイルの形式
名前・トリップ<>メール欄<>投稿日時・ID<>レス内容<>スレタイトル（１レス目のみ）
に従っていないと2ch用ブラウザでは正しく読めないのでご注意ください。
255：名無しさん：2005/12/11(日) 01:32:48: 大変ありがたく使わせて戴いております。

要望なのですが、
subject.txtを作成する時、保存先のフォルダとして
あらかじめデフォルトとして指定したフォルダか、
前回使用したフォルダが開くようになるかするともっと便利だなと思います

もし気が向いたらご考慮いただければと思います。
256： ◆/vmukiyuzw：2005/12/11(日) 02:04:38: >>255さん
うーむ、「前回保存した」云々を再現するには,iniファイルとか使えばいいんでしょうが
あまりやりたくはないのです。何故かというと、同時にその他のもろもろも保存しなくては
いけない羽目に陥るのがわかっているので、面倒だからできれば避けたいってことでｗ

で、subject.txtの作成フォルダを固定したい理由はなんでしょう？
subject.txt作成の用途の意図は>>237に書いたんですが・・・それ以外に何か
あるんでしょうか？

# まあ、フォルダ選択のダイアログを出すくらいでよければ簡単なんでやりますけど。
257：663 ◆red7kKzN/E：2005/12/11(日) 14:37:50: バージョンアップありがとうございます。
下窓編集が反映されました。

えーと
これは私的な要望なんで、難しかったりしたらそのままで良いのですが、

自分の環境ではhttp://2ch.dumper.jp/がunknownhostで繋がらない事が多いです。
そこにしか満足なログが残っていない場合が結構あるのですが
その場合、いったんプロキシを用いてＤＬしてローカル呼び出しで変換しているのですが
htmltodatにプロキシ機能があれば
一段階手間が省けるかな…と。

難しかったり、時間かかるようであれば無理は言わないので
良ければ御一考頂ければ有り難いです。。
258：名無しさん：2005/12/11(日) 14:46:11: 個人的にはsubject.txt作成時のフォルダ選択時に
フォルダをドロップ&ドロップが使えるようになればと思う。

html変換のときは出来るのに。
259： ◆/vmukiyuzw：2005/12/11(日) 20:25:36: >>257
プロキシの設定自体はプログラム的には案外簡単だったりします。
（実は今でもプロキシ設定のコードはソース中には入っていて、コメントアウトしてます）
問題はUIをどうするかですかね。
やっぱJaneの書き込みウィンドウとかProxomitronみたいにリストから選択できるように
しないといけないかなとか、そうなるとまた別途Proxy.txtみたいな設定ファイルがいるなあ
とかやりだすと、それなりの修正になってしまうわけです。
（テキストボックス一個置いて勝手に入力しろ、だと今晩中にでもできてしまいそうですが）
まあ期待せずにお待ちを。

>>258さん
これもさして難しくはないですが、subject.txt作成でできるのなら一括変換でもできないと
また手抜きと思われるだろうなと。
で、一括変換にはフォルダ指定欄が２つあるので、D&Dされた際にどっちに入れるように
したらいいんだ？というところが悩みどころで。
260：名無しさん：2005/12/13(火) 13:02:27: 質問です。
http://jbbs.livedoor.jp/bbs/read.cgi/otaku/995/1106468716/
上のスレッドをJaneで見たくてhtmltodatを使ったのですが、
アドレスを入力してHTML取得をした時点で文字化けしています。
どうしたらいいですか？
261： ◆/vmukiyuzw：2005/12/13(火) 17:36:33: >>260さん
「文字コード自動判別」をOFFにして、取得後「EUC->SJIS」ボタンを押して変換して下さい。

# メモ・・・JBBSの過去ログではmetaタグでcharsetが指定されない場合があるようだ・・・
# しかもMIMEヘッダで指定されているわけでもない・・・さてどうしたものか。
262：260：2005/12/13(火) 17:47:00: >>261
できました、ありがとうございました！
263： ◆/vmukiyuzw：2005/12/13(火) 19:17:28: charsetが指定されていなくて文字化けする場合の文字コードの見分け方：
無意味な半角カナが多く含まれる→多分EUC
「縺ｦ繧ｹ繝ｬ繧偵」みたいな難読な漢字が羅列される→多分UTF-8
264： ◆/vmukiyuzw：2005/12/14(水) 20:17:45: >>261
> # メモ・・・JBBSの過去ログではmetaタグでcharsetが指定されない場合があるようだ・・・
とりあえずJBBSの要望スレに書いてみたら対応してもらえました。
既にHTML化済みのものについては変更されることはないでしょうが・・・
265： ◆/vmukiyuzw：2005/12/15(木) 23:15:06: バージョンアップしました。（0.8.0）
・Proxy設定機能を実装。
・subject.txt作成、および一括変換で、フォルダ名のドラッグ＆ドロップ機能を
　追加。

Proxy設定は画面の一番上にある「Proxy設定」ボタンを押すと呼び出せます。
使い方はJaneとProxomitronからパクったような感じで・・・まああまり説明しな
くてもわかるだろうと思います＾＾；
ちなみに、Proxyサーバのアドレス＆ポートはProxy.txtというファイルに一覧で
保存できますが、「Proxyを使う」かどうかそのものは保存されないので、申し訳
ないですが起動のたびに設定して下さい。

次にフォルダ名のドラッグ＆ドロップですが、>>259で「一括変換のほうが悩み
どころです」と書きましたが、とりあえず
・空いてるほうに上から順に入れる
・両方空いていないときは選択ダイアログを出してどちらに入れるか選択する
ようにしました。「もっといい方法があるよ」とかあったらお教えください。
あと、ドロップされたものがファイルなのかフォルダなのか、というチェックは
してません。間違えて実行したらどうせエラーになるので自己責任で、て感じです。
266：663 ◆red7kKzN/E：2005/12/19(月) 19:36:36: >>265
ありがとうございました
ここ数日（というか今年いっぱい・場合によっては来年まで）
多忙にて手をつけられない状態なもので
先に御礼を。。

ふと思ったんですが
dosのコマンドラインのように（ってよくわかんないですが）
「c:\Program Files\htmltodat\htmltodat.exe?url=http://test.com/1234567890.html」
みたいにしてHTMLを呼び出すような事が出来たら
janeやtwintailの外部コマンドから直接呼び出せるなーとか思いましたがどうでしょう
（↑スルーして頂いても全然構いませんです）
267： ◆/vmukiyuzw：2005/12/19(月) 20:46:08: >>266
> ふと思ったんですが
> dosのコマンドラインのように（ってよくわかんないですが）
> 「c:\Program Files\htmltodat\htmltodat.exe?url=http://test.com/1234567890.html」
> みたいにしてHTMLを呼び出すような事が出来たら
> janeやtwintailの外部コマンドから直接呼び出せるなーとか思いましたがどうでしょう

実を言うと、>>219の最後のほうでちょこっと書いたんですが、以前から構想には入って
いたりします。

ただ、どうせやるなら、単にHTMLを呼び出すだけでなく、dat変換や、あわよくば
dat保存までいっぺんにできたら面白いかなと思ったり（そしたらJaneの外部コマンドで
にくちゃんねるを読めるのと同じようなことができたりしないかなと）。
ただそうなると正規表現とか変換オプション等々も指定できないといけないわけで、
その辺をどうしたもんかな、というあたりが課題なわけです。
まあこれは自分がどの辺のレベルで割り切るかだけの問題で、ご指摘頂いたレベルでも
ある程度使い物にはなるんだろうなとは思うのですが。
268：663 ◆red7kKzN/E：2005/12/19(月) 21:14:27: うわすごいですすごいです
その場合　汎用的には
snapshotとdumper.jpとか出来そうですね。

仮想httpサーバと自動コマンドラインが実装されれば
直接dat格納までとか出来そうですね。
ただ、完全に車輪の再生産的そのものですが。

というか、自動コマンドライン変換とか出来れば
proxomitronと組み合わせて
jane等でのdat取り込み格納まで不可能でも無さそうです
（と思うだけです）
269： ◆/vmukiyuzw：2005/12/20(火) 01:28:37: >>267-268についてですが期間的にも内容的にもあまり多くを期待しないでください。
>>267で「課題です」と書いた以外にも、例えばJaneみたいに外部コマンドでスクリプトとか
指定できるものならなんとかなるんですが、そうでないブラウザでは単にどこのフォルダに
保存すればいいのかって事すらまちまちで決定できないと思われます。
いろいろ考えてみても、指定したURLから何らかの手段で思ったとおりのフォルダに保存
することができないブラウザではあまり使い道がないような気がするのです。
270：名無しさん：2005/12/29(木) 09:30:00: ここの正規表現がわかりませんorz
http://warota.up.seesaa.net/image/ongaesi.html
divとかspanが入っててもう泣きそうです(;つД｀)
皆さんのお力を貸していただければ幸いです
271：663 ◆red7kKzN/E：2005/12/29(木) 10:01:11: # ここまでやって時間が来てしまったです

>>270
えーと
中途半端なので何ですが（なら出すなと）

m#<span.+?><a href="menu:\d+">([0-9]+)</a> 名前： ?.*?(?:<a class="name_mail" href="mailto:(.*?)">)?(.*?).+?投稿日： ?(.+?)</div><div class="mes">(.*?)</div>#mi
・・・ごめんなさい、これだとメール欄の取得が出来ません。
まだまだ修行が必要だ。。
272： ◆/vmukiyuzw：2005/12/29(木) 17:47:43: >>270さん
>>271の663さんのを元に修正してみました。
メール欄の有無であちこちの半角スペースの有無が変わるのでそれを補正しました。
あと、名前欄がトリップの場合に最短一致だと拾えないので?を取りました。

m#<span.+?><a href="menu:\d+">([0-9]+)</a> ? ?名前： ?.*?(?:<a class="name_mail" href="mailto:(.*?)">)? ?(.*).+?投稿日： ? ?(.+?)</div><div class="mes">(.*?) </div>#mi
↑
ブラウザで見たときに最後の</div>#miの前の半角スペースが１個になっちゃうと思いますが
実際には２個です。

# こういうHTMLを見るときは横スクロールありで見たほうが意外と見やすいことに気づいた
273：名無しさん：2005/12/29(木) 19:10:56: >>271-272
ありがとうございました
早速偽モナメント３にageて読ませていただいております
274： ◆/vmukiyuzw：2005/12/29(木) 19:18:34: ところで実況とか一部の板で時刻が100分の1秒単位まで表示されるようになってますね。
レス１の投稿日時からdat名を求める処理にもしかしたら影響するかも、と思って早速
テストしてみましたが、特に影響は出なかったので安心しました。
275：名無しさん：2006/01/17(火) 17:12:37: htmltodat080を使わせてもらっています。質問なんですがとあるサイトのログをdatにしたんですが
どうもレスの一部が削られているようなのです。例えばここのサイトの
ttp://cp2ch.hp.infoseek.co.jp/
●● 食虫植物を育ててる方のスレッド Part5 ●● ttp://hobby.2ch.net/test/read.cgi/engei/1073146723/
を正規表現「なんだっけ」「DAT2HTML0.26」で変換したところ、例えば>955ですと

今回、洗いざらい全てブチまけてしまって楽になったのは、果たして幸か不幸か…。

以降が消えてしまっているようです。
この他のスレでも所々削られているようなんですがこれは正規表現が正しくないからなんでしょうか？
よろしくお願いします。
276：名無しさん：2006/01/17(火) 17:17:10: 補足
Janeの外部コマンドでにくちゃんから取得すると
上の>955に関しては正しく出来ているようです。
277：663 ◆red7kKzN/E：2006/01/17(火) 17:54:39: # 作者さんでは無くてすみませんです

>>275さん
そのHTMLですが、ブラウザから直接保存したのかどうかわかりませんが
>>5の正規表現とも異なってますしよくわからないのですが
「なんだっけ」「DAT2HTML0.26」のどちらも
終端を「～ #mi」としているのが
整形されたHTMLと間違ってマッチしちゃってるみたいです。

HTMLのソースでいうと5250-5251行目

 今回、洗いざらい全てブチまけてしまって楽になったのは、果たして幸か不幸か…。
 つーか所詮僕は（後略）

の「 」にマッチしてしまって後が切り捨てられたのではないかと。
で、これにみあった正規表現を考えてみると、こうなるのかなと思うです

m#<DT><A name.+?>([0-9]+)</A> ：.*?(?:<A href="mailto:(.*)">)?(.+).*? ?：(.+?)<DD>(.*) *?(<DT>|</DL>)#mi

「 」のあとに「半角空欄＋<DT>」が来るような正規表現にすれば
上の955の問題は回避出来ると思うです。
278：名無しさん：2006/01/17(火) 18:39:04: >>277
早速のレスありがとうございます。
上のサイトからhtmを保存しローカルのファイルをhtmltodatで
読み込んで試しました。
それで、277さんの
m#<DT><A name.+?>([0-9]+)</A> ：.*?(?:<A href="mailto:(.*)">)?(.+).*? ?：(.+?)<DD>(.*) *?(<DT>|</DL>)#mi
でやってみたらうまく出来ていました。ありがとうございます。

それで要望なんですが今回Janeでスレを読んでいて違和感を感じたので
サイトのhtmと直接比較してレスの欠落に気付いたのですが、こういうのを
自動で検出する機能があればいいなと思いました。

一番良いのは正規表現を自動で生成出来る事なんですけど・・・

では、ほんとに有難うございました。
279： ◆/vmukiyuzw：2006/01/17(火) 22:10:07: # 663さん回答ありがとうございます

>>278さん
> それで要望なんですが今回Janeでスレを読んでいて違和感を感じたので
> サイトのhtmと直接比較してレスの欠落に気付いたのですが、こういうのを
> 自動で検出する機能があればいいなと思いました。
>
> 一番良いのは正規表現を自動で生成出来る事なんですけど・・・

それができればおそらく正規表現自体をユーザが意識する必要ないようにできるでしょう。
しかし現実のHTMLはその性質上あまりにもファジーなわけで･･･。
よいアルゴリズムがあれば是非ご教授願いたいところです。とりあえず私の今のスキルでは実現出来そう
にないです。
ただ言える事は
「出所のはっきりしないHTMLについては既存の正規表現がそのまま使えるとは期待しないでください」
ってとこでしょうか。
# Jane関係のスレだったか、「kakikomi.txtに自分のレス番号を記録できないか」という議論が何度か出て
# 結局「困難」と言われているのを思い出しました（これもdatとHTMLの比較の話です）
280：275=276=278：2006/01/17(火) 23:48:27: >>279
素人考えで無理な事言ってすいません。
今回この書き込みが消えているのを見つけてから変換したdatを調べてみたら
結構な数のdatがこうなっていたので思わず書いてしまいました。
やはりケースバイケースで正規表現を書き換えないといけないんですね。
当方、正規表現も理解出来ていないぐらいなのでお力になれず残念です。
281： ◆/vmukiyuzw：2006/01/18(水) 02:31:54: >>279
うあ、
> # Jane関係のスレだったか、「kakikomi.txtに自分のレス番号を記録できないか」という議論が何度か出て
> # 結局「困難」と言われているのを思い出しました（これもdatとHTMLの比較の話です）
は、「datとプレーンテキストの比較の話」でした。勘違い（恥
まあいずれにせよ、加工が入ると比較が難しくなるっていうことで＾＾；
282： ◆/vmukiyuzw：2006/01/30(月) 01:58:30: バージョンアップしました。（0.8.1）
　・文字コード自動判別機能を多少強化（metaタグでcharsetが指定されていなくても
　　ある程度自動判別出来るようにした）。
　・「EUC->SJIS」「UTF8->SJIS」ボタンを廃止。代わりに「ソース文字コード」の
　　コンボボックスと「->SJIS変換」ボタンに変更。
　・一括変換でhtm,html以外の拡張子も指定できるようにした。

文字コード自動判別については、
http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038409548/49
で書いたものを実装してみました。
（まあ、Unicodeとかiso-2022-jpとかは2ch形式のHTMLでは今のところ見たことが
ないので実装してませんが）

「EUC->SJIS」「UTF8->SJIS」ボタンについては、他とUIをそろえるためと、今後の
拡張性を考えコンボボックスに変更しました。

あと、一括変換での拡張子指定は、
http://yy14.kakiko.com/test/read.cgi/mirror/1115123243/310-314
あたりで出てきた話題を実装したものです。
まあ使い道としては適当にupされたdatのキーを元のdatキー名に変換するとか
文字コードを変換するとかかなあ・・・まあお好きにお使いください。
ちなみに自分で書いたもののコピペですが

> 正規表現：m#(.*?)<>(.*?)<>(.*?)<>(.*?)<>(.*)#
> 変換結果式：$1<>$2<>$3<>$4<>$5
> これだけだとdatの最後に<>が３つくっついて変になるので
> 後処理：s/<><><>/<>/
> これで一括変換かける。
283： ◆/vmukiyuzw：2006/02/08(水) 22:53:13: http://yy14.kakiko.com/test/read.cgi/mirror/1114936246/483-484
今までbeコードについては手を抜いていましたが、これを読んで由々しき事態だなと思い
調べてみました。
663さんのコードがそのまま使えるかなと思ったのですが、DAT2HTMLではどうしてるのかなと
調べたところ、be関数の引数の数が2chとは違う
（<a href=javascript:be(26098733,1);>のようになっている）ので、両方に対応できるよう
以下のようにしました。

s#<a href=javascript:be$(\d+)(?:,\d+)?$;>\?(\#*) *?</a>#BE:$1-$2#gi

当面、beコードを含むHTMLを変換する際は、基本的には上記の正規表現を変換オプション→
前処理に貼り付けるようにしてください。
（でないとbe対応2ch用ブラウザでbeプロフィールを表示できません）

大抵のHTMLでは上記のでいけると思います。
今後、もっと汎用性が確認できたら内部に組み込もうかなとも考えています。

※p2.chbox.jpのHTMLについては上記は使えませんが、それは
　http://www.geocities.jp/mirrorhenkan/snapshot を参照ください
284： ◆3551601012：2006/02/15(水) 22:36:46: いちおmakimo.toの正規表現も載せて見てはどうでしょうか？
285： ◆/vmukiyuzw：2006/02/15(水) 22:57:24: >>284さん
>>222-223に書いてますが・・・
デフォルトで付けているregexps.txtにも入れてみてはという意味ですかね？
286： ◆/vmukiyuzw：2006/02/20(月) 00:03:42: Beのユーザープロフィールがどどーんと変わったよ。
http://live22x.2ch.net/test/read.cgi/news/1140353755/

早速見てみましたがHTML上は特に変更ないようです。
2ch用ブラウザはこれから対応待ちってとこでしょうか・・・
287： ◆/vmukiyuzw：2006/02/28(火) 23:05:01: 「株」についてですが、今のところHTMLとdatで違いはないようなので
手を出す必要はないかなと思っています。
288： ◆/vmukiyuzw：2006/03/03(金) 23:01:42: バージョンアップしました。（0.8.2）
　・HTMLソース欄、正規表現欄、dat変換結果欄、変換オプションの前処理・後処理欄
　　に右クリックポップアップメニューを追加。
　・beコードのHTML->dat形式の変換を内部に取り込み。

ポップアップメニューについては
http://yy14.kakiko.com/test/read.cgi/mirror/1114936246/479
http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038409548/56
で出てた話を実装したものです。

beコードについては、>>283 の件を内部に組み込みました。
これでbeコード入りのHTMLを変換する際に>>283 のような前処理を指定する必要は
なくなったと思います。

あと、>>284さんの意見は意味がわからなかったので当面スルーです。
デフォルトのregexps.txtに追加するという話だと、自分で追加・修正してる方に修正を
強要してしまうことになるかもしれないので、なるべくならやりたくはないのです。
289： ◆/vmukiyuzw：2006/03/03(金) 23:44:29: あと余談ですがこんなサイトを見つけました
ttp://www.dll-files.com/dllindex/dll-files.shtml?riched32
9x系のOSで、全選択→コピーってやるとriched32.dllのエラーに
なってしまう方は試してみるといいかも知れません。
（自分で試したわけではないので全くの無責任です＾＾；）
290： ◆/vmukiyuzw：2006/03/12(日) 00:47:35: ちょっと仕様で悩んでることがあります。

前処理のw コマンドで保存するファイルの指定について
http://yy14.kakiko.com/test/read.cgi/mirror/1114936246/542,544
みたいなリクエストがあって、ちょっと考えてみたのですが
ファイル名に置換ワードを使うという前提で
$FILE →今までどおりhtmltodat.exeと同じフォルダに保存
$PLAINFILE →フォルダ名を付加しない。なので使うときはフルパスを付加することが必須
$SELECTFILE →ファイル選択ダイアログを出して選んでもらう
$ORGFILE →元ファイルと同じフォルダに保存する
とか考えました。

悩んでるのは
(1)こんなもんでよいのかと。
(2)「元ファイルと同じフォルダに保存する」って、URLを指定された場合には
どうするのかと。（$FILEか$SELECTFILEとどちらかの同じ動作にするか）
(3)URLが指定された場合、やっぱファイル名は9-10桁のスレッドキーにした
ほうがいいのかと。

等々、まあくだらないことばかりかもしれませんが相談に乗っていただけると
ありがたいなと思います。
291：663 ◆red7kKzN/E：2006/03/12(日) 22:21:25: # 要望したのは自分ですが何書けばいいのだろう・・・

>>290

>(1)
そんなもんでよいです
というか凄いです。

>(2)
エラーを出せばいいのは
・・・と素人目には思うのですが・・。

>(3)
後処理でもwコマンドが使えたのですか。
選択式に出来れば有り難いのですが・・・。

あと追加要望なのですが（ごめんなさい）

wコマンドで出力するファイルの文字コードも指定出来たら有り難いです。
UTF-8で保存し直したりする機会が増えてきましたので。。
292： ◆/vmukiyuzw：2006/03/12(日) 23:30:39: >>291
レスありがとうございます。

> >(2)
> エラーを出せばいいのは
> ・・・と素人目には思うのですが・・。
確かにそんな程度でもいい気がしますね。

> >(3)
> 後処理でもwコマンドが使えたのですか。
後処理ではwコマンドは使えないです。
（datの一行ごとに作用させてる関係上・・・）

> 選択式に出来れば有り難いのですが・・・。
と
> wコマンドで出力するファイルの文字コードも指定出来たら有り難いです。
うーむ、このために置換ワードのバリエーションを増やすのは煩雑ですし
使うほうもわかりづらいですね。
（Janeでは$TEXTUとか$TEXTEとか使われてますけど）
wコマンドのオプションで w なんちゃら -utf8 みたいにするか、直前のコメントで
#to_utf8 みたいに指定できるようにするか、どっちかですね。
ともあれ貴重なご意見ありがとうございます。
293： ◆/vmukiyuzw：2006/03/13(月) 02:00:12: どちらも変換オプションに入れてしまえばいいか・・・
オプションも段々ごちゃごちゃしてきたような気もしますがまあいいか
294： ◆/vmukiyuzw：2006/04/01(土) 01:04:28: 心配はしてたんですが今年もやられた・・・2006/03/32とは・・・
dat保存する際に「日付または時刻ではありません」のエラーになってしまいます。
ひ（ｒｙのバカヤロー！
忙しいんですが何らかの対処しないといけないようですね・・・
295： ◆/vmukiyuzw：2006/04/01(土) 16:41:11: というわけで急遽バージョンアップしました。(0.8.3)
　・投稿日が「2006/03/32」となっている場合、投稿日からスレッドキーを求める処理
　　が失敗しdat保存する際にエラーとなる場合があるので修正。

というか「2006/03/32」を強制的に「2006/04/01」に変換するようにしただけなんです。
明日「2006/03/33」とかなってたらどうしようｗ
つーか毎年こういうことに悩まされるのも嫌だな・・・

次に、http://yy14.kakiko.com/test/read.cgi/mirror/1114936246/572
のようなリクエストがきたので前処理の「DUMPER.JPスレタイ除去」を修正してます。
必要な方は上書きして下さい。

あと、>>290-293については急ぐ物件ではないかなと思って後回しにしてしまいました。
ごめんなさい＞ 663さん
296： ◆/vmukiyuzw：2006/04/02(日) 00:20:24: 大体の板は直ったみたいだけどVIPとか未だに「2006/03/33」が出てますね。
これはもうさすがに放置しようかなと。一応エラーにはならないように対処しましたし。
297： ◆/vmukiyuzw：2006/04/10(月) 00:53:44: 動画2chなんてものが出来てるようですが・・・
どう対処したものか今のところ全くわからない状態です。
まあ出来たばかりなので過去ログが出来た段階で考えようかと。
298：＜削除＞：＜削除＞: ＜削除＞
299：名無しさん：2006/04/27(木) 00:15:42: 単なるｸﾚｸﾚな、こんな質問をしてすみません。
pealの正規表現がぜんぜんわからないんで・・・
3chの過去ログ倉庫にあるスレッドをDAT化したいのですが、
2chの過去ログ倉庫とは形式が違うようです。
ttp://www.3ch.jp/newsvip/kako/112/1121876858.html
これの正規表現を教えてください。
300： ◆/vmukiyuzw：2006/04/27(木) 01:53:21: >>299さん
うーむ、これはどうやってHTML化されたものだろう・・・？
さっぱりわかりませんがHTMLの形式はread.cgi7.00？とほぼ似ているのでちょっと変えて

m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)</dt> <dd> ?(.*?) </dd>#mi

でいけると思います。他のログに通用するかは自信ありませんが。
301：663 ◆red7kKzN/E：2006/04/27(木) 16:19:31: >>299さん
どうしてもhtmlからdatに変換したいというなら別ですが、
3chの場合　そのアドレスの「～.html」を「～.dat」に変えればいいです

http://www.3ch.jp/newsvip/kako/112/1121876858.dat

0chスクリプトの過去ログなんかも同様にいけるです（>>180-181)

>>mukiyuさん
悪気は全くないのです
お気を悪くされたら謝ります
ごめんなさい
ごめんなさい
302：299：2006/04/27(木) 22:52:32: >>300
ありがとうございました。できました。
なんかすぐ対応してもらってすみませんでした。

>>301
＿|￣|○ｿｳﾀﾞｯﾀﾉｶ・・・
それって3chの運営にでも書いてありましたかね・・・
なにしろトップから過去ログ倉庫にもいけないと言うへぼさ加減で>俺
ひとつ勉強になりました。ありがとうございます！
303： ◆/vmukiyuzw：2006/04/27(木) 23:15:33: >>301
「お気を悪くされたら」なんてとんでもないです
htmltodat使わなくてもdatが取得できるならそのほうが効率的ですし
ノウハウを提供頂いて逆にありがたいです
304：546：2006/04/30(日) 01:58:44: htmlファイルをdatにhtmltodat0.8.3で変換しようとすると、
変換開始後、数秒してから
｢全然ヒットしないので正規表現が正しくないようです｣
とエラーが出てしまいます。
(read.cgi7.00?で変換しています)

どうかアドバイスをお願い致します
http://makimo.to/2ch/etc_shop/1060/1060125334.html

WinXPsp1a
JaneIE Viewα051128
305：名無しさん：2006/04/30(日) 02:15:40: >>304
ブラウザ上でマウスを右上のほうにもってくと出てくる「DAT」のとこをクリックして「1060125334.dat」で保存
306：546：2006/04/30(日) 03:26:09: ＞ブラウザ上でマウスを右上
す、すみません
どのサイトの、どのページでやったらいいのでしょうか？
307：名無しさん：2006/04/30(日) 03:55:53: >>306
>>304のLinkをブラウザで開いて実行すると、
http://makimo.to/cgi-bin/html2dat/html2dat.cgi?etc_shop/1060/1060125334.html
が開かれる
308： ◆/vmukiyuzw：2006/04/30(日) 19:28:18: >>305さんフォローありがとうございます
ちなみにjavascript ONでないといけないのでご注意ください。
にくちゃんねる（makimo.to）のdat化についての話題はこのスレでも何度も出てますので
一度検索してみてください。
309：＜削除＞：＜削除＞: ＜削除＞
310：＜削除＞：＜削除＞: ＜削除＞
311：663 ◆red7kKzN/E：2006/05/17(水) 22:27:16: 些細な要望なのですが宜しいでしょうか。

htmltodatで subject.txtを生成する際の改行コードを
「CR+LF」にして頂けたら嬉しいです。

現状、生成されたsubject.txtの改行コードは
「LF」みたいなので、メモ帳で開くと表示が崩れてしまうです。
（9x系のＯＳだけかもしれませんが）

エディタを使えばいいだけの話ですが、
ダブルクリックでメモ帳で開いてちょこっと直す事とか
出来たら楽だろうなー、と。

「CR+LF」の改行コードでも
FTPでAsciiモードでアップする際に「LF」に変更するみたいなので
問題無いと思うです
http://ash.jp/code/return.htm

気が向いたら御一考頂ければ嬉しくなりますです
312： ◆/vmukiyuzw：2006/05/18(木) 01:14:01: >>311
あえてサーバ側と同じになるようLFだけにしてたのですがそういうニーズもあるのですね・・・

修正するのは簡単ですし副作用も特になさそうなのでやろうとは思うのですが
>>290- がまだ中途半端にしか出来てないので一緒に対応しようかなと思います
313： ◆/vmukiyuzw：2006/05/25(木) 17:35:22: バージョンアップしました。(0.8.4)
　・前処理のwコマンドの機能拡張。
　　置換ワードとして$FILE,$ORGFILE,$PLAINFILE,$SELECTFILEを追加。
　　（詳細はreadme参照）
　　また、保存文字コードを変更できるようwe（EUCで保存）、wu（UTF-8で保存）
　　コマンドを追加。
　・dat変換をしない（前処理のみ行う）オプション追加。
　・subject.txt作成で改行にCRLFを指定できるよう修正。
　・その他タブオーダーなど細かい変更。

wコマンドの拡張は>>290-を受けたもので、あまり重要な修正というわけでは
ないと思いますけど、sed（て言ってわかる人がどれだけあるか疑問ですが）
みたいなストリームテキストエディタ的な使い方ができるのもそれはそれで
面白いかなと思ってつけてみました。dat変換を行わない（前処理のみを行う）
もそれの流れです。htmltodatの本筋をそれてますし、またも車輪の再発明ぽい
ですが。
文字コード変換の問題はいろいろ考えたんですがコマンドそのもので指定する
のが一番簡単そうだったのでそうしました。

subject.txtの改行コードは>>311の要望ですが副作用が怖かったのでやはり
オプションということで。
あと、タブオーダーとかが適当だったんでついでにある程度直しました。
314：663 ◆red7kKzN/E：2006/05/25(木) 22:49:42: >>313
ありがとうございます。

取り急ぎ御礼まで
315： ◆/vmukiyuzw：2006/05/26(金) 10:34:03: うーむ、｢dat変換をしない」をONにした状態で一括変換をかけると
元のファイル名.datで0バイトのファイルが作成されるバグが発覚しました。
調べてみます。
316： ◆/vmukiyuzw：2006/05/26(金) 11:57:19: バグフィクスしました。（0.8.5）
　・「dat変換をしない」オプションを指定していたときに一括変換を行うと
　　元のファイル名.datで0バイトのファイルが作成されるバグを改修。

一括変換ではとりあえずエラーでなければファイルをつくるようにしていたのを
すっかり忘れていた初歩的なミスで・・・前のバージョンをダウンロードした方
申し訳ありませんでした。
うーむ、でも今回は結構相性の悪そうな部分を弄ってるのでまたバグだしちゃう
かもｗ　ごめんなさいね（先にあやまっときます＾＾；）
317： ◆/vmukiyuzw：2006/05/28(日) 13:40:18: http://yy14.kakiko.com/test/read.cgi/mirror/1114936246/615-616 について
レス316と734のメール欄がプレーンテキストで [age] になっているため
正規表現にマッチしてないようですね。
しかしメール欄が age の場合だけの特例なのかなあ・・・よくわからん。
いずれにせよメール欄の表現形式が３種類となるわけでこれはこれでまた
面倒になりそう・・・なんでこんなうっとおしいことするのかなあ（ってhtmltodat
的に、ということですが）。もうmakimo.to大嫌い！！
今は考える気にもなれないのでもうすこし頭を冷やしてから考えてみます。
318：＜削除＞：＜削除＞: ＜削除＞
319： ◆/vmukiyuzw：2006/05/28(日) 22:01:26: http://yy14.kakiko.com/test/read.cgi/mirror/1114936246/619
>> 変換した際に出力される$1の連続関係が簡単に確認出来たら
>> 嬉しいです。（私が）
>> 上の例だと「317と735が抜けてます」とか自動的に検出とか出来たら
>> 嬉しいです。（私ry）

これは技術的には全然可能ですし自分でも以前からあったらいいなと
思っていた機能です。
ただ問題はエラーをどう表現したらいいのか・・・
まあ普通に考えるとエラーダイアログで出すべきなんでしょうけど、
上の例くらいならシンプルですが過去に透明あぼーんが大量に含まれてる
スレを見た記憶があるので・・・
「317と318と319と320と・・・」みたいに延々と続けて表示されてもそれはそれで
迷惑かなと思ってしまって手をこまねいてしまった経緯があります。
でもまあ検討してはみます。
320： ◆/vmukiyuzw：2006/05/29(月) 00:51:38: エラーダイアログでなくメモウィンドウでも表示して抜けてるレス番を
羅列するとかししたらいいのかな
321： ◆/vmukiyuzw：2006/05/29(月) 02:23:08: >>317
変換ルールが読めない・・・もう少しバリエーションがあれば何とかなるかもしれませんが。
とりあえず現時点ではギブアップです。申し訳ない。
322： ◆/vmukiyuzw：2006/05/29(月) 23:53:11: >>317,321
多分なんとか対応できたような気がします。

前処理：
s#(.*?) \[(.*?)\] #<a href="mailto:$3" class=mailto>$2 #g
変換結果式：
$4<>$2$3<>$5<>$6<> （←これはmakimo.toのデフォどおり）
正規表現：
m#<dt><a href.*?>([0-9]+)</a> ：(?:|<a href="mailto:(.*?)" class=mailto>)?(.*) (?:</a>|)? ：(.*?) <dd> *?(.*?) *? *?(<a name.*?>|</tl>|</dl>)#mi
（http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038409548/44でメモしていたもの。他にも通用するかは
自信なし）

問題になっていたのは、普通のメル欄表現と、[age] みたいなメル欄表現が名前欄とメル欄の順序が変わって
しまうことで、それにより正規表現だけではどっちが$2（メル欄）か$3（名前欄）か判別できない状態になっている
ことでした。
なので、前処理で [age] みたいなメル欄表現は前もって名前欄とひっくり返しておくことで対応しました。
（後知恵ですが前処理を付けたおかげでこういうケースにも対応できるようになってよかった・・・
使いこなしは難しいなとは思いますけど）
323： ◆/vmukiyuzw：2006/05/30(火) 01:59:43: http://yy14.kakiko.com/test/read.cgi/mirror/1114936246/621
メモウィンドウだとコピペも楽だろうなんでそう思った次第です
まあ実装はいつものごとくのんびりやるので期待せずお待ちください
324： ◆/vmukiyuzw：2006/05/30(火) 02:58:38: http://yy14.kakiko.com/test/read.cgi/mirror/1114936246/620
下部にある過去ログというのが良くわからなかったんですが
そんなに難しいhtmlには思えませんでした
具体的なURLを示していただけると。
325：663 ◆red7kKzN/E：2006/05/30(火) 08:57:42: おはようございます
いろいろすみませんです。出がけなので取り急ぎ。

えーと

http://jituwa.gozaru.jp/kakolog/01.html
から
http://jituwa.gozaru.jp/kakolog/25.html
までです。
326： ◆/vmukiyuzw：2006/05/30(火) 19:55:35: >>325
全部を見たわけではないですが、いろんなサイトから集めておられるのか
バリエーションがいくつかあるようですね。なので一発の正規表現で全部
変換するのは無理でしょう。個別に見ていくしかなさそうです。

01.htmlを見ると「sample」に毛が生えた程度のものかと思ったのですが
02.htmlはまた全然違う・・・makimo.toに似てますが微妙に異なりますね。
とりあえず02.htmlにマッチしたパターンです。ご参考まで。
（makimo.toと同じ変換結果式の指定が必要です）

m#<dt>([0-9]+).*?：(?:|<a href="mailto:(.*?)" class="mailto">)? (.*?)(?:</a>|)? (.*?) ? *?<dd> *?(.*?) *? *?(<a name.*?>|</tl>|</dl>)#mi

ブラウザ保存されてる関係だと思うのですが、余分な改行や半角スペースが
入っているので、マッチするパターンを見つけにくくなる傾向があります。
一概には言えませんが「 *?」（半角スペース＋アスタリスク＋クエスチョン）を
適宜入れることで回避できる場合があります。

# しかし上のパターンを書いてみて、>>319-320の実装はやはり必須だなと
# 痛感しました。正規表現でエラーになるわけではないのに全レス変換できない
# ときに、どのレスが欠けているのか探すのが超面倒くさい・・・
327：663 ◆red7kKzN/E：2006/06/01(木) 19:49:16: お手を煩わせて申し訳ありませんです。
参考にさせて頂きます。

> ブラウザ保存されてる関係だと思うのですが、余分な改行や半角スペースが
> 入っているので、マッチするパターンを見つけにくくなる傾向があります。

ふと思ったんですが、ブラウザ毎にトリムされる規則(?)とか判ったら
前処理で

s# +?# #ig

とやるだけで良くなるかもな、とか。（戯れ言です）
・・やはり無理か。。
328： ◆/vmukiyuzw：2006/06/03(土) 00:08:22: >>327
> s# +?# #ig
これは良い案だなと思いました。HTMLでは連続する半角スペースは基本的に
ブラウザの表示上では無視されますから。
ただ、htmltodat的には、マッチするパターンを見つけるのにはそれほど役立たない
ような気もしますね。無駄な半角スペースが除去されたのを想定した上で正規表現を
考えないといけなくなりますし（ってそれはそんなに難しいことではないかな？）。

とにかく作者でありながら未熟者なので、例えばHTMLタグの途中で改行されて
半角スペースが妙に足されてるようなケースに出くわすと「なんでこんなとこで改行すんのよ！」
と思ってしまったりもすることがしばしばあるのです。だからブラウザ保存の変な（？）HTMLが
大嫌いなんです。＞＜
最初の設計から、改行はまず全部とっぱらってからマッチさせるようにしておけばよかった
かもとたまに思うのですが、それはそれで難しいことになりそうで今のまま来てる訳で・・・
まあ今更愚痴ってもしょうがないですが。
329： ◆/vmukiyuzw：2006/06/03(土) 02:52:41: 考えてみたら現状では前処理があるので改行やら半角スペースの連続やらを
除くことは可能ですね。
まあそれがどれだけ役に立つかは私にもまだわかりかねますが。
330：＜削除＞：＜削除＞: ＜削除＞
331：＜削除＞：＜削除＞: ＜削除＞
332：名無しさん：2006/07/06(木) 00:53:13: Level3&ミルクカフェに対応キボーン
333：＜削除＞：＜削除＞: ＜削除＞
334： ◆/vmukiyuzw：2006/07/09(日) 20:01:48: >>332
対応の意味がよくわかりませんがなんかスレ違いな気が・・・もしかして誤爆でしょうか？
専ブラの作者さんに言うべきことのように思います。

それともこれらに対応する正規表現考えてくれって意味ですかね？それならそれで
具体的なURLを教えていただかないと何ともし難いです。
（それくらいググれよと言われそうですが私はそこまで寛容では無いです）
335：＜削除＞：＜削除＞: ＜削除＞
336：663 ◆red7kKzN/E：2006/07/20(木) 19:26:04: 要望というかどうすれば解決するのか教えて頂きたいのですが

http://web.archive.org/web/20030425012552/world2ch.net/test/read.cgi/accuse/1048754153/1-100

↑このhtmlをdat化しようとしています。
正規表現はたぶん

m#<dt>([0-9]+) Name: (?:)?(?:<a href="mailto:(.+?)">)?(.+)(?:|</a>): (.*?)</dt> <dd> (.*?) </dd>(<dt>|</dl>)#mi

でいいと思うのですが
元の文のハングル文字が全部「???」になってしまいます。

いったんdat保存して（文字コードUTF-8）、コピペで置換しようとしたのですが
やはり貼り付けると「???」になってしまいます。
（エディタはTeraPadとxyzzyyを使っています）
試していませんが、キリルフォントや繁体字・簡体字中国フォントでも
多分同様に文字化けすると思います。

この場合、どのようにすればよいでしょうか。
337： ◆/vmukiyuzw：2006/07/21(金) 02:10:38: >>336
うーむ、charset=UTF-8を名乗っておきながらUTF-8でない書き込みであるのが原因であろうと
思うのですが、何の文字コードなのかがさっぱりわかりません。
何となくEUC-KRぽい気はするのですが・・・ブラウザはどうやって判定してるんだろう？
とりあえずhtmltodatで判定する術は全く思いつかないです。逆に教えていただきたいくらいで。
338： ◆/vmukiyuzw：2006/07/21(金) 18:34:34: いや、やっぱりUTF-8ですね。xyzzyでソース表示させると表示できました。
でもSJISに無い文字なのでUTF-8→SJIS変換の時点で化けてしまうのですね。

可能性としては、「文字コード自動判別」をOFFにしてSJIS変換させずに
UTF-8のまま読ませてそのままdat変換（dat自体の文字コードもUTF-8でないと
意味無いでしょうから）できないかと試してみました。まあそれなりのdatぽくは
なったのですが、やっぱ内部的に全部SJISで扱ってる関係か、一部化けてしまいます。
こんな小手先の対応ではなくて、内部的にも全てUTF-8で扱うしか対応策はない
わけですがあまりに大きな変更になってしまうため不可能と思われます。
（bregexp.dllまでは手を出せませんし）

というわけで回答としては「ごめんなさいできません」です。
339： ◆/vmukiyuzw：2006/07/21(金) 19:19:52: しかしこういうのができないとなるとUTF-8のhtmlを読めるメリットも
減ってしまうのも事実で・・・というか「UTF-8に対応しています」と
言うこと自体おこがましいというか・・・
確約は全く出来ないですがいつかはやってみたい気はしますね。
340：663 ◆red7kKzN/E：2006/07/21(金) 21:38:34: >>338-339
検証ありがとうございます。お時間をとらせてしまって申し訳ありません。

残念ですが、諦めずにxyzzyyでのコピー貼りつけを模索してみます。
こんなページ↓とかありましたし（でも何だかうまくいかない・・・）

http://www.faireal.net/articles/6/08/

# 全く無関係な事ですが
# 上のページとか読むと xyzzyyって「ジジイ」と読むのかなと。
341： ◆/vmukiyuzw：2006/07/21(金) 23:01:57: >>340
現状htmltodatにはSJIS前提の処理が入りすぎてるのでどうがんばっても
無理でしょうね
てかいっそxyzzyでhtmltodat的処理を書いてしまうというのはどうでしょう？
2ch用ブラウザを作ってしまえるほどの能力を持つエディタですし。
（て自分ではあんまりやる気が無いので書いてるだけですが）
342： ◆/vmukiyuzw：2006/08/27(日) 00:24:35: バージョンアップしました。(0.8.6)
　・beコードの仕様変更に対応した（つもり？）。

beコードの仕様がころころ変わっていてどうしたものかと考えていたのですが
どうやらなんとなく落ち着いたようなので対応しました。
具体的には、前は#の数で表されていたものがBRZ(1000)とかに変わったので
どちらにも対応できるよう修正しただけです。多分今後大きな変更がなければ
このままでいけるのではないかと。

あと>>319-320は全然手を出せてません。まあ真面目にやれば出来るんでしょうけど
「ある物を表示するのは簡単だけどない物を表示するのは案外面倒」だなと。

あと>>338-339は何をどうしてやればできるのかもわからない状態です。
申し訳ないです。
343： ◆/vmukiyuzw：2006/10/21(土) 17:49:09: バージョンアップしました。(0.8.7)
　・正規表現にマッチせずdatに変換できないレスがあった場合、警告ウィンドウを
　　出して該当レス番号を表示するようにした。

>>319-320を受けての修正ですが補足しておきます。

HTMLでは、一つのスレの中でも、一レス毎に見ていくと
・メール欄の有無
・名前欄の内容（デフォルトの名無しvsコテハン、トリップ等々）
・その他いろんな要素
により、形式が多少異なるものが混在しているのが普通です。

で、そのどれにもマッチするように正規表現を考えていくのですが
見落としてしまうことも当然あります。

こういうときはエラーになるべきなのでしょうが
正規表現の書き方によっては中途半端にマッチしてしまって
変換自体は成功してしまうことがままあります。
その場合は大抵、元のHTMLのレス数＞変換結果のdat行数　となります。
（変換できていないレスが存在する）

では取りこぼしたレスはどれか？と調べようと思うと、HTMLとdatをいちいち見比べて
確認するしかなかったので、結構大変でした。
この確認を楽に出来るようにしたのが今回の修正です。
344： ◆/vmukiyuzw：2006/10/21(土) 17:58:47: さらに補足です。

正規表現が不十分でレスを取りこぼしたのではなく、
実際にレス番号が欠けているケースもあります。
いわゆる「透明あぼーん」状態です。

※これは2chでは基本的に発生しないはず（サーバ側でレスを物理削除するとそれ以降の
　レスは番号が前に詰められる）なのですが、JBBSでは板管理者の設定で透明あぼーんに
　することができます。例えば>>174-176

こういうケースは正規表現をいじってもどうしようもないので、>>176で書いたような
対処しかないと思われます。
レス番号が飛んだことがわかるのなら自動で補うこともできるのではと思われるかも
知れませんが、取りこぼしなのか透明あぼーんなのかを識別するのが難しそうだなと
思います。
345：名無しさん：2006/11/14(火) 17:26:25: 924 名前：水先案名無い人投稿日：2006/11/14(火) 15:58:00 ID:uG63LS5u0
すみません、htmltodatをwindowsMeで動作確認取った方はいますか？
snapshotのログを変換したいんですが…

925 名前：659 ◆659BBSUzlk 投稿日：2006/11/14(火) 17:16:22 ID:OUGFpUIf0 ?2BP(111)
実際試してみて不具合がなければそれでいいんじゃないですかね
346： ◆/vmukiyuzw：2006/11/14(火) 20:23:34: これはマジレスすべきなのかどうなのかよくわかりませんが・・・
Meでも動くはずですよ。実際私のサブマシンはMeですし。
もし使ってみて不具合があれば報告ください。
347：名無しさん：2006/11/17(金) 14:13:02: ＞このプログラムを使って発生した損害に関しては、一切の責任を負いません。
＞使用、配布に制限はありません。自由にお使いください。
＞動作の保証はありません。
＞動作を確認したＯＳは、Windows XPのみです。

ここを早急に直すべきかと
348： ◆/vmukiyuzw：2006/11/17(金) 19:40:02: まあどういうレベルなら「動作を確認した」と言えるかという話になりますが
個人的にはXP以外の環境では充分にテストしたわけではないと思っているのです。
（サブマシンのMe環境も普段ほとんど使いませんし、たまたま使ってみたら動いたという感じなので・・・）
なのでreadmeの記述自体を変更する必要はないと考えます。

とはいえ環境に依存するような処理を意図的に入れるようなことはしてませんので
他の環境でも大抵動いてしまうだろうなと思うわけで・・・
＞実際試してみて不具合がなければそれでいいんじゃないですかね
が一番自分の気持ちを代弁してくださってるかなと。
349：名無しさん：2006/11/22(水) 01:29:54: つまり、投げやりと
350： ◆/vmukiyuzw：2006/11/22(水) 21:12:10: はい、もともと自分で使う用に適当に作ったものですから
それを「投げやり」と言われれば返す言葉はないです。

しかし、具体的に「ここが上手く動かない」とか指摘されれば
何らかのアクションは取れると思うのですが、
そういうのが全くないままに文句だけを言われても
どうしようもないのは理解していただけるでしょうか。
351：名無しさん：2006/11/25(土) 01:24:47: ザ掲示板のスレををdat化したいのですが
http://thebbs.jp/
正規表現を教えていただけないでしょうか？
352： ◆/vmukiyuzw：2006/11/25(土) 02:39:15: >>351
非常に困る点が一つ・・・

そこのbbsではレスの最初が1からではなく0から始まっているようで・・・
2ch標準のdatてのはレスは当然1から始まっているので
0のレスを無視すると0のレスは当然読めませんし、一つずらすことにすれば
レスアンカーがずれます。

「2ch互換の板とは言えないからhtmltodatが扱える領域じゃないです」とは
あまり言いたくはないのですが、うまく扱える案が思いつかないのですが正直なところです。
353： ◆/vmukiyuzw：2006/11/27(月) 23:49:55: こちらの板向きの話なので引用させてください。

http://yy14.kakiko.com/test/read.cgi/mirror/1158402994/175

>> s#(<title.*?) - DUMPER.JP(</title>)#$1$2#
> を
>> s#(<title.*?) - ２ちゃんねるみらー(</title>)#$1$2#
> に変えるとマッチしない。なんでだ・・。。

s#(<title.*?) - ２ちゃんねるみらー(</title>)#$1$2#k

のようにkオプションを付ける必要があります。

kオプションは文字を日本語(SJIS)として扱うためのものです。
（perlには存在しないbregexp.dllの独自拡張機能）

自分の書く正規表現でもついサボって付けてなかったりすることが多いのですが、
大抵はうまくいくけれど今回のように問題が出る場合もあるようです。

具体的には、"２ちゃんねるみらー"の"ー"の2バイト目が"["（16進で5B）にあたるため
正規表現の"["と解釈されてしまって、エラーとなるようです。

多分このように2バイト文字の2バイト目が正規表現の文法とぶつかるようなケースが
まずいのだと思うのですが、具体的にどの文字だとダメかとか調べるのも大変なので、
日本語にマッチさせるような正規表現を使う場合は基本的にkオプションを付けるように
お願いします。

# 今までは日本語は"投稿日："ぐらいしか使ってなかったので問題なかった模様。
# 今後気をつけます。
354： ◆/vmukiyuzw：2006/11/27(月) 23:58:07: というか日本語の有無に関わらず無条件でつけることにしても
問題はないはずですが。
（パフォーマンスへの影響とかはわかりませんが）
355：663 ◆fnwcOWFi56：2006/12/02(土) 15:53:50: いつもお世話になっています。
また要望です。

前処理で、特定の文字が出てきたら
それを別の文字に変換するような事とか出来ないでしょうか。

makimo.toさんの所のhtmlをdat化させたいのですが
他スレのリンクが
・同サーバ・同板の場合
<a href="../1127/1127911361.html">../1127/1127911361.html</a> 
・別板の場合
<a href="../../be_be/1106/1106239080.html">../../be_be/1106/1106239080.html</a>

とあるので、下の前処理をつけました。

s#<a href="JavaScript:be$(\d+)$">\?(\#*)</a>#BE:$1-$2$3#gi
s#(>)\.\./\d+?/(\d+?)\.html(</a>)#$1http://server\.2ch\.net/test/read\.cgi/board/$2/$3#ig
s#(>)\.\./\.\./(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.2ch\.net/test/read\.cgi/$3/$4/$5#ig
356：663 ◆fnwcOWFi56：2006/12/02(土) 16:04:41: # そのままコピペしたので最初のbe処理まで入ってしまったです

上の前処理の２行目
s#(>)\.\./\d+?/(\d+?)\.html(</a>)#$1http://server\.2ch\.net/test/read\.cgi/board/$2/$3#ig

このコード中の「server」と「board」は
スレッド毎に違うので、その都度書き換えないといけないです。

コード自体を毎回書き換えるのは煩雑なので
例えば「$server」「$board」として

$serverに「ex13」
$boardに「gline」

が入るようにするような事とか出来ませんでしょうか。
357： ◆/vmukiyuzw：2006/12/03(日) 01:46:45: >>356
とりあえず、変換オプションにテキストボックスを２つ追加して
$serverと$boardの値をそれぞれ指定できるようにするとかでしょうか？
一括処理のときは一括にする範囲で工夫してもらうとして・・・

# makimo.toさん自身のhtml2dat.cgiではどうやってるのかがわかれば
# いいんでしょうけど・・・
358： ◆/vmukiyuzw：2006/12/03(日) 10:52:37: ところで、beの前処理は内部に組み込んだはずなのに
書かれてるってことは効いてないのかな

と思って調べてみるとやはり考慮漏れで効いてませんでした。
合わせて直します
359： ◆/vmukiyuzw：2006/12/03(日) 17:28:28: バージョンアップしました。(0.8.8)
　・変換オプションに$server、$board入力欄を追加。
　　前処理スクリプト中に「$server」「$board」の文字が現れると
　　入力された値に置換してから処理する。
　・be前処理の考慮漏れを修正。

１つめについてはほぼ>>356の通りですが、前処理に
$server\.2ch\.net/test/read\.cgi/$board/
みたいに書いて、$serverに「ex13」$boardに「gline」と入力し、変換処理を行なうと
ex13\.2ch\.net/test/read\.cgi/gline/
と解釈して処理します。

２つめについては、考慮漏れ。
<a href="JavaScript～みたいにクォーテーションが付くケースを漏らしてました。
これで、前処理にbeの処理を入れる必要はなくなったはず。

あとついでに、>>353に関連して添付の前処理「DUMPER.JPスレタイ削除」を修正し
差し替えてます。
360：663 ◆fnwcOWFi56：2006/12/03(日) 18:15:50: >>359
早い・・ありがとうございます。

書いてから「bbspink.comのケースもあったなあ」という事を忘れていましたが
上の場合だと
$server = ex13.2ch.net とか
$server = pie.bbspink.com 等に指定すれば良さそうです。

ありがとうございました。
361：名無しさん：2006/12/04(月) 01:04:36: はじめまして！あの正規表現の対応を御願いできませんか？自分でしたところ、5時間かかってもできなかったので
断念・・・。makimo.toのログですが、上記にあったmakimo用の正規表現じゃ変換できませんでした・・・。

zipで纏めたhtmlです・・・。
http://winplus.or.tp/uploader01/upload.php?down=450
pass: 2ch
よろしく御願いします。
362：663 ◆fnwcOWFi56：2006/12/04(月) 08:02:42: 横からごめんなさい

>>361
ブラウザ保存されたhtmlみたいなので、空白や改行があってマッチしないです。
ちょっと見る気力がないので

makimo.toさんの元htmlなら
http://makimo.to/2ch/pc7_affiliate/1161/1161168474.html

●正規表現
m#<dt>([0-9]+) 名前：(?:|<a href="mailto:(.*?)" class=mailto>)? ?(.*) (?:</a>|)? ?(.*?) <dd> *?(.*?) *? *?(<a name.*?>|</tl>|</dl>)#mik

●前処理
s#(/\d+\.html)\.html(</a>)#$1$2#ig
s#(>)\.\./\d+?/(\d+?)\.html(</a>)#$1http://$server\.2ch\.net/test/read\.cgi/$board/$2/$3#ig
s#(>)\.\./\.\./(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.2ch\.net/test/read\.cgi/$3/$4/$5#ig
s#(>)\.\./\d+?/(\d+?)\.html(?:\.html)?(?:\#)?([^<]+?)?(</a>)#$1http://$server\.2ch\.net/test/read\.cgi/$board/$2/$3$4#ig

●$server/$board
それぞれpc7/affiliate

●変換結果式
$4<>$2$3<>$5<>$6<>

●後処理
s#\#http#ttp#ig
s#([^h])ttp(://[^a-z0-9])#$1$2#igk

大量にある過去ログURLが記載してある
レス７のところでかなりもたつきますが
これでいけると思うです。
363：663 ◆fnwcOWFi56：2006/12/04(月) 08:35:34: 追記
zipで固めたほうのhtmlをdat化させたいなら
正規表現を下のと差し替えればいいかも。

m#<dt>([0-9]+) 名前：(?:|<a href="mailto:(.*?)" class=mailto>)? ?(.*) (?:</a>|)? ?(.*?) (?:</dt>)?<dd> *?(.*?) *? *?(<a name.*?>|</tl>|</dl>)#mi

あと前処理に下のを追加

s#( ) *#$1#ig
364：名無しさん：2006/12/04(月) 16:59:10: >>363
おお！ありがとうございます。無事変換できましたが、なぜかわかりませんが、レス番20あたりからすべて
mailto:のリンクが貼られた状態で青くなってました。
365：663 ◆fnwcOWFi56：2006/12/04(月) 17:40:50: うーむ

これでどうでしょう

m#<dt>([0-9]+) 名前：(?:|<a href="mailto:(.*?)" class="?mailto"?>)? ?(.*) (?:</a>|)? ?(.*?) (?:</dt>)?<dd> *?(.*?) *? *?(<a name.*?>|</tl>|(?:</dd>)?</dl>)#mik
366：名無しさん：2006/12/04(月) 18:52:29: すげぇ。出来ました！｡･ﾟ･(ﾉ∀`)･ﾟ･｡ありがとー。
29chが閉鎖する前に必要なログ保存できそうです・・・。
ほんとうにありがとうございます。
367：名無しさん：2006/12/05(火) 14:07:28: 同じくmakimo.toのログなんですが上記の正規表現で変換できません。
http://makimo.to/2ch/log_musicj/959/959833697.html

どのように修正したらよろしいのでしょうか？
368：663 ◆fnwcOWFi56：2006/12/05(火) 14:37:22: >>367
ぱっと見て「投稿日：」というのがそのhtmlにはあって
それでマッチしないのかなと思ったのですが

googleで「959833697」を検索すると、
既にhtml化されたものがありますので
どうしてもmakimo.toさんのhtmlからdat化させたいなら別ですが
そうでないのなら、下のＤＬしたほうが速いです

http://piza.2ch.net/log/musicj/kako/959/959833697.html

datはこちら

http://piza.2ch.net/log/musicj/kako/959/959833697.dat
369：名無しさん：2006/12/05(火) 15:37:14: なるほど。それは気がつきませんでした。
お手間を取らせて済みませんでした。
370：名無しさん：2006/12/07(木) 09:48:53: htmltodatで変換したdatをjaneで読み込むと
スレッド表示時でスレタイトル前に半角シャープが入ってしまいます。
現在はidxから修正していますが１つ１つだと大変なので
設定で修正するにはどのようにすればいいでしょうか？
371：663 ◆fnwcOWFi56：2006/12/07(木) 10:50:15: >>370さん
>>362で変換したdatを
自分のJaneDoe View α Build ID: 0511280214で読み込んでみましたが
タイトル前に半角シャープはついてなかったので
URLとどのJaneなのか教えて頂けないでしょうか。
372：663 ◆fnwcOWFi56：2006/12/07(木) 11:28:08: # 勘違いだったかも

>>370
makimo.toさんの所のhtmlとは書いておられないので
そうでなかったらわかんないです。。
373： ◆/vmukiyuzw：2006/12/08(金) 01:04:45: >>370さん
状況がよくわからないので以下の情報が欲しいです。
・URL
・使用した正規表現
・変換オプション（前処理・後処理等）を指定してる場合はその内容
374：370：2006/12/08(金) 11:26:16: 情報不十分で申し訳ないです。
http://makimo.to/2ch/pc8_avi/1164/1164172579.html
使用した正規表現
m#<dt>([0-9]+) 名前：(?:|<a href="mailto:(.*?)" class=mailto>)? ?(.*) (?:</a>|)? (.*?) <dd> *?(.*?) *? *?(<a name.*?>|</tl>|</dl>)#mi
前処理makimo.to
s#(.*?) \[(.*?)\] #<a href="mailto:$3" class=mailto>$2 #g
w debug.txt
後処理なし
変換結果式makimo.to
$4<>$2$3<>$5<>$6<>
OpenJane α 0.1.12.2 を使っています。
375： ◆/vmukiyuzw：2006/12/08(金) 22:14:36: >>374
試しましたが再現しません。
htmlの時点でそもそもスレタイに半角シャープは付いていないので
datに変換しても入りませんしJaneで読ませても当然入りません。

・・・で思ったのですが、もしかして、半角「シャープ」じゃなくて
半角「スペース」ではないのですか？

半角スペースなら確かに入ります。htmlの時点から入ってます。
でもこれはmakimo.toでhtml化された時点で無駄に付加されたものっぽいです。
これを除去したいということであれば、前処理に

s#(<title>) ?(.*?) ?(</title>)#$1$2$3#i

とでも付け足せばよいかと思います。
376：370：2006/12/09(土) 15:21:32: 仰るとおり「シャープ」ではなく「スペース」の勘違いでした・・・。
前処理の設定方法で半角スペースも取れました。
お返事ありがとうございました。
377：名無しさん：2006/12/09(土) 23:10:32: 【疑問】今さら聞けない家事・料理【質問】39
http://2ch/ms/human5.2ch.net/test/read.cgi/ms/1117079913/1

前スレ
【疑問】今さら聞けない家事・料理【質問】38
http://human5.2ch.net/test/read.cgi/ms/1115798098/
の部分は

にくちゃんねるのHTMLでは、

　【疑問】今さら聞けない家事・料理【質問】37
../1113/1113750788.html

になっていて、リンクで該当するスレッドにいけるのですが

htmltodatでにくちゃんねるのHTMLをｄatに変換すると

【疑問】今さら聞けない家事・料理【質問】37
../1113/1113750788.html

のままで、リンク先にはいけません。

htmltodatでにくちゃんねるのHTMLをｄatに変換すると

　【疑問】今さら聞けない家事・料理【質問】37
../1113/1113750788.html
の部分を

【疑問】今さら聞けない家事・料理【質問】37
http://human5.2ch.net/test/read.cgi/ms/1113750788/

に変換できるようにするためには
どうしたらよいのでしょうか。

●正規表現
m#<dt>([0-9]+) 名前：(?:|<a href="mailto:(.*?)" class=mailto>)? ?(.*) (?:</a>|)? ?(.*?) <dd> *?(.*?) *? *?(<a name.*?>|</tl>|</dl>)#mik

●変換結果式
$4<>$2$3<>$5<>$6<>

に設定して使っています。

どうかよろしくおねがいします。
378：名無しさん：2006/12/10(日) 05:13:27: >>377さん
試してないので何ですが
htmltodatの新バージョンを（ＤＬしてないなら）ＤＬして
>>362を試してみて下さい
（$server/$boardはそれぞれhuman5/msを指定）
379：名無しさん：2006/12/23(土) 21:46:32: パー速vip
http://ex14.vip2ch.com/part4vip/
保管庫にあるhtmlをhtmltodatでdat化するには、どのような正規表現
にすればいいんですか。
380：名無しさん：2006/12/24(日) 00:27:38: >>379さん
専用ブラウザにそのURLを外部板として登録すれば
そのまま読み込めるのではないかと思うのですが
それでは駄目でしょうか。
381：名無しさん：2006/12/24(日) 07:31:04: >>380
http://ex14.vip2ch.com/part4vip/kako/116/1161445050.html
これで登録しても
http://ex14.vip2ch.com/part4vip/
になり現行のスレしか表示されません
Jane Styleのアドレスに
http://ex14.vip2ch.com/part4vip/kako/116/1161445050.html
を入力してもログ取得できません、
ニュース速報(VIP)＠避難所の過去ログはできたんですが
htmltodatで変換はできませんか、
ここで相談することではありませんがお願いします。
382：名無しさん：2006/12/24(日) 08:54:56: >>381
これでどうでしょう

m#<dl><a.+?>\t([0-9]+) 名前：(?:|<a href="mailto:(.+?)">)(.*?)(?:</a>|)：(.+?)<dd>(.+?)</dl>(<dl>|<hr)#mi
383：名無しさん：2006/12/24(日) 09:07:45: >>382
ありがとうございますできました
384：名無しさん：2006/12/28(木) 13:37:35: 処女はお姉さまに恋してる第43話
http://makimo.to/2ch/bbspink-idol_hgame2/1151/1151736029.html

を>>362の前処理にある「2ch\.net」を「bbspink\.com」に、$server/$boardにそれぞれidol/hgame2を入れて変換して
みたのですが、テンプレにあるエロゲー作品別板から他所の板(2ch.netだけでなくbbspinkの板も)へのURLがうまく
変換できません。
どのようにすれば良いのでしょうか？
385：名無しさん：2006/12/28(木) 21:53:07: >>378
いそがしくてなかなかお返事できなくて申し訳ありません。

>>362
でやったらうまく変換できました。
大変ありがとうございました。

これからも宜しくお願いします。
386： ◆/vmukiyuzw：2006/12/28(木) 22:23:38: >>384さん
makimo.toでのbbspink.comのログに関しては

(1)同じ板内へのリンク：../1150/1150506092.html
(2)2ch.netの別板へのリンク：../../game9_gal/1139/1139744135.html
(3)bbspink.comの別板へのリンク：../../bbspink-idol_hgame/1149/1149173250.html

・・・ということみたいです。で、2ch.netのログとの扱いの違いは

(1)2ch.netと同じ形式。ただし変換結果は当然bbspink.comにする必要あり。
(2)2ch.netと同じ形式。ただし(1)とは逆で変換結果は2ch.netにする必要あり。
(3)鯖名の前にbbspink- の文字列がつくようだ。変換結果はもちろんbbspink.com。

間違いはあるかもしれないけどおおむねこんな感じかと。
これを踏まえ>>362の前処理を書き換えるには・・・
・・・申し訳ない今日はエネルギー切れです。自力で考えるか、わかる人回答してあげて下さい。
387： ◆/vmukiyuzw：2006/12/28(木) 23:52:01: ・・・と言いながらももうちょっとがんばってみよう・・・
まず>>362の前処理は以下のとおり

s#(/\d+\.html)\.html(</a>)#$1$2#ig
s#(>)\.\./\d+?/(\d+?)\.html(</a>)#$1http://$server\.2ch\.net/test/read\.cgi/$board/$2/$3#ig
s#(>)\.\./\.\./(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.2ch\.net/test/read\.cgi/$3/$4/$5#ig
s#(>)\.\./\d+?/(\d+?)\.html(?:\.html)?(?:\#)?([^<]+?)?(</a>)#$1http://$server\.2ch\.net/test/read\.cgi/$board/$2/$3$4#ig

１行目は2ch.netかbbspink.comかに関係ないのでそのままでOK
２行目と４行目は「\.2ch\.net」を「\.bbspink\.com」に修正すればOK
問題は３行目ですが>>386の(3)のとおりbbspink-があるかないかで
bbspink.comなのか2ch.netなのかが変わってきます。
（bbspink.comのスレだが中に2ch.netに対するリンクがありうるので無視するわけにはいかない）
なので２つに分けてしまいましょう。

s#(>)\.\./\.\./bbspink-(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.bbspink\.com/test/read\.cgi/$3/$4/$5#ig
s#(>)\.\./\.\./(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.2ch\.net/test/read\.cgi/$3/$4/$5#ig

結局まとめるとこんな感じでしょうか

s#(/\d+\.html)\.html(</a>)#$1$2#ig
s#(>)\.\./\d+?/(\d+?)\.html(</a>)#$1http://$server\.bbspink\.com/test/read\.cgi/$board/$2/$3#ig
s#(>)\.\./\.\./bbspink-(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.bbspink\.com/test/read\.cgi/$3/$4/$5#ig
s#(>)\.\./\.\./(.+?)_(.+?)/\d+?/(\d+?)\.html(</a>)#$1http://$2\.2ch\.net/test/read\.cgi/$3/$4/$5#ig
s#(>)\.\./\d+?/(\d+?)\.html(?:\.html)?(?:\#)?([^<]+?)?(</a>)#$1http://$server\.bbspink\.com/test/read\.cgi/$board/$2/$3$4#ig

ちなみに３行目、４行目はこの順番でないとダメです
なぜなら、４行目の(.+?)_はbbspink-pieにもヒットしてしまうので３行目で先に変換しておかないと
2ch\.netにみなされてしまいまずいことになるからです
388： ◆/vmukiyuzw：2006/12/31(日) 01:11:47: makimo.toの過去ログに関しては、663 ◆fnwcOWFi56 さんが書いてくださった
>>362 でおおむね変換できるものと思います。
※ただ、2ch.netではなくbbspink.comの過去ログに関しては
　前処理を>>387のものにする必要があると思います。
　（正規表現等は>>362のものでOKかな？）

しかし、makimo.toのログにはあまりにいろんなバリエーションがありますので、
（なんせ620万スレッドを超える過去ログを保有しているらしいですから）
>>362でも>>387でも変換できないパターンがあると思うのです。
それらに個別に対応するには自分ひとりのパワーではあまりに不足に思えますし
他の方にサポートをお願いするにも限界があるかなと思いますし・・・。

----------------------------------------------------------------------------
なので、正直言うと、今年末でmakimo.toが閉鎖して、どうしようもなくなって
一息つくまではできるだけレスとかせず逃げ回っていようと思っていたのです。
それしかできることは思いつかなかったので・・・
----------------------------------------------------------------------------

しかし、実際にはmakimo.toさん側でもいろいろ規制をかけられたりして
無制限にHTMLがダウンロードされることもなく、結果ここにも質問が殺到したり
することもなかったので、まあホッとしたという感じです。

明日（てもう今日か）帰省するので今年最後の書き込みです。
皆様よいお年を。
389：名無しさん：2006/12/31(日) 21:08:09: 遅くなりましたが、mukiyuさんありがとうございました。
他のスレも何個か見ましたが、問題はなさそうです。
390：名無しさん：2006/12/31(日) 21:12:29: 名前が抜けてしまいましたが>>389=384です。
391：名無しさん：2007/01/06(土) 01:37:31: htmltodat0.8.8を使っています
立ち上げるとhtmltodatの枠の部分が小さく表示されdat保存ボタンがあるところまで表示されません。
スクロールバーを使わなくては下まで表示されないのです。
同様に変換オプションや一覧表示なども下まで表示されません。
改善策はあるのでしょうか？
392：名無しさん：2007/01/06(土) 09:35:13: >>391
俺も同様。ただし自宅のWin98で。

職場のWin2000では正常に表示される。

参考までに。
393： ◆/vmukiyuzw：2007/01/06(土) 15:55:45: >>391さん
原因のひとつらしき点を修正してみましたが、環境による問題なので
十分に検証することが出来ません。
なので、以下の暫定版で動作確認して結果報告いただけたらありがたく思います。
（>>392さん他同様の現象が出る方にも）

http://mukiyu.hp.infoseek.co.jp/htmltodat/htmltodat0.8.8.1.zip

中身はhtmltodat.exeだけです。
今お使いのバージョンをバックアップした上で上書きしてお使いください。
394：名無しさん：2007/01/07(日) 05:22:39: この保管ログが上手く変換できません…
ttp://search.mimizun.com:82/cgi/dattohtml.pl?http://mimizun.com:81/log/2ch/sec/pc8.2ch.net/sec/kako/1153/11531/1153128180.dat

『read.cgi7.00？』とかで変換はできるのですが「<><>」が「[] 投稿日：」になってしまいます…

…「直接datで落せば」とか言われるのは判ってますが、
是非上手い変換スクリプトをおながいします
395：391：2007/01/07(日) 09:22:29: もう遅れましたが、自分はXPです。
396：391：2007/01/07(日) 09:24:33: >>393
すみません。EXEをアボーン設定しているのでレスが見えませんでした。
確認してみます。
397：名無しさん：2007/01/07(日) 09:26:51: >>393
改善されました。ありがとうです！
398： ◆/vmukiyuzw：2007/01/07(日) 18:05:42: >>394さん
663 ◆fnwcOWFi56 さんが別のところで考えてくださったそのままのコピペですが

m#<dt.*?>([0-9]+).+?(?:.+?"mailto:(.+?)">)?(.+?)(?:</a>)? ?：(.*?)<dd> ?(.*?) (<dt.*?>|</dl>)#mi

ちなみに
> …「直接datで落せば」とか言われるのは判ってますが、
何故わざわざhtmltodatを経由したいのか参考までに教えていただきたく思います。
399： ◆/vmukiyuzw：2007/01/13(土) 17:16:04: さて、>>393の件ですが>>391さん以外からは動作報告があがってないようですね。
98/Me系での動作確認が取れればそのまま正式バージョンにしようかと思っていたのですが
当面ペンディングですかね。
まあ次にバージョンアップする機会があればそのときに一緒に入れてしまうと思いますが。
400：名無しさん：2007/01/13(土) 20:12:55: >>393　>>399
>>391さんと同じXPですがきちんと表示されるようになりました。
ありがとうございました。
401：名無しさん：2007/01/16(火) 22:45:39: 要望です。
クッキー・User-Agent・ベーシック認証に対応して頂けないでしょうか。

クッキーの件ですが
remix2ch(http://contents-factory.net/remix2ch/)さんや
makimo.toさんの所でクッキー送信が必要な場合があります。

User-Agentですが
http://pita.paffy.ac/さんのdatを直接取得したい時や
●ログイン時などでMonazillaを使いたい場合があります。

ベーシック認証ですが
p2のhtml取得時に必要な場合がありますので（滅多にないですが）
あったら嬉しいです。

どこまで突っ込んで書いたらよいのかわからないので
簡単に書いたです。
詳細は下記で

http://yy14.kakiko.com/test/read.cgi/mirror/1158402994/450-451n

以上、宜しくお願い致します。
402： ◆/vmukiyuzw：2007/01/17(水) 21:48:13: >>401さん
いずれもHTTPリクエストヘッダで指定される内容ですね。

他にも指定したいものが出てくるかもしれませんし
（例えばリファラを要求されるサイトとかあるかもしれませんし）
汎用的に任意のヘッダ要素を追加指定できるようなメモウィンドウでも
付けましょうかね。
具体的にどんな形式で指定すべきかは、まあどのみち
proxomitron等でモニターして自分で調べないといけないと思うので、
使う側にお任せということで。
こんなとこでいかがでしょう。

ところで、>>401であげられてる例の半分くらいはhtmlというより
datを直接取得したい場合のような気がしますね。
「htmltodat」なのにdatを直接取得してどうするという話ですが
今では変換処理を経由せず前処理で直接ファイル保存ができるように
なってるのでそれを使っていただければいいかと思います。

（以前この機能がなかったときにはたわむれにdat→dat変換の
正規表現を書いたこともありましたが）
403：663 ◆fnwcOWFi56：2007/01/17(水) 23:02:37: ＞mukiyuさん
是非その線でお願いします。
もう一ついいでしょうか。

subject.txt作成の時
旧形式のdatをまとめる場合が結構ありますので（私だけかな）
区切り記号（デリミタというのでしょうか）を
「<>」と「,」を選べるようにして頂けないでしょうか。
404： ◆/vmukiyuzw：2007/01/18(木) 00:18:11: >>403
んーと、ちょっと確認が。

旧形式のdat（カンマ区切り）からsubject.txtを作るのはいいとして、
subject.txt自体は現行の形式（「<>」で区切られている）でいいですよね？

※というのも、monazillaの資料を見ていると、subject.txt自体にも旧形式
　（カンマ区切り）のものが存在するようなのです。ので一応念のため。

あと旧形式のdatってデリミタの「,」と区別するためにdat中に現れる「,」を
「@｀」に変換してますよね。
これもsubject.txt作成時には「,」に戻す必要がありますよね。

（アットマークが半角か全角か定かでない・・・自分の記憶では全角なのですが
monazillaの資料だと半角なのです。念のため両方変換するか）
405：663 ◆fnwcOWFi56：2007/01/18(木) 20:37:29: > mukiyuさん

> subject.txt自体は現行の形式（「<>」で区切られている）でいいですよね？

いいですいいです。

アットマークですが
確か全角みたいです。（「,」）
>>386のdatとかそうですし。

http://piza.2ch.net/log/musicj/kako/959/959833697.dat
406： ◆/vmukiyuzw：2007/01/20(土) 20:31:16: バージョンアップしました。(0.8.9)
　・「proxy設定」ボタンを削除し、代わりに「受信オプション」を追加。
　　proxy設定機能は受信オプション設定内にまとめるようにした。
　・受信オプション設定に「HTTPヘッダ追加」欄を追加。
　　Cookie,User-Agent,Authorization等のヘッダを任意に指定できるようにした。
　・subject.txt作成で、旧形式のdat（カンマ区切り形式）からもsubject.txtを
　　作成できるようにした。
　・特定の環境下で、フォームの内容が枠に収まらずスクロールバーが出てしまう
　　不具合を修正。

まず「HTTPヘッダ追加」についてですが、>>401-402のとおり
HTTPリクエストヘッダに任意の行（RFC邦訳を見ると「ヘッダフィールド」と
呼ぶみたいですが）を追加するためのものです。
例えば

Cookie: text=dat<>1<>0<>false<>mycss=<>0<>0<>3000<><><><>
User-Agent: Monazilla/1.00(htmltodat/0.8.9)

のような感じでヘッダに含めて送信したい内容をそのまま指定します。
また、変換オプションの前処理等と同様、保存・呼び出しが可能です。
（拡張子は'.hdr'）

※ちょっと内部処理の話なのですが、デフォルトで存在するヘッダ行に
　単純に行を追加するだけなので、デフォルトの行を上書きすることは
　基本的には出来ません。
　但し、User-Agentだけは例外で、（変更したい要望があったので）
　上書きできるようにしています。
　もし、他に上書きしたい行がある場合は（あんまりないとは思いますが）
　要望していただければ検討します。

次にsubject.txt作成の旧形式dat対応ですが、旧形式と現行形式を混在させて
処理することは出来ません（まあ単に判別が面倒だからなのですが・・・）。
フォルダを別にして処理する等して対処をお願いします。

最後の不具合の修正については、>>391-392で報告いただいて>>393で
対応した（つもり）のものですが、まだあまり自信がないので、
まだ不具合があればご報告ください。
407：663 ◆fnwcOWFi56：2007/01/20(土) 21:12:14: ＞mukiyuさん

ありがとうございます。
今日は不調なので後日試させて頂きます。
408：663 ◆fnwcOWFi56：2007/01/21(日) 12:41:37: 試してみたです

出来ました！
凄いです！
ありがとうございました！
409： ◆/vmukiyuzw：2007/01/23(火) 00:37:53: ちょっとスレ違いなのですが
http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1061022990/15

htmltodat自体もvistaで動くのかという気もするのですが
まあ何とかなるのではと思います。
JaneLogMoverは内部でOSが2000/XP系か98/Me系かを判定して
処理を分岐しているので、そろそろ対応を考えておかないと
まずいかなと思ったわけです。
というわけで情報お持ちの方はよろしくお願いします。
410：名無しさん：2007/01/24(水) 17:56:55: http://ex14.vip2ch.com/part4vip/kako/116/1166959235.html

このスレを変換しようと>>382で書かれている正規表現を使用したのですが
途中でエラーになります。ちゃんと変換できる方法はありますか？
411：663 ◆fnwcOWFi56：2007/01/24(水) 19:08:05: >>410さん
「:」と日付の間の半角スペースが無いのが原因みたいです。下のでどうでしょう

m#<dl><a.+?>\t([0-9]+) 名前：(?:|<a href="mailto:(.+?)">)(.*?)(?:</a>|)： ?(.+?)<dd>(.+?)</dl>(<dl>|<hr)#mik
412： ◆/vmukiyuzw：2007/01/24(水) 19:58:44: >>410-411さん
私の環境では>>382の正規表現で正常に変換できましたが。

>>411（663 ◆fnwcOWFi56）さんの

> 「:」と日付の間の半角スペースが無いのが

ですが、これが無くても結果に無駄な半角スペースがつくだけで
エラーにはならないと思うのです。
htmlソースをざっと見てみましたが：と日付の間に半角スペースは
見当たりませんし。

・・・で、推測ですが、いったんブラウザで表示させたものを
「名前を付けて保存」として保存したhtmlを変換しようとしてませんか？
もしそうであれば、htmltodatにURLを直接入力してhtmlを取得して
やってみてください。
※過去にも何度か書きましたがブラウザの機能で保存すると
　htmlが適当に加工・整形されてしまうので、正規表現は
　変えないといけなくなる場合があります。

あと、スレタイに余分なものがついているので、

s#(<title>.*?)＠VIPService過去ログ倉庫(</title>)#$1$2#ik

と入れて整形したほうがいいんじゃないでしょうか。
413： ◆/vmukiyuzw：2007/01/24(水) 20:20:42: ちょっと言葉足らずでした。

s#(<title>.*?)＠VIPService過去ログ倉庫(</title>)#$1$2#ik

と「前処理」に入れて整形したほうが～

です。
414：名無しさん：2007/01/25(木) 00:22:43: >>411-413
ありがとうございます
>>411さんの正規表現でできました
その後>>382で試したところエラーになりました
前処理は役に立ちました
ありがとうございました
415： ◆/vmukiyuzw：2007/01/25(木) 08:52:05: >>414さん
解決したのでもう見ておられないかもしれないですが・・・
>>411でも書きましたが>>410のURLは>>382の正規表現で私のとこでは
うまくいくのです。
同じURLを同じ正規表現で処理してエラーになったりならなかったりする
というような状況は経験に無いので、以下の点だけ確認させてください。

・環境（OS、htmltodatのバージョン）
・エラーの内容（多分「一行が長すぎるか正規表現が正しくありません」だと
　思うのですがもしそれ以外だったらその内容）
・エラーが出たときの、「読込行:xxxx/変換行:xxxx/バッファサイズ:xxxx」
　（画面左下、「dat変換結果」欄の下に表示されているはず）の内容

以上、よろしければお願いします。
416：名無しさん：2007/01/25(木) 10:37:03: http://search.mimizun.com:82/perl/dattohtml.pl?http://mimizun.com:81/log/2ch/hgame2/idol.bbspink.com/hgame2/kako/1163/11635/1163503512.dat

みみずん検索のdatを変換するには、どのようにすればよいのでしょうか？
よろしければ、ご教授ください。
417：名無しさん：2007/01/25(木) 15:31:10: >>415
OS　XP Media
htmltodat 0.8.9
エラーの内容「一行が長すぎるか正規表現が正しくありません」
「読込行:176/変換行:0/バッファサイズ:10100」

こうなりました
418： ◆/vmukiyuzw：2007/01/25(木) 21:12:33: >>416さん
URLの先頭から dattohtml.pl? までを削って
http://mimizun.com:81/log/2ch/hgame2/idol.bbspink.com/hgame2/kako/1163/11635/1163503512.dat
にすれば直接datを落とせます。

どうしてもhtmlから変換したいということなら
>>398 でできると思います。
419： ◆/vmukiyuzw：2007/01/25(木) 21:25:00: >>417さん
ご報告ありがとうございます。
申し訳ないのですが最後にもう一点だけ確認していただけないでしょうか。

>>382の正規表現の最後に k を付けて

m#<dl><a.+?>\t([0-9]+) 名前：(?:|<a href="mailto:(.+?)">)(.*?)(?:</a>|)：(.+?)<dd>(.+?)</dl>(<dl>|<hr)#mik

これでもエラーになるでしょうか？
420：416：2007/01/25(木) 21:59:16: >>418
ご回答いただき誠にありがとうございます。
また、よく調べもせずに安易に質問して申し訳ございませんでした。
421：名無しさん：2007/01/25(木) 22:23:09: >>419
同じエラーになりました
読込行100を過ぎたあたりからスピードが遅くなっています
422： ◆/vmukiyuzw：2007/01/26(金) 22:11:01: >>421さん
再度のご報告ありがとうございます。

残念ながら、エラーになる原因がわからないです。
>>411がOKで>>419がエラーになる理由もわかりません。
（正規表現上での違いは一箇所しかないのです・・・でもそこが
エラーになる原因とは考えにくいのです）

これ以上はおそらく環境の問題だと思うのですが、>>421さんのPCを
直接触らせていただくくらいしか調べる方法が思いつかないので、
この件は申し訳ないですがいったん中断にさせてください。。。

もし他に何か思い当たる点があればご報告頂きたくお願いします。
423： ◆/vmukiyuzw：2007/02/09(金) 23:29:31: >>422の続きですが
このスレ自体をブラウザで表示した際に、>>419のように書いたな正規表現が
ワードラップの関係で途中で改行されて、そこに不要な半角スペースが
入ってしまう可能性があるようです。
ブラウザの文字サイズを最小にするか表示領域の横幅を最大にして
改行されない状態でコピペするとうまくいくかもしれません。
424： ◆/vmukiyuzw：2007/02/10(土) 00:01:46: makimo.to（にくちゃんねる）のhtmlを現状でdat化する方法を
まとめておこうかな。

・「受信オプション」-「HTTPヘッダの追加」で
Cookie: text=dat<>1<>0<>false<>mycss=<>0<>0<>3000<><><><>
または
User-Agent: Monazilla/1.00 (htmltodat/0.8.9)
を指定する。
・該当のURLを入力してHTML取得（この時点でdat形式で取得されるはず）
・「変換オプション」-「前処理」で
w $SELECTFILE.dat
を指定する。ついでに「dat変換をしない（前処理のみ行う）オプションを
チェック。
・「変換開始」ボタンを押すとファイルの保存ダイアログが出てくるはず。
で任意のフォルダにdatを保存。

現状ではログを７日間しか保持されていないそうなので、それ以前にdat落ちした
ログとかでは無理ですが、そうでなければこちらの方法のほうが簡単だと思うので。
425： ◆/vmukiyuzw：2007/02/10(土) 02:34:36: >>424の方法はちょっと保留にさせてください。
なんかdatの最後にゴミがくっついてくる場合があるようで・・・
にくちゃんねる側の不具合の可能性もあるのですが
gzip圧縮で転送されてくるのでhtmltodat側での解凍の
不具合である可能性もあります。
調査します。
426： ◆/vmukiyuzw：2007/02/10(土) 15:24:41: バージョンアップしました。(0.8.10)
　・gzip解凍の際に結果にゴミがついてしまうバグを修正。
　・受信データの最後が改行コードであった場合に、改行コードが欠落して
　　しまうバグを修正。

今回は不具合対応のみです。

どちらも結構前からあったバグだと思われますが、
gzip解凍のゴミ：gzip圧縮されたデータを扱うこと自体が少なかったと
思われるのと、html→dat変換に必要ない部分は基本的に見ていないので
問題とはならなかったと思われます。
改行コードの欠落：これもhtml→dat変換には関係ない部分ですので
発覚しなかったと思われます。

いずれも、>>424の方法で直接datを取得しようとして「何か変だ・・・」
と思い調べてみると発覚したものです。
改行コードの欠落については、ブラウザによっては問題なく読めるものも
あったのですが、最後１レスを認識しなくなるブラウザもあったので
対応しました。
427：名無しさん：2007/02/18(日) 13:13:05: http://kiritsukegomen.hp.infoseek.co.jp/log/jisaku1145017036.html
のログを変換しようとすると、「1行が長すぎるか正規表現が正しくないようです」
となって読み込みが途中で止まってしまいます。
ここの他のログはread.cgi7.00?で変換できたのですが、このログだけダメです。
正規表現をどう変えればいいのでしょう？
428：663 ◆fnwcOWFi56：2007/02/18(日) 15:15:50: >>427さん
makimo.toさんのhtmlをブラウザ保存したものみたいなので
下の正規表現で何とかなるかもです

m#<dt>([0-9]+) 名前：(?:|<a href="mailto:(.*?)" class="?mailto"?>)? ?(.*) (?:</a>|)? ?(.*?) (?:</dt>)?<dd> *?(.*?) *? *?(<a name.*?>|</tl>|(?:</dd>)?</dl>)#mik

前処理その他は>>362でいいのかも
429：427：2007/02/18(日) 16:44:04: 早速ありがとうございます。
>>362の$boardを変更するとうまくいきました。無料サポありがとうございます。
430：＜削除＞：＜削除＞: ＜削除＞
431：663 ◆fnwcOWFi56：2007/03/09(金) 19:24:26: いつもお世話になっております。
また要望よろしいでしょうか。

後処理でもwコマンドを使えるようにしては頂けないでしょうか。

現状ではwコマンドは前処理でのみ使えるのですが
後処理でも使えるなっていれば有り難いです。

例えばdatの保存先フォルダを自動取得して
それが
C:\My Documents\Nida070202\Logs\2ch\案内\ガイドライン\1165245437.dat
だった場合
後処理でwコマンドが使えたら

w C:\My Documents\DoeView051128\NidaUTF8\Nida070202\Logs\2ch\案内\ガイドライン\1165245437.dat

とやれば、dat変換完了と共に該当フォルダに保存出来るので嬉しいのですが。
もし可能でしたらお願い致します。
432： ◆/vmukiyuzw：2007/03/09(金) 22:38:04: なるほどそういう用途がありましたか。目からウロコです。

実は現状の仕様は
・前処理：読み込んだHTML全体に対して作用するようになっている
・後処理：変換結果のdatの一行ずつに作用するようになっている
ので、単純に前処理と同じように処理したのではたとえばdatが1001行あれば
wコマンドでの保存処理も1001回行うことになってしまい非常に効率が悪い
ことになってしまいます。

・・でも考えてみると、前処理と後処理で仕様が異なっているのには
特に深い理由はなく、

・前処理：相手にするHTMLがどんな形式かわからない。ので一行ずつ処理するのは
　意味がない可能性があるので、全体に作用するようにした
・後処理：dat形式に整形された後なので形式はわかっている。であれば一行ずつ処理
　するほうが簡単かなと思った

ということだったりします。
で、後処理のほうも前処理同様一行ずつではなく変換結果全体に作用するように
仕様変更すればいいのかもなのですが、今の仕様を前提に後処理を使っている人が
もしいたら困られるかもしれないです。（まずいないだろうとは思うのですが・・・
大抵代替手段はあると思いますし）

なのでしばらくペンディングにさせてください。
仕様変更されたら困ると言う方がおられればご報告ください。
433：663 ◆fnwcOWFi56：2007/03/23(金) 20:19:37: # ペンディングの件理解しました
# お気が向いた時にお願い致します

毎回すみません。
再び要望と正規表現を教えて頂きたく思います。

まずは要望ですが
各種設定をURLに含めるタイプのものに対応して頂けないでしょうか。

具体的な例をあげると
例えば下のスレッド

(1)http://s.s2ch.net/test/-/wwwww.2ch.net/news4vip/1174582871/1-1001

これだと「省17」等で省略されたり
ＩＤ・AASのリンクがついてしまっています。
最下部の設定（「設」）で変更すると
設定はクッキーではなくURLに含まれてしまうようです。
とりあえず下記

(2)http://s.s2ch.net/test/---.uaY!FROM=&mail=&color=000000+efefef+0000FF+0000FF+FFFFFF&size=3&NG_NAME=&NG_MAIL=&NG_DATE=&NG_MESSAGE=/wwwww.2ch.net/news4vip/1174582871/1-1001

つまり、省略やその他設定を変更するには
URLの
「～test/-/server.2ch.net/～」
を
「～test/---.uaY!FROM=&mail=&color=000000+efefef+0000FF+0000FF+FFFFFF&size=3&NG_NAME=&NG_MAIL=&NG_DATE=&NG_MESSAGE=/server.2ch.net/～」
に変えればいいみたいです。

見たところ、この文字列は他でも大体同じようなので
htmltodatのほうで対応しては頂けませんでしょうか。
つまり、例えば(1)のURLを入力実行すると
(2)のURLで送信取得するというように。
434：663 ◆fnwcOWFi56：2007/03/23(金) 20:41:44: 次に、これのdat化について教えて頂けないでしょうか。

URL再掲
http://s.s2ch.net/test/---.uaY!FROM=&mail=&color=000000+efefef+0000FF+0000FF+FFFFFF&size=3&NG_NAME=&NG_MAIL=&NG_DATE=&NG_MESSAGE=/wwwww.2ch.net/news4vip/1174582871/1-1001

これに対する正規表現を考えてみたのですが
メール欄の箇所がうまくマッチしないです。
いちおう考えてみたものは下記

m#(?:<form action=i>| )([0-9]+): (.+?) (?::(.+?))?:(.+?) (.+?)( )#mik

変換結果式はメール欄逆転で。

途中の数レスが変換出来ないですが
beリンクの箇所のようなので、前処理で何とかなると思うです。

問題はメール欄で

メール欄未記入の場合
:2007/03/23(金) 02:01:11.88 ID:hWYzwspD0 

メール欄に記入されている場合
:sage:2007/03/23(金) 02:22:50.98 ID:CU23YYu/0 

というように
「」と「:（日付)」の間にメール欄が（ある場合は）入るのですが
これはどのように切り分ければ良いのでしょうか。
435： ◆/vmukiyuzw：2007/03/24(土) 00:34:13: >>433
htmltodat流にやるなら、やっぱ正規表現を指定して変換するとかでしょうかね。
たとえば
s#(http://s.s2ch.net/test/)-(.*)#$1---.uaY!FROM=（中略）NG_MESSAGE=$2#
みたいな感じで。

>>434
多少強引ではありますが以下のようなのでどうでしょう。
m#(?:<form action=i>| )([0-9]+): (.+?) (?::([^/]+?))?:(.+?) (.+?)( )#mik

単にコロンとコロンの間にマッチさせようとすると、時刻表示の中のコロンに引っかかって
おかしくなってしまうので、[^/]+?としてみました。
（スラッシュ（日付表示の中に登場する）以外の繰り返し＋コロンにマッチさせることで
結果的に時刻表示中のコロンにマッチさせるのを避けている）

これでもメール欄中にスラッシュがあるとまずいのですがまあそんなのは
レアケースだろうということで。
436： ◆/vmukiyuzw：2007/03/24(土) 01:01:53: よく考えるとメール欄中にスラッシュというのは本来の使い方からすると
決してレアケースではないはずですね＾＾；
まあそういう使い方が現状ではレアケースってことで。
437：663 ◆fnwcOWFi56：2007/03/24(土) 17:49:31: 即レスありがとうございます

> （スラッシュ（日付表示の中に登場する）以外の繰り返し＋コロンにマッチさせることで
> 結果的に時刻表示中のコロンにマッチさせるのを避けている）

目からウロコでした。こういう使い方も出来るとは勉強になりました。

URLを正規表現で指定して変換するような機能ですが
あったら嬉しいです。
2chのURLを入力してsnapshotの該当URLに変換するとしたら
s#(http://.+)#http://p2.chbox.jp/read.php?url=$1/all#i
とか。
やって頂けたら嬉しいです。
438： ◆/vmukiyuzw：2007/03/24(土) 23:58:30: URLを正規表現で変換するような機能なら多分受信オプションに追加して
他のオプションと同様選択とか追加とかできるようにする感じですかね。

しかしまあ個別にオプションを指定するのは汎用的かもしれませんが
面倒かもしれないなと思う今日この頃。
まとめていっぺんに指定（とか保存）とかできるようにしたほうがいいのだろうな
しかしどうやってやればいいのかと考える次第です。
439：名無しさん：2007/03/30(金) 09:50:52: えと、2ch DAT落ちスレミラー変換機 ver.４　で検索してその２２に目的のスレありました。
その２２：ttp://namahage.dip.jp/public/2ch_s/read.asp?url=http://pc8.2ch.net/test/read.cgi/cg/1147348472/

変換方法教えてもらえませんでしょうか。
スレ違いだったらすみません。
440：439：2007/03/30(金) 11:08:10: 色々ググって解決しました。
生禿さんとこは以下でいけるようです。
お騒がせしました。

正規表現
m#<dt>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?) ?(.*?)<dd> ?(.*?) (<dt>|</dl>)#mi

前処理
s#(<title>.+?) ?$\d+$(</title>)#$1$2#
s#生禿あぼーん#あぼーん#igk
s#()ﾅﾅｼ()#$1$server$2#igk

$server
名無しさん＠お腹いっぱい。
441： ◆/vmukiyuzw：2007/04/01(日) 15:56:47: # 今年のエイプリルフールは特に何もないようなので・・・

バージョンアップしました。(0.8.11)
　・受信オプション設定に「URLの変換」を追加。
　・変換オプション・後処理の仕様を変更。
　　出力結果のdat一行ずつに対して作用するようにしていたのを、出力結果全体
　　に対して作用するよう修正。
　　また、前処理と同様のwコマンドを追加。

URLの変換については>>433,>>435,>>437参照。

後処理の仕様変更については>>431-432参照。
もし変更の影響が出た場合は、sコマンドの最後にgオプションとか付ければ
大抵回避できると思います。
442：名無しさん：2007/04/05(木) 00:57:05: スイマセン。よろしいでしょうか
http://jbbs.livedoor.jp/computer/6306/storage/1169464997.html
上のＵＲＬをjbbs過去ログの正規表現で変換しようとしたのですが
[1行が長すぎるか、正規表現が正しくないようです]
と出てしまいます。（他の過去ログも同じ）
自分がやった方法は
１、URLをコピペしてHTML取得
２、一覧表示からjbbs過去ログを選ぶ
３、変換開始　←ここで[1行が～]
と出てしまいます。
ちなみに上記以外はどこもいじっていません…
解決策があればお願いします。
443： ◆/vmukiyuzw：2007/04/05(木) 01:30:23: >>442さん
jbbsの過去ログの形式が微妙に変更されているようですね。
あわせて正規表現を以下のように変更してみました。

m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)? ?(.*?) ?(?:</A>|)(?: 投稿日)?： ?(.*?)(?: )?<DD>(.*) ? #mik

一応、以前の形式とも互換性を取れるようにしたつもりです。
444：名無しさん：2007/04/05(木) 01:48:50: >>443
夜更けにこのような迅速な対応…感謝します！！
早速使わせていただきました、datも問題なくばっちり一発でしたｗｗ
本当にありがとうございますm（＿＿）m
445：名無しさん：2007/04/11(水) 18:19:42: 私も>>442の、[1行が長すぎるか、正規表現が正しくないようです]
のエラーが出て変換出来ませんが、>>442とは別なようでした。

2ch DAT落ちスレミラー変換機 ver.４の、その９のsnapshotなんですが
以下のようなアンカの多いレスで失敗しています。

>1>2>3>4>5>6>7>8>9>10
>11>12>13>14>15>16>17>18>19>20
>21>22>23>24>25>26>27>28>29>30
>31>32>33>34>35>36>37>38>39>40
>41>42>43>44>45>46>47>48>49>50
>51>52>53>54>55>56>57>58>59>60
>61>62>63>64>65>66>67>68>69>70
>71>72>73>74>75>76>77>78>79>80
>81>82>83>84>85>86>87>88>89>90
>91>92>93>94>95>96>97>98>99>100

このような場合はどうすればいいのでしょうか？
446：445：2007/04/11(水) 18:28:40: アンカだけでなくURLリンクも多く貼られていると同様です。
447：445：2007/04/11(水) 18:30:02: アンカだけでなくurlリンクも多く貼られていると同様です。
448： ◆/vmukiyuzw：2007/04/11(水) 20:21:10: >>445さん
ミラー変換機その９（snapshot）の変換方法は
http://www.geocities.jp/mirrorhenkan/snapshot/
にまとめられてますが、もちろんこの手順通りに行った結果で
エラーになってるんですよね。
とりあえず、アンカーの多いスレ、URLリンクの多いスレの
（snapshotでの）URLを教えていただけると何とかできるかもしれません。
449：445：2007/04/12(木) 09:18:03: >>448殿、よろしくです。

ミラー変換機その９のものでもちゃんと変換されるものもありますし、IEでsnapshot開いて
該当スレをフィルタしたものをローカル保存したものであればちゃんと変換されますから
間違いは無いと思います。

ここの605
http://p2.chbox.jp/read.php?host=tmp6.2ch.net&bbs=download&key=1169907405&ls=all

ここの2、3
http://p2.chbox.jp/read.php?url=http://tmp6.2ch.net/test/read.cgi/download/1170602478/all

「read.cgi7.00?」でうまくいかない
http://web.archive.org/web/20050312081450/http://fun.kz/test/read.cgi/tech/1084697545/
450：名無しさん：2007/04/12(木) 20:03:44: 『2ch DAT落ちスレミラー変換スクリプトについて考える掲示板』
の649、651のにすると上手く変換できたようです。ありがとうです。

fun.kzとアンカーのは変換できましたが、urlリンクの方はfatal error
で失敗します。
ここの2、3
http://p2.chbox.jp/read.php?url=http://tmp6.2ch.net/test/read.cgi/download/1170602478/all
451：名無しさん：2007/04/12(木) 20:36:38: アンカーもurlリンクのも変換できました。
向こうの652殿ありがとうです。◆/vmukiyuzw殿も <(_ _)>
452：451、445：2007/04/12(木) 21:19:02: 『snapshotのスレをdat化する試みについて』
更新されたんですね。(仕事早いなぁ)

更新されたのをコピペして新たにdat化しました。
ありがとうです。
453：名無しさん：2007/04/17(火) 11:05:38: いつも便利に使わせていただいております

subject.txtの作成機能なのですが、>>237の2の場合で
当方不精なのもので、フォルダに関係の無いdatファイルが散らばっていることが多々あります
そこでアップロードしたサイトのディレクトリにあるdatから
subject.txtをローカルに生成するようなことはできますでしょうか

subject.txt生成機能自体が、メインでないとは存じますが
よろしければお願いします
454： ◆/vmukiyuzw：2007/04/17(火) 20:23:19: >>453さん
うーむ、ちょっと難しい・・・
というのは、httpのプロトコルでは特定のサイトのディレクトリにある
ファイルの一覧を取得する方法が基本的にはないのです。
（http://なんたらかんたら/*.dat みたいにワイルドカードみたいなのは
使えないですよね）

で、ftpのプロトコルであればファイル一覧を取得できると思うのですが
htmltodatに付けようと思うとけっこうな改造になってしまう上、
労多くして実り少ないというか・・・

というわけで適当なftpツールでローカルにダウンロードして
subject.txt作成して頂く、というあたりで手をうってもらえないでしょうか。
（あ、「アップロードしたサイト」という文言から、ftpでのアクセスくらいは
許可されているはずと勝手に解釈して書いてますが、そうでなかったら
すいません）
455：名無しさん：2007/04/18(水) 15:24:18: いつもお世話になっております。

このスレ
http://www.geocities.jp/log_matome/log/o7/1143077159.html

をdatにしたいのですが正規表現の一覧のどれを使っても変換できません。
「１行が長すぎるか正規表現が正しくないようです」と出てしまいます。
read.cgi7.00？ですと、変換は始めるのですがなかなか進まずそのうち固まってしまいます。
変換方法を教えていただけないでしょうか。
456：名無しさん：2007/04/18(水) 16:33:52: >>455さん
dat2htmlの形式が微妙に変更されているようですね。
あわせてDAT2HTML2.6の正規表現を以下のように変更してみました。

m#<DT>(?:<A.*?>)?([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|) ：(.*?)<DD>(.*) #mik

一応、以前の形式とも互換性を取れるようにしたつもりです。

＞mukiyuさん
ほんの出来心で>>443を真似させて頂きました
ごめんなさい怒らないで下さい
457： ◆/vmukiyuzw：2007/04/18(水) 20:17:53: DAT2HTML0.32gというとこにデジャヴを感じたので、過去ログを探して見ると
>>151-152,>>173で出ている話題ですね。
おそらくDAT2HTML0.32限定の問題と思われますが
>>456さんの正規表現だとどちらでも対応できるのでこの方が良いですね。

> ほんの出来心で>>443を真似させて頂きました
真似されて困るほどオリジナリティのあるレスを書いてるとも思わないので
怒らないでくださいとか言われてもそもそも怒りようもないというか
逆に回答レス付けていただいて感謝するのみです。
458：455：2007/04/19(木) 00:24:34: >>456-457
迅速な対応ありがとうございます。
無事変換できました。
本当にどうもありがとうございました。

>>457
以前に出ていたものだったのですね。すみませんでした。
459： ◆/vmukiyuzw：2007/04/19(木) 01:00:43: >>458
> 以前に出ていたものだったのですね。すみませんでした。
いえ、確かに既出の話ではありますが、2年近くも前の話でもありますし
そもそものんびりやってるスレなんで、私としては「過去ログ読め」とか
言う気は全くないのです。たまたま思い出したので書いただけで。

で、以前に出ていたもの（>>151-152）よりも>>456のもののほうが
汎用的で優れていると思うのでこちらのほうがお勧めだと思うのです。
460：名無しさん：2007/04/19(木) 19:11:05: こっちに書いとくです

http://ex20.2ch.net/test/read.cgi/gline/1175735168/77で出た
http://2ch.pop.tc/log/06/09/28/1555/1095611913.htmlのdat化もさせるようにすると
下のようになるのではないかと思うです

m#<DT>(?:<A.*?>)?([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|) ?：(.*?)<DD>(.*) #mik
461： ◆/vmukiyuzw：2007/04/20(金) 00:58:25: >>460さん
この正規表現はDAT2HTMLの最新版（現時点では0.33hかな）に対応したもので
かつ以前の形式とも互換性が取れるようになっているものですね。
わざわざありがとうございます。

しかし変わった点は日付欄の前の全角コロンの前の半角スペースの有無だけですか。
htmltodatサイドから見るとこういう細かい変更を都度キャッチアップしていくのはとても
面倒なのですが、それはあくまでもこちら側の都合なのでどうしようもないですね。
なるたけ変更に強いような正規表現を書けるよう精進するしかないかな・・・
462：名無しさん：2007/04/24(火) 04:22:38: すみません。2ch DAT落ちスレミラー変換機 ver.４
の、その23の変換はどのようにやれば良いのでしょうか？
463：663 ◆fnwcOWFi56：2007/04/24(火) 08:21:38: >>462さん
デスクトップ2ch（http://2chsearch.info)のdat化は下記でどうでしょう

例：http://www.2chsearch.info/?s=old&b=news4vip&d=1174091695

受信オプション→HTTPヘッダ
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)

正規表現
m#<div.+?>([0-9]+) ：<span.+?> ?(.+?)\[(.*?)\] 投稿日：(.+?) <div.+?> ?(.+?) ?</div> </div> #mik

前処理
s#(<title>)デスクトップ２ｃｈ：.+?：(.+?</title>)#$1$2#ik

変換結果式
メール欄逆転

これで出来ると思いますが留意点が二つ。

１　User-AgentからＰＣか携帯かを判別しているようで、
　上のHTTPヘッダを付けないと携帯用ページ（４０までしかない）を返してくるようです。
　なのでUser-Agentを忘れないようにして下さい。

２　上の例だとレス１が　「(コピペ略）」というリンクになっていますが
　dat化してもそのままです。
　これはどうしようもないので各自で何とかして下さい（リンク先等を見て）。
464： ◆/vmukiyuzw：2007/04/24(火) 22:29:16: >>463 いつもありがとうございます。

ちょっと気になったのは名前欄に関してですが、VIPやニュー速の
ランダム名無しであれば細字になるはずなので前後に,がつくはずですが
このサイトではそもそも削除されているようですね。
前処理や後処理で加工するのも面倒そうですし、まああきらめるしか
ない感じですかね。
465：462：2007/04/25(水) 13:54:46: ありがとうです。>>463様
「(コピペ略）」は切り貼りでもします。

しかし『デスクトップ2ch』って変ですね。1001で終わりのスレで
1040まで出てくるし。途中に「(コピペ略）」が挿入されてるのかな。
466： ◆/vmukiyuzw：2007/05/16(水) 22:45:38: バージョンアップしました。(0.8.12)
　・変換オプションの前処理・後処理で不要な改行が含まれているとエラーになる
　　不具合を修正。
　・前処理・後処理欄等の使い勝手を少し修正。
　　マウスでしか選択できなかったのをキーボード操作で選択できるようにした。

今回はまあ細かい修正のみです。

一つ目は、読み込んだ行が空行かどうか確認せずに行の一文字目を参照していたために
アクセス違反が起きてしまうという初歩的なバグなんですが、コンパイル時点で
ワーニングもなく参照できてしまう言語仕様もどうなんでしょうねえというか。
責任転嫁するなよと言われそうですが。

二つ目は、一覧が表示されて矢印キーで選択してリターンキーで確定、みたいな
動作を想定していたのですが、これも言語仕様上矢印キーの時点でイベントが
発生してしまって思ったような動作にならなかったので、まあ多少小細工して
なんとかできるようになりました。
キーボード派の方やスクリプトで操作したい方に利用していただければ。

あと、>>442-443に関連して「jbbs過去ログ」、
>>455-456,460-461に関連して「DAT2HTML0.26」
の正規表現をそれぞれ修正しています。（regexps.txt上）
必要な方は申し訳ないですが自力でマージしてください。
467：663 ◆fnwcOWFi56：2007/08/15(水) 16:32:29: 要望です。
「スレッドタイトルを取得しない」オプションを付けて頂けないでしょうか。

一度に全レス表示出来ないスレッドをdat化する際、
「1-10」「11-20」「21-30」等でそれぞれdat化して連結させたいのですが
dat化する時、「1-10」のもの以外にもスレタイが付いてしまいます。
それでは具合が悪いので、スレタイが付かないようにオプションで付いていたら
有り難いです。
具体的には下記とかで。

http://yy14.kakiko.com/test/read.cgi/mirror/1186175383/19-20n

以上、御検討の程宜しくお願い致します。
468： ◆/vmukiyuzw：2007/08/16(木) 02:01:09: >>467
スレタイが付くというのはdatの行最後（5フィールド目）に付くという意味ですよね？
1-10以外（というか実際には1だけですけど）のものにスレタイがつくと何か問題あるのですか？
確かにdatの形式としては不正だとは思いますが、大抵の2chブラウザでは読み飛ばして
くれると思うので実害はないと思うのですが。

問題あるのであれば後処理で削るという手があると思います。
5番目の<>と\nの間を削ればいいんじゃないでしょうか。
というわけでオプションで機能追加しないといけない必要性がよくわからないです。
469： ◆/vmukiyuzw：2007/08/16(木) 02:26:04: >5番目の<>と\nの間を削ればいいんじゃないでしょうか。
4番目の間違いでした
470：663 ◆fnwcOWFi56：2007/08/18(土) 18:21:44: >>468-469
その通りで実害はなかったので>>467の件取り下げさせて下さい。
失礼しました。

で、別件の要望です。（毎回すみません）

datへの一括変換時に、同名ファイルが存在した場合
現状では「上書き」「保存しない」の二つだけなのですが
「別名で保存」というような選択肢を加えて頂けないものでしょうか。

例えば「1234567890.dat」が存在していた場合は
「1234567890[0].dat」で保存、というように。
471：663 ◆fnwcOWFi56：2007/08/18(土) 18:43:58: この機能が欲しい理由ですが
携帯用ページのスレッドをdat化したい時に
あったらラクだなと思ったもので。

http://www.geocities.jp/mirrorhenkan/2ch-i/

上記のページで書いたのですが
「1-10」「11-20」[21-30」等でしか表示出来ない携帯サーバの場合
それぞれのファイルをＤＬして
datに一括変換させて（ファイル名はそれぞれのレス１の日付からリネーム）
別個スクリプトでファイル名からソートしたテキストファイルを作成して
そのテキストファイルを元に連結すればdatになるのですが
秒数まで表示しないスレッドでなおかつ流れが速いものの場合
同名ファイルが幾つも出てきてしまうです。
例えば下記とか。

http://live.2ch.net/test/read.cgi/endless/1035922530/

これの2ch-imodeでのミラーはこちら

http://2ch-i.net/&/live.2ch.net/endless/1035922530/

これなどはレス数が640なので64個のファイルをＤＬして変換結合するのですが
同名ファイルになってしまうものが４つ出てしまうので困ってしまうのです。
レス１の日付から生成したファイル名でソート結合していますので
オリジナルファイル名.datでやるのは却って大変です。

で、同名だった場合に「別名で保存」オプションがあったら
例えば
「1234567890.dat」と「1234567890[0].dat」の比較処理等が実に簡単になるのです。

以上のような理由がありますので
一括変換の際の「別名で保存」オプション（名前はどうでもいいのですが）
を、是非実装して頂けたら実に嬉しいです。
472： ◆/vmukiyuzw：2007/08/18(土) 22:15:34: まあ難しい話ではないですがこれもいまいち実装するほどのことかなとの
感が否めないです。
自分がやるなら、元ファイルをソートできるようにリネームするアプローチを取るかな？
せっかく「1-10」「11-20」と連番が付いているのですし
最終的にはスクリプトでソートする意図のようなので
そのまえにスクリプトで数字の桁数をそろえてしまえばいいのでは？
473： ◆/vmukiyuzw：2007/08/18(土) 22:50:20: ところで、2ch自体でもそうですが
「1-10」が「0001-0010」となっていてもアクセスできますよね。
（まあCGIがそう働いてくれてるだけのことですが）
であればローカルのファイルをリネームするよりURLの一覧のほうを
そう変えてしまうほうがより簡単かもしれませんね。
474：名無しさん：2007/08/25(土) 15:09:43: ほ
475：名無しさん：2007/09/16(日) 18:48:48: 御返事遅れて申し訳ないです
>>471のページの方法で何とかなったと思うです。

さて、早速なのですが
下記３つのhtmlにマッチする正規表現を教えて頂けないでしょうか。

http://●.sarashi.com/htmltodat/1187190494.html
http://●.sarashi.com/htmltodat/1165245437.html
http://●.sarashi.com/htmltodat/1137198532.html

メール欄が日付（＋ＩＤ）の右にあり、どうもマッチしないです。
下のような正規表現を考えてみたのですが

正規表現
m#<hr>([0-9]+):(.+?):(.+?)(?:\[(.+?)\])? (.*?)(<hr>)#mki

前処理
s#(<title>)29-(.+?</title>)#$1$2#ik

変換結果式
$2<>$4<>$3<>$5<>

メール欄が無い場合にはマッチしないのです。
どこがよくないのでしょうか？

また、前処理でまだ色々やらなければいけないと思うのですが
とりあえずスレッドタイトルだけつけてみたら
どうも機能してないみたいです。
どこがまずいのか教えて頂けないでしょうか？
476：名無しさん：2007/09/16(日) 18:49:58: >>475で出したURLですが
「●」を「mirror」に変えて読み出して下さい。
477： ◆/vmukiyuzw：2007/09/17(月) 00:11:24: 変換結果式を入れなければ（順番はおかしいですが）正しく変換されるので
変換結果式の処理にプログラム側にバグがあるようです。
でもぱっと見た限りではどこがまずいのかわからない・・・
時間があるときに見てみますが、とりあえず変換結果式を使わず後処理で

s#(.*?)<>(.*?)<>(.*?)<>(.*?)\n#$2<>$3<>$1<>$4\n#igk

とかで対処できないでしょうか。
（やってることは変換結果式と同じはずなんですがなぜ結果が異なるのか
まだわかりません）

なお、NGワードは設定していないので伏字でないと書けない理由はわかりません。
478： ◆/vmukiyuzw：2007/09/17(月) 01:00:39: 原因はわかりました。
変換結果式で変換するときも内部的にはsコマンドで変換しているのですが
$4はふつう日付ID欄で空白なことはないだろってことで(.*?)でなく(.+?)にしてました。
しかし$4にメール欄（空欄あり）がきてしまったのでマッチしなかったようです。
まあ次の機会にでも修正します。ちょっと副作用が怖いですが。
479：名無しさん：2007/09/17(月) 19:39:31: >>477-478
ありがとうございます
対処法がわかれば何とかなりそうです。

とはいえ、やはり変換時のプレビュー表示が気になりますので
お時間のある時にツール内部の対処をして頂ければ嬉しいです。
480： ◆/vmukiyuzw：2007/09/17(月) 20:54:16: >>479
たいした修正でもないので片付けちゃいました。
バージョンアップです。(0.8.13)
　・変換オプションの変換結果式が正しく作用しない不具合を修正。

今回の修正は>>477-478の不具合の対応のみです。
481：名無しさん：2007/09/24(月) 15:23:13: 23chのスレッドに貼られてるリンクが経由してしまいます
482： ◆/vmukiyuzw：2007/09/24(月) 23:42:51: >>481
すみません、私の能力では解読不能です。

・具体的なURL
・使用した正規表現
・発生する（困っている）事象
についてもう少し詳しく書いていただけると
何とかできる可能性もありますけど。
483：名無しさん：2007/09/27(木) 02:29:47: お世話になります
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/keiyaku1.html
これとdatにしたいのですが、どのようにすればいいのでしょうか？
484： ◆/vmukiyuzw：2007/09/27(木) 20:43:37: >>483さん
HTMLの形式を見るとかつてのmakimo.to（にくちゃんねる）のログを
HTML形式で保存したもののようですね。
このスレでの最新の情報としては>>362でどうでしょうか。
485：名無しさん：2007/09/29(土) 02:01:33: ありがとうございます。上記のアドレスは問題なくdat化できました
が、下記のがうまくいきませんでした。
宜しくお願いいたします
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/keiyaku2.html
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/keiyaku3.html
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/keiyaku4.html
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/keiyaku5_1.html
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/keiyaku5_2.html
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/keiyaku6.html
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/keiyaku7.html
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/002.html
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/003.html
http://rosemarylove.hp.infoseek.co.jp/keiyaku/log/004.html
486： ◆/vmukiyuzw：2007/09/29(土) 19:15:08: >>485
そこのサイトのログはいろんなところから集められたもののようで
１種類の正規表現で全部変換するのは無理です。
とはいっても何種類かのパターンに分類できるようで。

・keiyaku2.html
・keiyaku3.html
・keiyaku4.html
・keiyaku5-2.html
・002.html
・003.html
↓
m#<dt><a.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+)(?:</a>|).*?：(.*?)<dd>(.*) #mi

・keiyaku5-1.html
↓
m#<dt><a.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+)(?:</a>|).+? ?(.*?)</div><dd>(.*) #mi

・keiyaku6.html
・keiyaku7.html
↓
m#<a href="menu.+?">([0-9]+).+?(?:"mailto:(.+?)">)?(.+)(?:</a>|).+? ?(.*?)</div><div class="mes">(.*)</div>#mi

・004.html
↓
既存の正規表現「read.cgi7.00？」か「DAT2HTML0.26」

でそれぞれ変換できると思います。
# 各ログの元の出所が知りたいところではあります
487：名無しさん：2007/09/30(日) 01:30:52: >>486
大変お世話になりました
ログの出元はわかりません、もうしわけないです。
ありがとうございました！
488：名無しさん：2007/10/05(金) 18:02:19: このスレをdatで欲しいのですがどのような正規表現や加工を行えばよいのでしょうか？

http://mentai.2ch.net/whis/kako/994/994109037.html

ご教示よろしくお願いします

<各URL>
http://academy2.2ch.net/test/read.cgi/whis/994109037/
http://mentai.2ch.net/test/read.cgi/whis/994109037/

Jane Doe Style 2.7.5.0
htmltodat 0.8.13
489：名無しさん：2007/10/05(金) 18:12:08: あれ？上のURLで開けてしまいました。
多分Janeを再起動したことより開けたのだと思います

という事で自己解決してしまったのですが、
時折スレを補完してるサイトで
ttp://uploader.fam.cx/img/u27240.jpg
が上部に付いてる形式でそのまま補完してるところがあります
そういった場合の整形方法を後学のため教えていただけますか？
490： ◆/vmukiyuzw：2007/10/05(金) 19:45:52: >>488-489さん

http://mentai.2ch.net/whis/kako/994/994109037.html
↑
こういうURLで2ch側でhtml化されているものは基本的にはdatでも
保存されてますので大抵の2ch専用ブラウザでは読めるはずです。
（最後「html」を「dat.gz」にすればdatとして読める）
datが入手できずhtmltodatを使う必要がある場合は正規表現「sample」で。

> ttp://uploader.fam.cx/img/u27240.jpg
> が上部に付いてる形式でそのまま補完してるところがあります

datに変換する上では無視されますので事前整形等の必要は
ないはずですが。
491：名無しさん：2007/10/05(金) 20:12:18: >>490
>>488については多分Janeのバグ(といっても全く実害の無いレベルのもの)だったのかと思います
色々試した後のJane再起動でいつの間にか直ってました
ｽﾚ汚しでホント恥ずかしいです

以前(確か2004～05年頃だったかな?)、見かけたｽﾚ補完庫の中に
いわゆるu27240.jpgの過去ログ.htmlで保存してて、htmltodatで変換出来ない物があり
今回恥の上塗りついでに質問しました(黄色いジャージを着た女性のバナーがあったので多分大人の時間の半角板だと思います)

もしもう一度そこに出会うことがあったなら、現在のverでかつ
◆/vmukiyuzwさんから教えていただいた『正規表現「sample」』で行ってみたいと思います

◆/vmukiyuzwさんありがとうございました
492： ◆/vmukiyuzw：2007/10/17(水) 23:26:38: htmltodatをバッチコマンド的に動作させる構想を持っていたのですが
以下の理由で見送りたいかなと思っています。

・かなり大きな修正になってしまうため自分のスキルが足りない
・もしできたところで、外部スクリプトの助けを借りずには動かすことは
　困難と思われる。今でさえ使うのは簡単ではないのにさらにハードルを
　あげると、使いこなせる人はほとんどいなくなると思う
・p2todatを使えばできることが多いと思うのでそっちを使ったほうが楽

てなとこでしょうか。

まあ自分は自分のできる範囲で地道にやっていこうと思います。
493：663 ◆fnwcOWFi56：2007/10/21(日) 11:50:07: いつもお世話になっております。
早速ですが下記URL

http://www.23ch.info/test/read.cgi/morningcoffee/1192437916/

正規表現は「read.cgi.7.00?」で変換出来ますし
読んでみても問題なさそうな感じがしますが

変換直後に
「レス 60-372 の間が変換できていません」
と出ます。

実用上問題は無さそうな感じはしますが
何故このメッセージが出るのでしょうか？
494：663 ◆fnwcOWFi56：2007/10/21(日) 12:24:59: あ
自分の正規表現を変えてあったのが原因みたいでした

m#<DT.*>(?:<A.*?>)?([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|) ?：(.*?)<DD>(.*) #mik

上のものに変えていたのですが
元々のものに直してみたらエラーが出なくなったです。

>>493は取り消させて下さい。
失礼しました。
495： ◆/vmukiyuzw：2007/10/21(日) 21:28:45: >>493-494
m#<DT.*>
ここが最長一致になっている（*の後に?がない）のが原因だと思われます。
「レス 60-372 の間が変換できていません」のエラーは$1が連続した数値かどうかで判断しているのですが
ご指摘のスレの場合、たまたま371番目のレスが名前欄が60-で始まるIPアドレスになっており
最長一致のためここを$1であると解釈してしまったようです。
（プレビュー欄を見ても371番目のレス番が60になっている）

まあ難しい部分で仕方ないかなと思います。
496：663 ◆fnwcOWFi56：2007/10/22(月) 18:56:34: なるほど、疑問氷解です。
ありがとうございました。
497：＜削除＞：＜削除＞: ＜削除＞
498：663 ◆fnwcOWFi56：2007/11/18(日) 12:48:15: 要望ばかりで何ですが
また要望です

透明あぼーんされたレスの箇所を
わかるような形でdat化出来るようにして頂く事は出来ないでしょうか。

例を出すと

http://www.geocities.jp/futasuke5/bbs/1061523335_part1

この↑スレッドですが「read.cgi.7.00?」でdat化できますが
設置された方が荒らしレスを削除してアップしているようです。（例えばレス54など）

ですので
もしレス番で欠けているものがあったら
例えばその箇所に

「あぼーん<>あぼーん<>あぼーん<>あぼーん<>」

等を置換（?)出来るようにして頂けたら有り難いです。
失礼しました。
499： ◆/vmukiyuzw：2007/11/18(日) 22:02:05: >>498
（「面倒だと思われるのでしたらいいです」ということですので）
多少面倒なんで、気が向いたらそのうちという事にさせてください。

「jbbs過去ログ」とか利用されている方は結構こういう経験されて
いるかなとも思うのでそちら方面からニーズが出てきたらまた考えます。
500：名無しさん：2008/01/03(木) 12:04:49: 年始から失礼します。今年もよろしくお願いします。
http://makimo.to:8000/i/d.cgi/livebase/2ch.net/live24/1187671540/
http://makimo.to:8000/i/d.cgi/livebase/2ch.net/live24/1187693406/

こいつをdatにするには、どうしたらいいでしょうか。
501： ◆/vmukiyuzw：2008/01/04(金) 00:23:31: >>500さん
これは私よりも 663 ◆fnwcOWFi56さんの領域ではないかと。
で、こちらで考えてくださっているのでご確認ください。
http://yy14.kakiko.com/test/read.cgi/mirror/1186175383/412-
502： ◆/vmukiyuzw：2008/01/04(金) 21:59:51: >>http://jbbs.livedoor.jp/bbs/read.cgi/computer/21256/1164941934/521

きっちり線引きなんてできないとは思いますが
少なくともミラー変換機で取得できる範囲に関しては
私より663さんのほうが優れてると思います。
今回の500の質問についても、調べようと思ったら
663さんの板ですでに回答出てましたし。
ご自分で見つけられたミラーなので、私より先に
正規表現等考えられてるケースが大半です。

本来の私の領域はというとやはりニッチなとこです。
もともと個人的なまとめサイトあたりをターゲットに
してましたから。
503：名無しさん：2008/01/21(月) 04:19:56: 初めまして。便利なツールでよく使わせて貰ってます。
早速ですが質問です。
http://fllaykunan.run.buttobi.net/kakolog/index.html
なるところがありまして、比較的新しいところ
http://fllaykunan.run.buttobi.net/kakolog/M003.html
については「read.cgi7.00？」で変換可能なのですが、
古めの
http://fllaykunan.run.buttobi.net/kakolog/1001.html
http://fllaykunan.run.buttobi.net/kakolog/1012.html
などが変換できません。
名前欄やメール欄、日付の形式などの書き方が違うせいだと思われますが、
このような場合の変換式はどうなるのでしょうか？
よろしくお願いします。
504： ◆/vmukiyuzw：2008/01/22(火) 01:25:27: >>503さん

正規表現：
m#<DT><A.+?>([0-9]+).+?(.*)\[(.*?)\] ：(.*?)<DD> (.*)(:? |<font)#mik
変換結果式：
$2<>$3<>$4<>$5<> （←「メール欄逆転」）

このHTMLはDAT2HTMLでJane風のスキン（メール欄が[ ]で見える）を被せて
変換したもののように思えます。
たぶんこのサイトでメール欄が名前欄の後に [sage] とかなってるスレには
ほぼ適用できるかもです（保証はしませんが）。

あと1001.htmlは最後の１レスがちょっと変ですがこれは元からそうなので
ご容赦ください。
（この１レスをそれなりに処理するためだけに正規表現の最後に|<fontを入れました）
505：503：2008/01/22(火) 04:23:46: >>504
とても迅速な対応ありがとうございました。
おかげさまで無事変換できました。
506： ◆/vmukiyuzw：2008/01/27(日) 02:54:10: 外部コマンド Part6
http://jane.s28.xrea.com/test/read.cgi/bbs/1200747725/103

htmltodatのレス１からdatファイル名を算出する機能がもしかしたら使えるかなと思って
試してみたのですが、出てきたのは微妙に違うスレ番号。
htmltodatのバグかも知れないと思い調べてみたのですが、よくよく見ると
レス１の投稿日の日時とJaneで表示されるsince（スレ立て日時）がぜんぜん違います。
他にもいくつかのスレを見てみましたがどれも違っている模様。

なぜこういう現象が起きるのかはわかりませんが、少なくとも「Jane総合掲示板」では、
レス１の投稿日時とdatのスレ番号は一致するとは限らない（というか基本的に
一致しないのか？）ようです。

まあ外部板ですしそういうことがあっても仕方ないのかもしれません。
ということでhtmltodatとしても外部板ではこの機能（レス１からdatファイル名を算出する機能）
は保証しません、と言うしかないです（うまくいく外部板もあるかもしれませんが）。
507：名無しさん：2008/02/19(火) 04:47:53: 初めまして、お世話になります
dat2Xhtmlからのdat化は可能でしょうか？
具体的には以下のスレッドをdat化したいのですが
正規表現がわかりません

http://www10.atwiki.jp/pv-3?cmd=upload&act=open&pageid=15&file=1152788885.html

Jane Doe Style 2.76
508： ◆/vmukiyuzw：2008/02/19(火) 21:53:17: >>507さん
dat2XHTMLというのは寡聞にして知りませんでした。
Macもサポートしてるのかと思って見てみたらJavaで作られてるようですね。
いつ頃作られたのだろう？なかなか興味深い。

ともあれ、HTMLの形式としては比較的シンプルなように見えたのでやってみたのですが
レス番ポップアップ機能を使えるようにするためにレス本文中に若干余計なものが入っており
それを取り除くのに若干前処理が必要となりました。

正規表現：
m#<div>([0-9]+)<a id.+?(.*?)(?:　?＆lt;(.*?)＆gt; ?)? ： ?(.*?)</div><div class="res">(.*) </div>#mik
※↑ブラウザの表示の関係で化けてしまうので２箇所の全角アンパサント（＆）は半角に変えてください
前処理：
s#<a href="\#res.*?"resClear">##igk
変換結果式：
$2<>$3<>$4<>$5<> （←メール欄逆転）
509：507：2008/02/20(水) 02:24:06: 無事dat変換に成功しJaneで認識できました。
ありがとうございました！
510：名無しさん：2008/03/08(土) 17:15:38: はじめまして。
変換方法read.cgi7.00？でdatファイルを作りました。
変換方法は、そのスレで聞いて選びました。
ギコナビVersion ﾊﾞﾀ56(1.56.2.724)<IE>6.0.2800.1106
のログフォルダにそのdatファイルを入れると、
取得したログは1001で、1001まで読むことが出来るのですが、
なぜかギコナビのカウント数が違う数字で出ます。
中にはカウント0の物もあります。もちろん1001までログはあるので読めるのですが、
読めるのだから問題なければいいのですが、そのうちカウント数のログまでしか読めなくなる……
なんて事にはならないか心配です。

もしかしたら、>>85さんと症状が似てるのかもしれませんが、
再起動しても変わりませんでした。

だれか、教えてください。
511： ◆/vmukiyuzw：2008/03/08(土) 23:32:08: >>510さん
もしdat変換が正しくできているのであればこれはhtmltodatの問題ではなく
ギコナビ側の問題になると思うのですが・・・

私自身ギコナビを常用していないのではっきりしたことはいえないのですが
カウント数が違うとかいうのは既得のログがありそれに上書きしたような
状況じゃないんでしょうか。であれば.idxファイルとの不整合が出ていることが
考えられます。（どうすれば整合性が戻せるのかはわかりませんが）

> そのうちカウント数のログまでしか読めなくなる……
そのようなことは考えにくいので実害がなければ気にしないのが一番ですかね。
もしどうしても気になるならギコナビのスレで聞かれたほうがいいかもしれません。
512：510：2008/03/09(日) 14:05:57: >>511さんありがとうございます。
おっしゃるとおり既得のログがあって、先に削除してから貼り付けたのですが
なぜかもともと持ってたカウント数のままでした。
ログが消えることが無いようでしたら、このままでいいかなと思ってます。
ありがとうございました。
513：名無しさん：2008/03/14(金) 03:26:06: これらのスレをdatで欲しいのですがどのような正規表現や加工を行えばよいのでしょうか？

http://x96.s35.xrea.com/log34/1.html
http://x96.s35.xrea.com/log23/1.html

ご教示よろしくお願いします

Jane Doe Style 2.7.6.0
htmltodat 0.8.13
514： ◆/vmukiyuzw：2008/03/14(金) 20:07:11: >>513さん

正規表現：
m#<dt><a name.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)</dt><dd> (.*?) </dd>#mik

しかしこれはどうやってHTML化したものか、微妙に独特な代物で出所が気になります。
結果吐かれるHTML自体はシンプルなんで正規表現を書くのは簡単でしたが。
515：名無しさん：2008/03/15(土) 01:38:21: >>514
ありがとうございました。
無事変換できました。
516：名無しさん：2008/03/19(水) 15:51:39: 2chではないのですが、このタイプの変換はできますでしょうか？
ttp://www.alfheim.jp/~narikiri/narikiri/TheSun/kako/1120/1120999050.html

ヨロシクお願いします。
517： ◆/vmukiyuzw：2008/03/19(水) 23:02:15: >>516さん
なりきり太陽板の過去ログですか。
HTMLの形式自体はシンプルなのですがこれまた微妙にタグの位置とかが他と異なり
既存の正規表現を使い回すことはできませんでした。

m#<dt>([0-9]+).+?(?:<a href="mailto:(.+?) ">)?(.+?) (?:|</a>) 投稿日：(.*?)<dd> (.*?) </dt>#mik
518：名無しさん：2008/03/19(水) 23:28:37: >>517
ありがとうございました。
無事変換できました。
519：名無しさん：2008/03/20(木) 14:44:28: 何度やってもエラーを吐かれてしまうのですが、
これを変換するにはどうしたらよいのでしょう？
よろしくお願いします。
http://rejec.net/~boc/log/1086253475.html
520： ◆/vmukiyuzw：2008/03/21(金) 01:33:22: >>519さん
正規表現：
m#<dt>([0-9]+).+?(.+?)(?:\[(.*?)\]) ：(.*?)<dd>(.*) #mik
変換結果式：
$2<>$3<>$4<>$5<> （←メール欄逆転）

これはDAT2HTMLにスキンをかぶせてHTML化したものかな？あんま自信はないですが。

しかし見た目は変わらないのに微妙に形式が異なるHTMLがいろいろあってなんだかなあと
ちょっと思ってしまいます。まあもともとそういうのに対応するために作ったソフトなんで
仕方ないかなというところはあるのですが。

あと、できればage書き込みはやめていただきたいです（板TOPにくると業者さんの無差別
書き込みに合う可能性が高いようなので）。ageなくとも専ブラでチェックしてますんで。
521：名無しさん：2008/03/22(土) 17:35:44: >>520
ageてしまい申し訳ございませんでした。
無事変換できました。ありがとうございます。

こちらもお願いできませんでしょうか。
http://rejec.net/~boc/log/1084808536.html
どうやらmailtoに全角文字が入ってるところから表示がおかしくなっているようなのですが・・・。
522： ◆/vmukiyuzw：2008/03/23(日) 00:19:10: >>521さん
正規表現「DAT2HTML0.26」に少し問題がありました。
確かに仰るとおりmailtoに全角文字が入ってるとこがおかしくなるので
まさか正規表現エンジンのバグかと思い焦ったのですが・・・
よく見ると、DAT2HTMLの仕様なのか、mailto欄の長さにより日付欄の前の改行位置が
まちまちになり、その影響で半角スペースが余分に付加されてマッチしなくなってたようです。

m#<DT>(?:<A.*?>)?([0-9]+).+?(?:<A href="mailto:(.+?)">)?(.*?)(?:</A>|) *?：(.*?)<DD>(.*) #mik
↑
「DAT2HTML0.26」から変えた部分は、日付欄にマッチさせる「：(.*?)<DD>」の前の
半角スペースに「*?」を足したとこです。
（今までの「DAT2HTML0.26」とも互換性はあると思います）

あと、ageの件はスレに強制sageというものが設定できることがわかり早速設定したので
今後は気にしなくていいです。
# て早速業者さん来てるし（笑
523：名無しさん：2008/03/23(日) 02:15:28: >>522
全角が問題ではなかったんですね。
どうもありがとうございました。
524： ◆/vmukiyuzw：2008/03/23(日) 02:43:25: あー、勘違いだったかも
DAT2HTMLの仕様ではなく、DAT2HTMLでUPされたHTMLを
（多分）IEでダウンロードして、それを再度アップロードしたもののようです。
余分な半角スペースはIEダウンロードの時点で付加されたものかと。
まったく（何度も書いてますが）いらんことをしてくれるものですなぁ・・・。
525：名無しさん：2008/03/31(月) 21:45:45: ttp://yb9-c25.hp.infoseek.co.jp/log/tamura6.html
ttp://yb9-c25.hp.infoseek.co.jp/log/tamura3.html
ttp://yb9-c25.hp.infoseek.co.jp/log/tamura4.html

上記スレを変換するにはどうしたらよいのでしょう？
よろしくお願いします。
526： ◆/vmukiyuzw：2008/04/01(火) 00:33:17: >>525さん

m#<DT>([0-9]+).+?(?:"mailto:(.+?)">)?(.*?)(?:</a>)?.*?投稿日： ?(.*?)<DD>(.*) #mik

これまたどうやってHTML化したものか独特な代物です。
形式自体はシンプルなので他の正規表現が流用できないかと思ったのですが
微妙に形式が合わず、結局別の正規表現を書いたほうが早かったです。

あと、これらのHTMLにはスレタイの情報がどこにもありません。
自力でdatに書き足すか、情報ファイルに書き足すかしてください。
（datに書き足すなら、スレ一行目の一番最後に書き足す）
527：名無しさん：2008/04/01(火) 00:40:34: >>526
自分でも正規表現をかけると良いのですが、
どうも切り出し方がよくわからずにたよってしまいます。

ありがとうございました。
528：名無しさん：2008/04/14(月) 21:16:59: http://www6.atpages.jp/puyopuyokaku/%83%8d%83O/%82Ղ%e6%82Ղ%e6%82Ƃ%a9%95`%82%ad12.html
このようなスレでは無理でしょうか？
よろしくお願いします。

Jane Doe Style 2.7.7.0
htmltodat 0.8.13
529：名無しさん：2008/04/14(月) 21:25:04: http://www6.atpages.jp/puyopuyokaku/%83%8d%83O/%82?%e6%82?%e6%82?%a9%95`%82%ad12.html

こっちでした。すみません
530：名無しさん：2008/04/14(月) 21:30:45: 上手く表示されないようです。
何度もすみません。

http://www9.atwiki.jp/puyopuyokaku/pages/38.html

ここにある過去ログです。
よろしくお願いします。
531： ◆/vmukiyuzw：2008/04/15(火) 23:59:19: >>530さん
なぜか11スレ目だけ形式が違いますね。あとはこんなんでいけるかと

m#<a href="menu:.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+)(?:</a>|).*?(.*?)</div><div class="mes">(.*?)</div>#mik

11スレ目はなんかちょっと面倒そうなので考えます。
532： ◆/vmukiyuzw：2008/04/16(水) 23:11:53: 11スレ目のみ
正規表現：
m#<dt.*?><a.*?><font.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.*)(?:|</a>) ?：(.*?)<dd id.*?>(.*?) (<a *?id.*?>|</dd>)#mi

後処理：
s#<A onmouseover.+>##gik

本文中にレスアンカーがあると<A onmouseover～が入ってくるので
これを取り除くのに後処理が必要になりました。
（というか前処理でもいいはずなんですがうまくいかなくて手こずりました。
なぜうまくいかないのかわかりません・・・）

いずれにせよ、<!-- saved from～>タグが２つもあったりして流浪の末に
できたHTMLなんだろうと。出所を解明する気にもなれないです。
533： ◆/vmukiyuzw：2008/04/16(水) 23:49:41: あー後処理間違えた～

s#<A onmouseover.+?>##gik

ボケてました。失礼。
534： ◆/vmukiyuzw：2008/04/17(木) 02:30:11: 前処理でも対処できる方法を見つけました

s#<A onmouseover(.|\n)+?>##gik

しかしなぜ.（ドット）は改行（\n）にマッチしてくれないのか
オプションのmを使ってもうまくいかないようだし
535： ◆/vmukiyuzw：2008/04/17(木) 02:56:11: さらに修正
s#<A( |\n)*?onmouseover(.|\n)+?>##gik

あと、<img ～>（画像）があるんだけどどうしよう。
ブラウザによって扱いが違うだろうしとりあえず
放置しますか。
536： ◆/vmukiyuzw：2008/04/17(木) 23:12:23: >>530さんへのレスがなんかごちゃごちゃしてきたのでまとめると

・11スレ目以外は>>531で多分OK

・11スレ目のみ

前処理：
s#<A( |\n)*?onmouseover(.|\n)+?>##gik

正規表現：
m#<dt.*?><a.*?><font.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.*)(?:|</a>) ?：(.*?)<dd id.*?>(.*?) (<a *?id.*?>|</dd>)#mi

但し11スレ目には<img ～>タグが存在するため使用する専ブラによっては
表示が変になる可能性あり

てなところで。
537：名無しさん：2008/04/25(金) 03:13:39: ttp://www.42ch.net/UploaderSmall/source/1209059921.dat

上記のような形式のスレを変換させるにはどうすれば良いでしょうか？
試行錯誤してみたものの[]内が空白になってしまったりと上手くいきませんでしたorz
538： ◆/vmukiyuzw：2008/04/25(金) 20:05:09: >>537さん

正規表現：
m#<DT><A.+?>([0-9]+).+?(.*)\[(.*?)\].*?：(.*?)<DD> (.*)(:? |<font)#mik
変換結果式：
$2<>$3<>$4<>$5<> （←「メール欄逆転」）

>>503-504の形式と似ているなあと思ったらやっぱりDAT2HTMLで変換したものでした。
>>504で書いた正規表現をちょっと修正して、かつ互換性が取れるようにしてみました。
これで同様のスキン適用のHTMLには使えるかも。

# スキン適用で変換したHTMLは、どのスキンを使用しているのか
# 例えばmetaタグとかで表記してくれていると個人的にはうれしいですな
539：537：2008/04/26(土) 01:16:22: >>538
素早い対応ありがとうございました。
あと537のは変換書式を少し弄ってJane風にしているだけでスキンは適用していないそうです。
540：名無しさん：2008/04/26(土) 21:54:49: >>536
わざわざ、ありがとうございます！助かりました！
541： ◆/vmukiyuzw：2008/04/26(土) 21:57:59: DAT2HTMLの最新版（0.35a）を落としてみましたが
変換書式の設定で
・メールアドレスを直接表示する（OpenJane方式）
・日付欄に「投稿日」の文字列を付加する
等のオプションがいつのまにか追加されてるようで
このへんを弄くると>>503とか>>537のようなHTMLになるようですね。

いずれにせよ大抵は>>538で対応可と思います。
（「メール欄逆転」が必須なのが多少うっとうしいですが）
イレギュラーなものが出てきたらまたその都度考えるしかないので・・・
542：名無しさん：2008/05/01(木) 17:44:15: 最新のregexps.txtまとめって無いのでしょうか？
このスレ読んでてもごちゃごちゃになってよくわかりません
543： ◆/vmukiyuzw：2008/05/01(木) 20:05:24: >>542さん
基本的に、regexps.txtには自分で必要なものを入れて使ってくださいというスタンスなので
おっしゃるような「まとめ」的なものは存在しないと思ってください。
そもそもデフォルトで添付してるものも「単なるサンプルです」とreadmeに明記してます。

regexps.txt自体は単なるデータなのでその内容は著作物の範囲外だという考えです。
実際私以外の方がこのスレに書き込んでくださっているケースがありますし。
544： ◆/vmukiyuzw：2008/06/05(木) 22:03:28: バージョンアップしました。(0.8.14)
　・変換オプションに「透明あぼーんを補う」を追加。
　・変換オプション「アンカー削除」で<a href～>形式のタグしか削除してなかった
　　のを<a ～>全般を削除するよう修正。

「透明あぼーんを補う」は、dat変換中にレス番号の飛びを検出したときに
変換結果のdatに「透明あぼーんかも」という行を自動的に必要な数だけ生成します。
ただ、レス番号の飛びの検出は正規表現が正しくない場合にも起こり得るので
警告ウィンドウは以前同様出すようにしています。本当に透明あぼーんなのか
どうかはHTMLソースと正規表現を見比べて確認してください。
また、プレビュー欄には自動生成された行を表示するのはあまり意味がないと思った
ので表示していません。

「アンカー削除」については<a href～>以外の形式もあるとのご指摘をうけ修正。
ただ、この処理はdat変換後に行っているので、前処理でaタグ関連の加工を行って
いる場合、完全にその代替にはならない場合がありますのでご容赦ください。
545：名無しさん：2008/06/18(水) 03:47:52: http://www.geocities.jp/f4cq4/erg_story/log/1128496422.html
http://www.geocities.jp/f4cq4/erg_story/log/1141041553.html
http://www.geocities.jp/f4cq4/erg_story/log/1161458665.html
http://www.geocities.jp/f4cq4/erg_story/log/1168569791.html
http://www.geocities.jp/f4cq4/erg_story/log/1186203273.html

これらの正規表現がよくわかりません
よろしくお願いします
546：名無しさん：2008/06/18(水) 16:18:27: ttp://ninjax.dreamhosters.com/hgame_hgame2/index.html
上記のサイトのログを変換するのに「なんだっけ…」が
一番まともに変換できたので、これを元に試行錯誤してみました
↓これで一応変換できたのですが、sageてないレスがうまく変換できません
m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(?:)?(.*?)(?:</A>)?.{6}(.*?)<DD>(.*) #mi
できれば理屈も教えて頂ければと思います
よろしくお願い致します
547： ◆/vmukiyuzw：2008/06/18(水) 21:57:45: >>545さん
１番目と４番目にはhtmlの形式に見覚えがありました。
>>531と同じ正規表現でいけるかと。

２，３，５番目は見たことない形式でした。
ほぼ同じ形式なのですが細かいとこが微妙に異なり
一発のパターンでマッチさせるのにやや手こずりました。

m#<dt><INDEX/>(?:<a .*?>)?([0-9]+).+?(?:"mailto:(.+?)">)?(.+)(?:</a>|)?.*?：(?:<DATEONLY/>(?:<a .*?">)?<COLORINGID.+?>)?(.*?)(?:</a>)?</dt><dd>(.*?) </dd>#mik

なお２番目と３番目には「投稿日」の情報がそもそも含まれてませんので
dat変換しても表示させることは出来ません。
548： ◆/vmukiyuzw：2008/06/18(水) 23:26:56: >>546さん
まず、投稿日欄の前の.{6}が問題です。
sage（というかメール欄の有無）がある場合とない場合では、名前欄の後のの後が
</a>になるかになるか変わって来ますので、ここの文字数を固定するとまずいです。
推奨としては(?:</a>|)：
（</a>かのどちらかがあってその後に：（全角セミコロン）がくるものにマッチ）
がよいのではないかと。

あと、名前欄の部分の(?:)? ですが、トリップありの名前にマッチさせようというのだと思いますが
トリップの前のが消えてしまうと本当のトリップかどうか表示上わからなくなり困るのではと思います。
また、必ずしも名前欄の先頭からトリップが書かれるとは限りませんし。先にコテハンを書くような人もいるでしょう。
（この場合コテハントリップみたいになると思います）
で、名前欄へのマッチパターンの推奨としてはシンプルに(.*) ←最長一致にする（*に?をつけない）のがミソ
# 実は単純に最長一致ではまずいケースもあるのですが説明長くなってしまうので省略

とこの辺まで書いてきてふと試してみると、あれ？既存の「DAT2HTML0.26」で変換できるような・・・
いやご自分で試行錯誤されたことは決して無駄にはならないと思いますが。
549：名無しさん：2008/06/19(木) 00:05:04: >>547
ありがとうございました
残りはp2datやo2onなどを使用して補完したいと思います
550：546：2008/06/19(木) 09:45:42: >>548
た、確かに「DAT2HTML0.26」で変換できました
て言うか「jbbs過去ログ」でもできるみたいです
確か、上から順番にやって「read.cgi7.00？」で「応答なし」になって強制終了
次に下からやって「DAT2HTML0.26その２」までやって「1行が長すぎるか...」になったので
あきらめてしまっていたようです
大変申し訳ありませんでした
551：名無しさん：2008/06/20(金) 06:05:23: 暇つぶし2ch(mobile.seisyun.net)の正規表現よろしくお願いします
したらば(www)m#<DT>(?:<a .+?>)?([0-9]+).+?(?:mailto:(.+?)>)?(.*?(?:).*? (.*?) .+?<DD>(.*) #mi
はそれっぽいのですが不完全でした

http://mobile.seisyun.net/cgi/read.cgi/namidame/namidame_news_1202561507
552：663 ◆fnwcOWFi56：2008/06/20(金) 06:48:04: >>551さん
http://yy14.kakiko.com/test/read.cgi/mirror/1158402994/756n
でどうでしょうか。

ただ、今試してみると
名前の前に半角スペースが残っているみたいなので
気になる場合は正規表現を

m#<dt.*?>([0-9]+).+? ?(.+?)(?:|</a>)(?: mailto:(.+?))? \[(.*?)\]<dd> ?(.*?) (<dt.*?>|</dl>)#mi k

に変えてみてもいいかもです
553：名無しさん：2008/06/20(金) 07:18:40: 上手くいきました！ありがとうございます

今後、困ってる人が検索・抽出で見つけられる様にこちらにまとめますと
暇つぶし2ch（http://mobile.seisyun.net/）のdat化はこうですね

正規表現
m#<dt.*?>([0-9]+).+? ?(.+?)(?:|</a>)(?: mailto:(.+?))? \[(.*?)\]<dd> ?(.*?) (<dt.*?>|</dl>)#mi k
変換結果式
メール欄逆転
554： ◆/vmukiyuzw：2008/06/20(金) 20:33:08: # 皆様早起きですねえ

ところで、>>548で

> で、名前欄へのマッチパターンの推奨としてはシンプルに(.*) ←最長一致にする（*に?をつけない）のがミソ

とか書いちゃったんですが、実際には自分が書いてる正規表現では
最短一致を使ってました。実はあまり意識してなかったんですが。

なんで最短一致でもうまくいくか考えてみると。
例えば「DAT2HTML0.26」だと、マッチさせるhtml側のパターンは

名前</a>

もしくは

名前

のように、名前欄の後のの後にさらにマッチさせるべき要素が存在します。
で、これに対する正規表現としては

.*?(?:</a>|)

のようにすれば、たとえトリップ等で名前欄の途中に他のがあったとしても、
後続に</a>やがないので読み飛ばされて、正しく意図したにマッチしてくれる
ということのようです。

また、
・改行コードなしのベターっとしたhtmlの場合、最長一致だと破綻する
　（最近あまり見かけないですが、一時期のread.cgiがこういうhtmlを吐いていたんです。
　「read.cgi7.00？」の本文欄へのマッチが最短一致になっているのはそのためです）
・最長最短どちらでも適用可能な場合、処理コストは最短一致のほうが少ないはず
という考えもあります。

というわけで>>548での上記発言（最長一致を推奨）は撤回させてください。
555： ◆/vmukiyuzw：2008/06/20(金) 23:16:45: >>554
ちょっと間違えた

.*?(?:</a>|)
↓
(.*?)(?:</a>|)

名前欄へのマッチの話をしてるんで普通はこうですわな
556：名無しさん：2008/07/10(木) 14:16:13: すみません
Jane総合掲示板の外部コマンド Part7 (ttp://jane.s28.xrea.com/test/read.cgi/bbs/1212574864/)がNGワード設定のため書き込めず
またこちらのhtmltodatサポートスレッドに23ch.info用と明記されたレスが無いようなのでちょっと1レスお借りします

htmltodat 0.8.14の23ch.info変換
m#<dt.*?>([0-9]+).+?(?:"m☆ilto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)<dd> ?(.*?) (<dt.*?>|</dl>)#mi
557：名無しさん：2008/07/10(木) 22:30:06: 紙copiというスクラップソフトで2CHをスクラップ保存してhtml化したものをdatにしたいのですが
出来ますでしょうか？よろしくお願いします！
ファイルはここにあります
ttp://monkeyuploader.dyndns.org/Offering/mnkyup947.zip
558： ◆/vmukiyuzw：2008/07/11(金) 00:22:24: >>557
見たところレス番509の１レスだけのようですね。
私がこういうのもなんだかという気もしますが手で変換したほうが早いのではないか
と思います。

508までのdatをお持ちで、続きが欲しいということなら、どのみちエディタで
貼り合わせるしかないですし、このレスだけが欲しいということなら
そのレスがレス番1となるスレを作ることになります。

あと、正直言うと、１レスだけの変換だと、レス間を区切るセパレータとなるものが
何かわからないので、マッチする汎用的なパターンを読み取れないというのもあります。

ということで、願わくば自力で頑張って頂きたく。datの形式は

名前欄<>メール欄<>日時・ID欄<>本文<>スレタイ（※スレタイは基本的にはレス番１のみ）

正規表現を覚えるよりは簡単だと思いますが、エディタも使えないということなら
再度ご相談ください。
559：名無しさん：2008/07/11(金) 00:44:43: >>558
レスありがとうございます
これはほんの一例です。紙copiで作った100レスぐらいのスクラップもたくさんあるので
同じ設定で全てdat変換できると思い、少な目のスクラップをupしたという経緯です。

エディタは使ったことがないです。メモ帳でも出来るのであれば試してみようと思いますが
どの様に何をすればいいのかもわかりません。
お願いできますでしょうか?
もしくはやり方を教えていただけないでしょうか?
560： ◆/vmukiyuzw：2008/07/11(金) 00:56:40: >>559
100レスもあるとメモ帳では手に負えないですね。

サンプルとして出していただけるのなら、レス数が多いほうが有難いのです。
（レスのバリエーションも多く含まれますし）

またupしていただければ調べます。
561：名無しさん：2008/07/11(金) 21:13:12: ttp://monkeyuploader.dyndns.org/Offering/mnkyup955.zip
ちょっと順番が逆だったりごちゃ混ぜだったりするのもありました・・・

なんとか正規表現という技術でなんとかならないもででしょうか？
562： ◆/vmukiyuzw：2008/07/12(土) 22:28:34: >>561
うーむ、難しいですね～

というのは、datファイルというのはその構造上、各レスに「レス番」という項目が
ついているわけではないので、改行で何レス目かを判別しているわけです。
（これをhtmltodat側から見ると、datに変換する時点でレス番に関する情報は失われる、
という意味でもあります）
これが普通のhtmlならちゃんとレス番順に並んでいるので問題になることはないのですが、
レス１から始まってなかったり、レス番が飛んでたり、ましてやレス番が逆転してるような
htmlをdatに変換しても、2ch専用ブラウザで見たときに正しいレス番で読むことは
基本的には難しいわけです。
htmltodatではレス番が飛んでるケースには一応対応しましたが、レス番逆転には
対応していません。（というかこれはどうしようもない気が・・・）

というわけで、正規表現以前の問題で、upして頂いたこれらのhtmlを（専ブラで一応読める
まっとうなdatという意味で）datに変換するのはhtmltodatの機能としては無理です。

・・・と突き放してしまうのもあんまりなので・・・
あくまで「レス番にはこだわらなくてもいい」という条件の上で書いてみます。
（これがないと専ブラで読むメリットが相当なくなる気がしますが・・・）

サンプルで上げて頂いたものの中でもバリエーションがあって一発の正規表現でとは
いきませんでした。よって以下のものでも通用しないケースもあると思います。

・とわ ◆MeBa4xL9X.～
正規表現：
m#([0-9]+).+?：(.*?)\[(.*?)\].*?：(.+?)(.*?)(| TITLE:)#mik
変換結果式：
$2<>$3<>$4<>$5<> （←メール欄逆転）

・抜粋、輸送関係
正規表現：
m# (?:)?([0-9]+) 名前(?:：|:)(.*?)\[(.*?)\]　投稿日(?:：|:)(.+?) (.*?)( ([0-9]+) 名前(?:：|:)| TITLE:)#mik
変換結果式：上と同じ（メール欄逆転）
563：名無しさん：2008/07/13(日) 00:51:25: >>562
ありがとうございました！！
お手数お掛けしました。

dat作成してみたのですが、番号が1からの連番になってしまうのですね。
やはりどうしようもないみたいですね。

でも、いろいろと対策を考えていただいてありがとうございました！
564：名無しさん：2008/07/14(月) 02:15:03: ふたば(双葉)☆ちゃんねる
http://www.2chan.net/
の文字板の正規表現がわからないので教えて頂けませんか？
tmp1～tmp3が最もそれらしい動作をしたのですがエラーでした
スレ内検索はしたのですがもし過去レスに同内容の質問がありましたら申し訳ありません

ttp://www.2chan.net/test/read.cgi?bbs=ascii&key=1187933909
565： ◆/vmukiyuzw：2008/07/14(月) 23:16:26: >>564さん
ほとんど「read.cgi7.00？」と形式が同じでした。

m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?) ?">)?(.+?) ?(?:|</a>).*?：(.*?)<dd> ?(.*?) (<dt.*?>|</dl>|<table)#mik

投稿日欄の前に「投稿日：」という文字列がついているので
.*?：(.*?)<dd>としてマッチさせるようにしました。
（他の正規表現ではこれにマッチさせるために直接「投稿日：」とか書いちゃってる
ものもあるのですが、多分こちらのほうが汎用的なんで）

あと最後１レスにマッチさせるために「|<table」を最後に足したのと
細かいとこですが名前欄やメール欄の不要な半角スペースを削除した
くらいです。多分これまでの「read.cgi7.00？」とも互換性は保たれてると思います。
566： ◆/vmukiyuzw：2008/07/15(火) 00:14:22: というかそもそもこれは2ch互換板なのでは？
過去ログ化されたものはわかりませんが、現役のスレなら
Janeとかなら外部板に登録すればそのまま読めるような気がします。

>>564のスレは現役スレには見当たりませんし過去ログ倉庫にも
ないようですしいったい何者？詳しい方教えてください。
567：名無しさん：2008/07/15(火) 03:35:28: >>565-566
依頼者です。
ほとんど「read.cgi7.00？」だったそうですが、従来の物では全て×だったので助かりました。
ありがとうございます。

詳しい経緯は全くわからないのですが、いつものパターンだと、
1.スレ立て爆撃を喰らって強制dat落ち→dat落ち処理が追いついていない。
2.スレ立て爆撃を喰らって強制dat落ち→復旧処理が追いついていない。
3.運営さんが規約違反と判断した…が中途半端で放置。
4.鯖の不調(よくある)→人気の無い文字板に労力を割く時間は無い(よくある)→放置(よくある)。
(順不同)
あたりだと思います。
すみませんがここを読まれてるふたばに詳しい方、フォローお願いします。
568： ◆/vmukiyuzw：2008/07/16(水) 22:51:21: >>567
663 ◆fnwcOWFi56さんがご自分の板で補足してくださってます。

http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/34

> http://www.2chan.net/ascii/dat/1187933909.dat

でdatのまま取得できるようですね。
確かに、read.cgiで読んでいる以上、どっかにdatは存在していて
でも直接は読めない状況なのかなと思ってしまったのですが
直接読めるようですね。

ということでふたばでは>>564のようなケースではhtmltodatを介するよりも
URLを上のように変換してdatを取得したほうが楽かと思われます。
569：663 ◆fnwcOWFi56：2008/08/01(金) 20:17:50: 再び要望です。
長々と書いてしまいますごめんなさい

クラシックメニュー（http://c.2ch.net/）のスレッドは
dat落ちしても暫くは読めるようなので、これをdat化したいと思います。
で、色々考えてみました。

URL例
http://c.2ch.net/test/-.lcE-E0/gline/1165245437/1-
http://mirror.sarashi.com/htmltodat/1165245437.html

正規表現
m#<hr>(?:<form.+?>)?([0-9]+):(.+?) ((?:\d{2,4}|\d\d/\d\d).+?) +(?:\[(.+?)\] )? (.+?) +(<hr>)#mik

前処理
s#(<hr>)#\n$1#igk
s#<a href="/test.+?/(.+?)\+(.+?)">2chｶｺ</a>#http://$1/test/read.cgi/$2#igk
s#<a href="/test.+?/(.+?)/(.+?)">2chｽﾚ</a>#http://$server/test/read.cgi/$1/test/read.cgi/$2#igk
s#<a href=\d+(?:-\d+)?>＆gt;>(\d+(?:-\d+)?)</a>#＆gt;＆gt;$1#igk
s#<form.+?>##ik
s#(<hr>\d+:)((?:\d\d\d\d/)?\d\d/\d\d$.$)#$1$board $2#igk

$server
society6.2ch.net
$board
水先案名無い人

変換結果式
$2<>$4<>$3<>$5<>

後処理
s#((?:^|\n))(.*?)◆(.+?)<>#$1$2◆$3<>#igk
s#((?:^|\n).+?<>.*?<>[^<>]+? )([^ ]{8,9}●?<>)#$1ID:$2#igk
s#((?:^|\n).+?<>.*?<>[^<>]+? )(\?\?\?.?<>)#$1ID:$2#igk

いちおうこれでdat化出来るような感じなのですが
これをやっていてhtmltodatに要望したい件がありました。

c.2chでのレスアンカーのソースを見ると

<a href=1>＆gt;>1</a>
<a href=1-2>＆gt;>1-2</a>

のように、「＆gt;>xx」の形式で表示されているみたいで
それを「＆gt;＆gt;xx」にする為に前処理の４番目をつけてみたです。
これなのですが、>>30>>74>>78でおやりになられたように
htmltodatの内部で処理するようにして頂けないでしょうか。

「前処理で出来ているからいいじゃないか」と言われそうですが、
「『＆gt;\d+』の『＆』を半角に直して下さい」と注意書きするのは
何だかなと思ったもので。

よろしければ、御一考の程宜しくお願い致します。
570： ◆/vmukiyuzw：2008/08/02(土) 00:30:47: >>569
バージョンアップしました（0.8.15）
　・本文中に「＆gt;>x」(xは数字)の文字列があったら「＆gt;＆gt;x」に変換するよう
　　修正。（＆は実際は全て半角）

簡単だったので対応しました。
しかし半角アンパサントそのまま書けないのはめんどくさいですね。
571：663 ◆fnwcOWFi56：2008/08/02(土) 19:34:55: >>570
ありがとうございます
早速追記したです
http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/56
572： ◆/vmukiyuzw：2008/09/22(月) 22:07:53: バージョンアップしました（0.8.16）
　・HTML取得の際のUser-Agentを Monazilla/1.00～に修正。

一部のサイトで問題が出ているようなのでとりあえず修正。
副作用があれば元に戻すかもしれません。
573：名無しさん：2008/09/23(火) 21:38:20: 過去ログ倉庫＠BitTorrent情報局(仮）～ＰＣ～P2P関係　掲示板
http://jbbs.livedoor.jp/computer/31304/storage/
がdat変換できません　賢者様、正規表現を教えてください。
574： ◆/vmukiyuzw：2008/09/24(水) 00:22:36: >>573さん
正規表現「jbbs過去ログ」ていうのが使えるはずなんですがうまくいきませんでしたか？
変換できないURLを具体的に教えていだたけないかと。
575：名無しさん：2008/09/24(水) 00:29:21: >>574
正規表現「jbbs過去ログ」では、変換できませんでした。URLは、
http://jbbs.livedoor.jp/computer/31304/storage/1217046767.html
http://jbbs.livedoor.jp/computer/31304/storage/1218871430.html
の２つです。よろしくお願いします。
576：575：2008/09/24(水) 00:38:54: >>574さん
すみません変換できました「したらば（jbbs）」と勘違いしていました。
お騒がせしました。そして　ありがとうございました。ど～もです。
577： ◆/vmukiyuzw：2008/09/24(水) 00:47:19: >>575
おそらく、>>442-443で出ていた状況だと思います。
一応>>466で告知はしたんですがいちいち見てないかもですよね＾＾；
ということで>>443の正規表現に差し替えてみてください。
578：575：2008/09/24(水) 00:53:18: >>577
今試してみましたが、>>443では変換できませんでした。
でも、情報ありがとうございます。
579： ◆/vmukiyuzw：2008/09/24(水) 00:53:46: なんてオチだ・・・
すべっちゃいました＾＾；
580：575：2008/09/24(水) 01:11:21: >>579
いえいえ>>574のヒントが無ければ変換出来ませんでしたので　助かりましたど～もです。
581：名無しさん：2008/11/07(金) 07:07:15: ねとらぼ：2ちゃんねる型掲示板「megabbs」閉鎖　8年半、「無法化」のため - ITmedia News
ttp://www.itmedia.co.jp/news/articles/0811/05/news114.html
582：名無しさん：2009/01/25(日) 08:46:14: うんかー(http://unkar.jp/)向けの正規表現を教えていただけませんか？
一通り付属の物を試したのですが×でした

対象アドレス
http://unkar.jp/read/dubai.2ch.net/ghard/1231972881

よろしくお願いします
583： ◆/vmukiyuzw：2009/02/04(水) 22:51:16: >>582さん

ちょっと遅くなってしまいましたが。

これは http://www.geocities.jp/mirrorhenkan/ で検索された結果ですよね？
であれば検索結果のとこにdat化の方法として
663さんの掲示板へのリンクが載っていたはずです。

もう気づいて解決されてるかなとも思うのですが。
584：名無しさん：2009/04/25(土) 14:20:22: 暇つぶし2ch（http://mobile.seisyun.net/）の正規表現を教えて下さい。

対象アドレス
http://mobile.seisyun.net/cgi/read.cgi/gimpo/gimpo_kaden_1218941409

↓の2つと、デフォルトで一覧に載っている正規表現はエラーでした。

【その1】 http://yy14.kakiko.com/test/read.cgi/mirror/1158402994/756
正規表現
m#<dt.*?>([0-9]+).+?(.+?)(?:|</a>)(?: mailto:(.+?))? \[(.*?)\]<dd> ?(.*?) (<dt.*?>|</dl>)#mi
変換結果式
メール欄逆転

【その2】 >>553
正規表現
m#<dt.*?>([0-9]+).+? ?(.+?)(?:|</a>)(?: mailto:(.+?))? \[(.*?)\]<dd> ?(.*?) (<dt.*?>|</dl>)#mi k
変換結果式
メール欄逆転
585： ◆/vmukiyuzw：2009/04/25(土) 20:45:53: >>584さん
こちらでは【その１】でも【その２】でも変換できたようなのでどこが問題なのだか・・・
とりあえずどんなエラーになるのか教えてください。
あと環境（OS、htmltodatのバージョン等）も。
586：584：2009/04/26(日) 11:37:29: >>585
◆/vmukiyuzwさん
使用していたバージョンは最新のhtmltodat 0.8.16だったのですが、
0.86からの上書きバージョンアップをしていたもので、
自分で追加した正規表現とごっちゃになってしまいました。
私の単純なコピペミスだと思います。
フォルダごと削除し、新たに0.86をインストールをして
【その1】【その2】の両方を試しましたが問題無くdat保存が出来ました。
大変申し訳ありませんでした。
587：名無しさん：2009/12/24(木) 05:55:43: ローグ系のRPG　過去ログ
http://hobbit.s41.xrea.com/kako/rogue/

ここの変換が上手く行きません
DAT2HTML0.26でいけそうな気がするのですが。。。
htmltodat Ver 0.8.16使用
588： ◆/vmukiyuzw：2009/12/24(木) 22:54:24: >>587さん
正規表現
m#<DT><A.+?>([0-9]+).+?(.*)(?:)?\[(.*?)\].*?：(.*?)</dt><DD>(.*)</dd>#mik
変換結果式
$2<>$3<>$4<>$5<> （←メール欄逆転）

DAT2HTMLで変換したのは間違いなさそうだったんで>>504,>>538,>>541あたりを参考にしました。
ちょっとした違いですがDAT2HTMLのオプションの設定で違ってくるみたいです
589：名無しさん：2009/12/25(金) 02:20:47: >>588
上手くいきました！
ありがとうございます。
590：663 ◆fnwcOWFi56：2010/02/13(土) 13:44:58: お世話になっています。
早速ですが、自分の環境では下記URLがhtmltodat0.8.16では
「UTF-8 Unknown code」と出て読み込めないのですが
対処法はありますでしょうか。

http://2chlog.utf8art.com/archives/wmotenai_1232650438.html
591：名無しさん：2010/02/14(日) 14:41:29: http://2ch.ac.la/
このサイトの正規表現の記述を教えてください
592：名無しさん：2010/02/14(日) 14:42:04: ちなみにほしいログは
ttp://2ch.ac.la/read.php/comic/1189697654/
です
593： ◆/vmukiyuzw：2010/02/15(月) 19:07:30: >>590さん
（SJISに変換するため）UTF-8として正しいコードかチェックしてるんですが
そこのチェックに引っかかっちゃってる状態です。
別の手段でソースを見てみると一部のHTMLコメントがSJISで記述されており
これが引っかかってるようです。

さて、対応としては、読み込めないのはまずいので無理やりでも読み込めるように
しないといけない（不正なコードを何かに置き換える等）と思うのですが
該当部分のプログラムはネットで検索して見つかったものをそのままコピペしたもので
どう修正すればいいのかまだよくわかっていない状態ですので、研究含めて
多少時間がかかってしまうと思います。

お急ぎでしたら、firefoxで該当スレを表示させてソースを表示させると
SJIS変換された状態で表示してくれるので、HTMLソース欄へのコピペ等で
当面対処していただけないでしょうか。
594： ◆/vmukiyuzw：2010/02/15(月) 19:12:02: >>591さん

正規表現
m#([0-9]+).+?(.+?)(?: \[(.*?)\])? 投稿日:(.+?)<div class="plain">(.*?)</div> #mik

前処理
s#(<title.*?)@2ch大学: 過去ログ倉庫(</title>)#$1$2#ik
s#<script (.|\n|\r)*?</script>##igk
s#<noscript>(.|\n|\r)*?</noscript>##igk
s#<div style=.+?>\r\n##igk
s#<!-- Rakuten .+?>\r\n##igk
s#<img.*?>##igk
s#<a</a>.*?>##igk
s#<div class="center"><iframe .*?</iframe></div>##igk

変換結果式
$2<>$3<>$4<>$5<>（←メール欄逆転）

本文途中にバナー広告が入り込んじゃってるのを見落としてしまうところでした。
あと、HTML化の際のバグ？なのか、アンカータグがおかしなところがあってこれも
危うく見落としかけました（htmltodatとしてそこまでフォローすべきなのかと
一瞬考えてしまいましたが）。
595：名無しさん：2010/02/15(月) 19:38:50: >>594
ありがとうございます

すみませんが
一行が長すぎるせいか、正規表現が正しくないようです
とエラーが出て使えません

お願いします
596： ◆/vmukiyuzw：2010/02/15(月) 20:02:16: あああそうかnbspがコピペの段階で消えてしまうのか

正規表現
m#([0-9]+).+?(.+?)(?:＆nbsp;\[(.*?)\])?＆nbsp;投稿日:(.+?)<div class="plain">(.*?)</div> #mi

２箇所あるnbsp;の前の＆を半角に変えてからやってみてください。
597：663 ◆fnwcOWFi56：2010/02/15(月) 20:51:36: >>593
了解しました。
気長にお待ちしております。
598：名無しさん：2010/02/15(月) 21:10:01: >>596
ありがとうございました
感謝です
599： ◆/vmukiyuzw：2010/02/16(火) 19:20:39: バージョンアップしました（0.8.17）
　・文字コードUTF-8のHTMLに不正なUTF-8コードが含まれていた際エラーにしていた
　　のをエラーにならないよう修正。

>>593を受けての修正です。
単にエラーチェックを外しただけなのですが
不正なコードはSJIS変換の際に単に「???」と化けるだけで
とりあえず大きな問題ではなさそうなのでこれで済ませることにしました。
600：名無しさん：2010/02/16(火) 20:57:15: 乙です
601：663 ◆fnwcOWFi56：2010/02/17(水) 19:47:49: 更新ありがとうございます
読み込めるようになりました。
602： ◆/vmukiyuzw：2010/04/03(土) 03:13:22: >>http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/461

htmltodatでは本文（通常は$5）中のアンカータグ（<a ～>、</a>)をデフォルトで削除するようにしているのですが
以前、どこかのサイトでメール欄が$2と$3のどちらにもありえるサイトがあり、それに対応しようとすると
$5でなく$6が本文になってしまうため、$6のアンカータグも削除するように今はなっています。
よって最初にお書きになった正規表現の$6のアンカータグが内部的に削除されうまくいかなかったようです。

もう少し経緯を調べてみますが、修正した場合の副作用がまだ不明なので、現時点では$6内のアンカータグは
次のマッチには引き継がれない、ということにさせてください。
603： ◆/vmukiyuzw：2010/04/04(日) 00:26:23: ログを遡っていくと「どこかのサイト」って因縁の（？）にくちゃんねるでした。
v0.4.0のとき（>>209-210あたり参照）に修正したようです。もう５年も前なんですね。
604： ◆/vmukiyuzw：2010/06/20(日) 12:58:11: バージョンアップしました（0.8.18）
　・文字コード自動判別のロジックを若干見直し。
　　文字コードUTF-8のHTMLをSJISと判定してしまう不具合に対応した（つもり）。

ぱっと見は明らかにUTF-8なのに、バイトの範囲と組み合わせをチェックすると
SJISにも当てはまってしまう場合があります。

今までは、「どの文字コードの可能性が最も高いか」判定するために、HTML全文を
「SJIS」「EUC」「UTF-8」それぞれの規則で読んでみて、当てはまる文字の数を調べ
一番多く登場するコードを候補として選択するロジックになっていました。
ただ、文字数で判定すると１文字に３バイト使うUTF-8が若干不利となりSJISと誤判定
される原因となりえます。
そこで、文字数でなくバイト数で判定するよう変更してみました。
605： ◆/vmukiyuzw：2010/07/10(土) 23:53:19: >>http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/575
> それと、htmltodatに限った事ではないかもしれないですが
> 「～」のUTF-8→Shift_Jis変換がうまくいってないような。

昔Javaやってた頃にこれに悩まされたものです。Delphiでも出るのか・・・
「Shift-Jis」と単に呼ぶ場合と「CP932」と言われるもののの違いに起因する
問題だと思います。（「～」等はCP932でないと変換できない）

変換の方法として、自分の知る限りでは以下の２通りがあります。

A.Delphiネイティブの機能でUTF-8→SJIS変換する
　（実際には直接の変換はできないので途中Unicodeへの変換を経由する。
　これは関数等は用意されてないのでビット演算で自力で地道に変換する）

B.UTF-8をSJISに変換する関数（内部的にはWindows APIをコールしている）
　を利用する

どうみてもBの方法が簡単そうなのですが、Windows95以前では該当のAPIが
用意されていないということなので、htmltodatではAの方法を使っていました。
が、これはCP932への変換は対応してないようですね。

もう少し調べてみますがBの方法に変更を検討してみます。
Win95で使ってる人とかさすがにいないですよね・・・。
606：名無しさん：2010/07/16(金) 05:57:58: http://www.unkar.org/
こちらのサイト用の正規表現を教えていただけないでしょうか？

http://yy14.kakiko.com/test/read.cgi/mirror/1014655362/876
こちらの正規表現を使用したのですが、仕様が変わったのか上手くいきませんでした

dat化したいスレはこれです
http://www.unkar.org/read/academy6.2ch.net/whis/1263893134

よろしくお願いします。
607： ◆/vmukiyuzw：2010/07/16(金) 18:52:31: >>606
もう見られたかもしれませんが 663 ◆fnwcOWFi56 さんがご回答くださっているので
そちらをご参照ください。

http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/581
608：名無しさん：2010/07/23(金) 03:18:45: ありがとうございました
無事変換できました
609：名無しさん：2010/09/14(火) 20:03:49: ほ
610：名無しさん：2010/10/15(金) 16:19:02: ご存知かも知れませんが…

インフォシーク iswebライト終了のお知らせ - インフォシーク　ユーザサポートからのお知らせ - 楽天ブログ（Blog）
http://plaza.rakuten.co.jp/usersupport/diary/201008250000/
611： ◆/vmukiyuzw：2010/10/15(金) 20:50:47: >>610さん他
ご心配おかけしていたようで申し訳ありません。
とりあえずお引越ししました。

引越し先：http://mukiyu.g.ribbon.to/

結構やっつけ作業になってしまったので引越し先で何か問題が出るかもしれません。
そのときはここでご連絡ください。
612：名無しさん：2010/10/15(金) 23:36:25: >>611
乙です
613： ◆/vmukiyuzw：2010/12/05(日) 01:37:18: >>605
これに関して今日試してみたのですが（←遅い）、うまくいきませんでした。
やっぱり「～」は「?」に化けてしまいます。

ぐぐって調べてみたのですが（←これも遅い）、思ったより根の深い問題のようで・・・

「CP932」（コードページ932）をプログラム中で指定する方法が何かあるはず、と
たかをくくっていたのですが、検索してみると
「Delphi2009ではストリング型にコードページが指定できるようになりました」
な記事が・・・てことは私が使ってるDel6pesonalでは指定することはできないんじゃね？

・・・

なにか対応策はないのかまだ調べてみますが最悪どうしようもなければ
放置するかもしれません。
614：名無しさん：2010/12/28(火) 12:54:45: readme.txtにある$1～$5は正規表現中のどこを指しているのですか？
いったいどうやって$1～$5を取得しているのかreadmeを読んでもさっぱり分かりません。
615： ◆/vmukiyuzw：2010/12/28(火) 20:44:50: >>614さん
簡単に言うと、カッコでくくられた部分が順番に$1～の番号が振られます。
但し、「(?:」で始まるものは番号が振られません。
具体的には、regexps.txtにある「DAT2HTML0.26」を例にとって説明すると

m#<DT>(?:<A.*?>)?([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|) ?：(.*?)<DD>(.*) #mik

・最初のカッコ(?:<A.*?>) → <DT>の直後にある<A ～>にマッチ。これはグループ化したいためだけのカッコであり、番号を
振りたくないので(?:で始まります
・２番目のカッコ([0-9]+) → その直後にある数字の一回以上の繰り返し（レス番号）にマッチ、これが$1になります
・３番目のカッコ(?:<A HREF="mailto: → これも最初のカッコと同じ理由で(?:なので番号は振られません
・４番目のカッコ(.+?) → カッコが入れ子になってて若干分かりにくいかもしれませんがメール欄にマッチ、これが$2になります
（３番目のカッコの中なので実際には何にもマッチしない場合があるのですがその場合$2は空となります）
・５番目のカッコ(.*?) → との間にあるので名前欄にマッチ、これが$3になります
・６番目のカッコ(?:</A>|) → 名前欄のあとに</A>またはが来る、ここはメール欄が空かどうかによって
変わってくるのでor表現を使っています。or表現にしたいためだけのカッコなので(?:にして番号を振りません
・７番目のカッコ(.*?) → その後の：の次に投稿日・IDがくるのでそれにマッチ、これが$4になります
・８番目のカッコ(.*) → <DD>と の間にあるものが本文でそれにマッチ、これが$5になります

うわいざ文章で説明するとなると難しい～＾＾；
実際のHTMLと見比べながらだともっと分かりやすいかもしれません。

# 正規表現自体について書き出すとreadme程度では書ききれませんし
# ネット上にいくらでも解説があるので省略したのですが
616： ◆/vmukiyuzw：2010/12/28(火) 22:28:21: 補足というか蛇足に近いですけど一つだけ。

５番目のカッコ (.*?) の部分ですが、実は名前欄の中にはトリップ等で細字で表現するため
最後以外にが登場する場合があり、例えば私の名前なんかだと

 ◆/vmukiyuzw

となるんで、.*?の最短一致だと空になっちゃいそうに見えます。
でもそうならないのは、の後ろに(?:</A>|)を付けているおかげで、</A> または
 の並びになるまでマッチしないという、まあちょっとした小技？です。
他人の書いた正規表現なんてなかなか解読する気にならないでしょうが、参考のひとつになれば。
617：名無しさん：2010/12/29(水) 12:53:30: ありがとうございます。やっとなんとか理解できました。
mimizun.comに対応するテキトーな正規表現を書いてみましたので一応載せておきます。

m#<DT>([0-9]+).+?<font.*?>(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</a>)?(?:)：(.*?)<DD>(.*) #mi
618：名無しさん：2011/01/22(土) 09:57:06: unkar.orgにて以下の正規表現を試すのですが、"Sequence (?%c...) not recognized"と出ます。

m#<dt.*?>([0-9]+).*?(.*?)(?\[(.+?)\])?：(.*?)</dt><dd.*?> (.*?)</dd>#mi

なぜでしょう？

(?\[(.+?)\])?を(\[.+?\])?とすれば問題ないのですが、
できるなら[sage]の括弧を外したいので。

よろしくお願いいたします。
619： ◆/vmukiyuzw：2011/01/22(土) 17:39:28: >>618さん
(?の直後に\がきてるので「そんなシーケンス存在しないよ」と怒られてるのでは？
やりたいのは多分(?:じゃないんでしょうか。

なお、unkar.orgについては>>606-607も参照ください。
有名処の過去ログ保存サイトはたいてい 663 ◆fnwcOWFi56 さんが
自分のサイトで考えてくださっているのでそちらも参照されたほうがいいと思います。
（車輪の再発明になってしまう可能性が高いので）
620：名無しさん：2011/04/07(木) 14:11:28: 本日、初めてログ速のdat化を試みて
（663 ◆fnwcOWFi56 さんのところで探したけれど、よく分からなかったので）
気づいたことメモっときます。

・DAT2HTML0.26 で変換すると、1レス目を変換した後にエラー吐く。
　ログ速1レス目の直後に挿入されてる広告が引っかかってるらしい。
・2レス目以降のHTMLソースをコピペして DAT2HTML0.26 で変換すると、
　ID前後のHTMLタグが残るだけで、そのほかの部分は問題なく変換される。

自分は拾い損ねたレスだけHTMLソースをコピペ変換して済ませたけど、
前処理で広告スクリプトを削除できれば、
ログ速の変換はなんとかできそうな気がする、と言う報告でした。
621：名無しさん：2011/07/20(水) 07:23:26: http://jbbs.livedoor.jp/bbs/read.cgi/radio/14978/1290852881/

このスレのhtmldatのみが上手くいきません(regexps.txtは一通り試しました)
原因は
livedoor レンタル掲示板開発日誌 : したらば掲示板”投稿不具合についてお知らせ” - livedoor Blog（ブログ）
http://blog.livedoor.jp/bbsnews/archives/51199768.html
にあるとわかっているのですが…
アドバイス・解決策等を教えていただけませんか？
622： ◆/vmukiyuzw：2011/07/20(水) 22:19:46: >>621さん
それってしたらばの生ログをhtml→dat変換したいという話ですかね？
それならしたらばを直接読める専ブラを使えば・・・と思ったのですが
データ破損のせいなのか、したらばのrawmode.cgiの不具合なのか、
全てのレスを読み込めないようですね。
（FireFoxだと1000レスあるがJaneだと765レスまでしか読めない）

とりあえずやってみました。
HTMLの形式自体は素直なものなのですが
頭のほうに例によってガラガラがくっついていて変換の邪魔をしているようなので
これを適当に除いてみます。

変換オプション - 前処理：
#javascriptとstyleシート記述を全部取り除く
s#<script (.|\n)*?</script>##ig
s#<style (.|\n)*?</style>##ig

これを入れると正規表現は既存の「jbbs過去ログ」や「DAT2HTML0.26」等で
変換できるように当方ではなりました。
623：名無しさん：2011/07/20(水) 23:20:51: >>622
高速レスありがとうございまう
おかげで無事読み込めました
2010/11/30(火)同日を跨いだしたらばログがいくつか似た状況にあるので応用して使わせて頂きます
624：名無しさん：2011/07/22(金) 19:18:29: http://bbs.2ch2.net/admin/readkako.cgi?bbs=visualtanuki&q=1194&q2=1194398043
ここをdat化したいのですがどうやったらできるのですか?
625： ◆/vmukiyuzw：2011/07/22(金) 23:33:08: >>624さん

まず基本的な問題として、デフォルトのhtmltodatでは「403 Forbidden」エラーを食らって
ログ自体を読み込めないみたいですね。
この手の403エラーは大抵User-Agentではねられているケースがほとんどなので
適当に変更します。
htmltodatでUser-Agentを変更するには、ウィンドウの一番上にある「受信オプション」ボタンを
押して「HTTPヘッダの追加」欄に適当なUser-Agentヘッダを入力します。当方の例ですが

User-Agent: Mozilla/5.0

これで読み込めました。

あとはhtml→dat変換の正規表現ですが、htmlの形式自体は素直なのに、意外にもぴったりくる
既存の正規表現はないですね。
「read.cgi7.00？」を基にちょっと書き直してみました。多分書き直し前のものと互換性は保たれていると
思います。

m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>).*?：(.*?)<dd> ?(.*?) (<dt.*?>|</dl>)#mik
626：名無しさん：2011/07/24(日) 16:56:29: >>625
ありがとうございます
変換は成功したのですが、専用ブラウザで読み込むことができませんどうやったらできるようになりますか?
627： ◆/vmukiyuzw：2011/07/24(日) 20:07:27: >>626
それはお使いの専用ブラウザの種類によります。
Jane系ならスレ欄にdatファイルをD&Dするだけで取り込めますし
ギコナビのようにログフォルダにdatファイルを入れて再起動でいけるものもあります。
かちゅ～しゃなんかだと専用のツールが必要になるようです。
628：名無しさん：2011/08/03(水) 13:09:35: ログ速をdat化するにはどうすればいいかを教えてください
629： ◆/vmukiyuzw：2011/08/03(水) 20:42:56: >>628さん
ログ速に関しては
>>620さんも考えてくださってるし、663 ◆fnwcOWFi56 さんも自分の掲示板で
いろいろ考えてくださっているのですが、なかなか手ごわいみたいですね。

試しに適当なスレで663 ◆fnwcOWFi56 さんが考えてくださった正規表現を
試してみたのですが変換できませんでした。てことはhtmlの形式が一通りでなく
何パターンかあるのかもしれません。となると対応は一層困難になります。

現時点では私の手には追いかねるって感じですかね。時間がとれれば何とかなるかもしれませんが。
すでに取り組んだ人の成果を基に自力でなんとか頑張ってくださいとしか言えないです。
630：名無しさん：2011/08/04(木) 02:28:10: >>629
ありがとうございます
631：名無しさん：2011/08/05(金) 17:00:19: テレビジンのdat化の方法誰か知っている方いませんか?知っていれば教えてください
632： ◆/vmukiyuzw：2011/08/05(金) 20:50:19: >>631さん
663 ◆fnwcOWFi56 さんが以前に考えてくださっているようです。
http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/326
633：名無しさん：2011/08/17(水) 04:28:16: いつもお世話になっています
これをＤＡＴ化させることはできるでしょうか？
http://www.dotup.org/uploda/www.dotup.org1912892.txt.html
634： ◆/vmukiyuzw：2011/08/17(水) 20:37:28: >>633さん
ログからのリンク先を見てみると、過去ログ保管サイトというタイプのものではなく
ログ収集ツールのようなものみたいですね。

このログについてはたった3レスしかないのでhtmltodat使うよりもエディタでdat作ったほうが
早いような気がするのですが、一応考えてみました。ただサンプルが少なすぎるので
他のログについても適用可能かどうかはわかりません。

前処理：
# スレタイが普通とは違う形式で表現されているので修正
s#\t\t\t<input type="hidden" name="suretai" value="(.*?)">#<title>$1</title>#i
# ガラガラ除去
s#\t.*?(\r\n)##ig
# 日付とIDの間に邪魔なものがあるので取り除いておく
s#<a href="" onMouseover="javascript:w_res$'<b',.+?$;" onClick="javascript:ID_menu$'<b',.+?$; return false;" id=".+?">(ID:)</a>(.*?)#$1$2#ig

変換結果式：
$2<>$3<>$4<>$5<>
（↑メール欄逆転）

正規表現：
m#<a name=.+?><a href=.+?>([0-9]+).+?(.*?)\[(.*?)\].*?：(.*?)<div class="bo".+?>(.*?)</div>#mik
635：名無しさん：2011/08/17(水) 21:20:11: >>634
他のもすべて同じ形なので無事変換できました
ありがとうございます
636： ◆/vmukiyuzw：2011/08/18(木) 20:51:03: よく見てみたら気づいたのですが>>634の正規表現だと
トリップを囲むspanタグが取り除けてないですね。
まあ専ブラでの表示にはおそらく支障は出ないでしょうし
他のパターンでどうなるかサンプルが少なくてわからないので
当面これでよしとしますか。
637：635：2011/08/19(金) 02:58:09: 巡回ツールで自動作成されたものなのでレスの部分を除いてすべて同じ形でした
支障がないようなのであればこのままこれを使わせていただきます
638：名無しさん：2011/08/25(木) 19:18:10: >>632
この方法でやってみたのですが、失敗しました
639：名無しさん：2011/08/25(木) 19:29:45: >>638をもっと詳しく書きますと、
>>632の通りに変換すると、｢１行が長すぎるか、正規表現が正しくないようです｣というメッセージが出て、変換できません
640： ◆/vmukiyuzw：2011/08/26(金) 21:40:50: >>638さん
もう２年くらい前に考えられたものですしそこから形式が変わったのかもしれませんね。
htmlになっているものだとうまくいくようですがそうでないものはすでにログが消えててアクセスできません。

私はそこのサイトに詳しくないので通常のログ？にたどり着く方法がよくわかりません。
サンプルのURLをいくつか教えていただけるとなんとかできるかもしれません。
641：名無しさん：2011/08/27(土) 20:42:49: >>640
http://tvz.in/thread/ntv/1287017888/
642： ◆/vmukiyuzw：2011/08/28(日) 00:48:49: >>641
見てみましたが現在のhtmltodatでdat化するのはかなり難しそうですね。

htmlの形式自体はシンプルなので適用する正規表現を書くのは全然難しくなさそうなのですが
問題なのはレスアンカーしてるレスがレスアンカー元のレスの直後に並べ替えられていること。
（レス47の直後に129,167が来てる等）
これを単にdat変換しても本来のレス番と全然違うものになってしまいレス番ポップアップとかが
全く意味のないものになってしまいます。
それを正しく並べ替えるような機能は今のhtmltodatにはありません。

EXCELとか使える方なら何とかできる可能性はありますがそうでなければ自力で
変換前か後に自力で並べ替えるしかないと思います。
643： ◆/vmukiyuzw：2011/08/28(日) 00:55:54: 基本的に、一つのレスを一行のdatに変換することが基本機能なので
レスの順番を変えられても対応できないってことです。
あぼーんでレス番が飛ぶケースには一応対応したんですが逆転まではちょっと。
644：名無しさん：2011/08/28(日) 02:25:17: >>642
>>643
ありがとうございます
645：名無しさん：2011/08/28(日) 02:28:29: http://2chnull.info/r/liventv/1287017888/1-1001
このような場合も変換できません
http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/441
の通りにやってみたのですが、うまくいきません
646： ◆/vmukiyuzw：2011/08/28(日) 19:58:01: >>645さん
ログの形式が微妙に変更されてるようですね。
> http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/441
を基にちょっと修正してみました。

前処理：
s#<title.+?/title>##ik
# タイトルの表現形式が以下のように変更されている
s#<h1 id="title">(.+?)(\n|<a )#<title>$1</title>#ik
# 2ch外のサイトへのリンクが消えてしまう副作用があったため下のものに変更
#s#<a.+?>(h?ttp://\w+?\.(?:2ch\.net|bbspink\.com)/test/read.cgi/\w+?/\d+/?)</a> \[<a href=".+?">cache</a>\]#$1#igk
s#\[<a .+?>cache</a>\]##igk
# 「駄レス！」「良レス！」のマークを削除
s#<img src.+?>##igk
# トリップ等細字になるべき部分を補正
s###igk
s###igk

正規表現：
m#<dt>([0-9]+)：(?:)?(?:<a href='javascript:alert$"(.*?)"$;'.*?>)?(.+?)(?:</a>)?(?:)?：(.+?)</dt><dd>(.+?)</dd>#mik
647： ◆/vmukiyuzw：2011/08/28(日) 20:59:37: > s#<title.+?/title>##ik
> # タイトルの表現形式が以下のように変更されている
> s#<h1 id="title">(.+?)(\n|<a )#<title>$1</title>#ik

についてちょっと補足。

htmltodatでは、<title>と</title>タグで囲まれてる中をスレタイとして認識する仕様ですが、
このサイトのログの場合、<title>タグの中にスレタイとは別の記述がされており
他の部分に　<h1 id="title">スレタイ<a ～　みたいな形式でスレタイが表現されているので
（こういう過去ログ保存サイトではしばしば見かけられることです）、
まず１行目でスレタイが書かれてない偽の？<title>タグを削除してしまい
３行目で実際のスレタイが書かれてる部分を<title>タグの形に変換してしまうことにより
スレタイと認識させているわけです。
前処理では割と良く使われる方法なので参考になれば。
648： ◆/vmukiyuzw：2011/09/27(火) 22:42:30: http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/734
> あとここってURL見たらわかるように
> レス番が逆転表示されとりますがな
> htmltodatでこういうケースにも対応して頂けたら嬉しいです(私が）

このスレでも少し話が出てたので若干。（>>642)

htmltodat単独では現状無理ですし、今後また別のパターンが出てきたりして
いちいち対応する羽目になるのはいやなので手出しする気が起きないのですが
例えば変換オプション - 変換結果式で

$1<>$3<>$2<>$4<>$5

とかしてやると

1<>名無しさん<><>2001/02/09(金) 22:49<>～

みたいにレス番付きでdat化できます。
レス番があれば並べ替えはいろんな方法で可能ですからお好みの方法で
ゴニョゴニョしていただければいいのではないかと。

自分なら
・上の方法で作ったdatをエディタで読ませる
・<>をタブ文字に変換
・EXCELに貼り付け、レス番でソート
・レス番の列を削除
・エディタに貼り戻し、タブ文字を<>に再変換して保存

まあわざわざEXCEL通さなくてもdat形式のままでソートできるツールも
探せばありそうですけどね。
649： ◆/vmukiyuzw：2011/09/28(水) 19:32:31: >>648
また検証もせずに適当なことを書いてしまった・・・

> 自分なら
> ・上の方法で作ったdatをエディタで読ませる
> ・<>をタブ文字に変換
> ・EXCELに貼り付け、レス番でソート
> ・レス番の列を削除
> ・エディタに貼り戻し、タブ文字を<>に再変換して保存

上の手順ですが、EXCELのバージョンにもよるかもしれないですが
１セルに256文字以上1024文字以下の文字を入力すると
"#####～"と化けてしまうようなのです。
http://support.microsoft.com/kb/410234/ja
数式バーには正しい値が表示されるので見かけだけの問題かと思ったのですが
全体をコピーしてエディタに貼り付けると"#####～"のままコピーされてしまい
まずいことになります。

若干面倒ですがEXCELVBA使ってセルの内容をdatの形式に結合し
1行ずつテキストファイルに出力する方法のほうが良さそうです。
650： ◆/vmukiyuzw：2011/10/01(土) 23:27:31: しかしまあ単に文字列順でソートするのではダメで、第１フィールドを数値と認識して
ソートしないといけないんで単純にはいきませんね。

どのみちソート後に第一フィールドは切り捨てないと正常な形式のdatにはならないんで
数値ソートの出来るテキストエディタがあれば後処理も含め楽なんでしょうけど、ちょっと
検索したくらいでは見つからないですね。
（秀丸のマクロで数値ソートが出来るものがあったんですが遅すぎてイマイチでした）

コマンドベースのものならいろいろあるんですけどね。
windows標準のsortコマンドは文字列順しかできないのでダメですが、unix系の
sortコマンドならOKですし、他にも例えば
http://www.vector.co.jp/download/file/winnt/util/fh428840.html
とかフィールドを認識してかつ数値ソートができるので良さそうです。
第１フィールドを切り飛ばすのはsedあたりにつないでもらうとして。
s/^[0-9]+?<>//
651：名無しさん：2011/11/08(火) 20:38:15: http://logsoku.com/thread/yuzuru.2ch.net/mj/1279288588/を
変換方法を参考にｄａｔ化を試みたのですが、旨くいきませんでした。

正規表現や前後処理などどのようにすれば宜しいのでしょうか？
教えていただければ幸いです。
お願いいたします。
652： ◆/vmukiyuzw：2011/11/09(水) 20:35:32: >>651さん
logsoku.comについては663 ◆fnwcOWFi56 さんも以前自分の掲示板で考えてくださっているようですが
その時点からログの形式がかなり変更されているようです。
とりあえず考えてみました。

前処理：
# ガラガラを適当に除去
s###igk
s#<script .*?</script>##igk
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）
s#(ID:)<a href=.+?>(.+?)</a>(.*?)\[\d+.+?\]#$1$2$3#igk

正規表現：
m#<a name="(\d+)"></a>\s*(?:<a href="mailto:(.+?)">|)(.+?)(?:</a>|)\s*:\s*(.*?)\s*</dt>\s*<dd>\s*(.*?)\s* \s .*?</dd>#mik

htmlが変に加工されてスペースやタブがやたら挿入されているので\sを多用しています。
653： ◆/vmukiyuzw：2011/11/09(水) 20:43:23: >>652
ちょっと間違えた（あまり影響は無いと思いますが）

# ガラガラを適当に除去
s###igk
s#<script .*?</script>##igk
↓
# ガラガラを適当に除去
s###igk
s#<script (.|\n)*?</script>##igk
654：651：2011/11/10(木) 22:13:24: ◆/vmukiyuzwさん、教えていただきありがとうございます。
そして、御礼が遅くなりまして申し訳ありません。

無事に補完することが出来ました。
自分はどうもオリジナルでパラメータを組むのが不得意で．．．OTL

また困った時に、お力添えいただければ幸いです。
655：名無しさん：2012/01/23(月) 13:59:47: http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/769-773
で誘導先が違うようなのでこちらに来ました。

その８３なんですが
http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/769
の通りやっても「全然ヒットしないので正規表現が正しくないようです」
で変換できません。
htmltodat0.8.18を使わせて頂いております。
656： ◆/vmukiyuzw：2012/01/23(月) 21:04:40: >>655さん
http://yy14.kakiko.com/test/read.cgi/mirror/1213700846/769
の回答でほぼ正解だと思うのですが、ガラガラ除去がちょっと足りなくてエラーになってるようです。
前処理の最後に以下を付け加えてみてください。

s#<tr>.*?</tr>\n##igk

それから、変換後のメール欄にゴミが入ってしまうようなので、正規表現は以下のほうが良いと思います。
（１ヶ所半角スペースを足しただけですが）

m#<dt.+?><a name=".+?"></a>([0-9]+) (.+?) (.*?)((?:\d{2}|\d{4})/\d+/.+?)?</dt><dd.*?>(.+?)</dd>#mik

あと、元のレス（485-487）には書かれていて769では書き漏れされてるようですが

変換結果式
$2<>$3<>$4<>$5<>　（←メール欄逆転）

も必要ですね。

# ただ自分が見た限りではもともと2ch上ではメール欄が入ってるレスでも
# そのサイトに持ってきた時点でメール欄は消滅してしまうようです
# それならメール欄逆転とか使わない他の方法も考えられますが、元のアイデアを尊重しておきます
657：655：2012/01/23(月) 23:25:46: 変換できました。

>>656さん　本当にありがとう。<(_ _)>
658：657：2012/01/28(土) 20:46:17: >>657ではお世話になりました。<(_ _)>

また、その８３なのですが、http://4ch.viewerd.com/hgame2/1326818225で
「1行が長すぎるか、正規表現が正しくないようです」がでました。
1001まで変換はされているのですが、JANEで読むと、1001が
1001 名前：ここ壊れてます[] 投稿日：
になります。

htmltodatの正規表現の表示レスを1～1001　にすると「1行が長すぎるか～
は出ませんがやはり　1001 名前：ここ壊れてます[] 投稿日：
になります。
修正可能でしたらよろしくお願いします。
659： ◆/vmukiyuzw：2012/01/28(土) 22:41:40: >>658さん
まず、「1行が長すぎるか、～」のエラーが出るのは、スレ内容の前だけではなく後ろにも
ガラガラが多くて、1001までの変換は完了しているのにその後も残りのHTMLの変換を試みて
エラーになっちゃうようです。珍しいケースですがありえない話ではないですね。
変換自体は成功しているのでこのエラーは無視してもいいと思いますが、気になるようなら前処理に

s#<div class=.*?</div>\n##igk

とでも足せば消えると思います。（この辺はまあ適宜に）

あと1001が「ここ壊れてます」になるのは、そもそも元の正規表現が1001の形式にうまく対応できて
いないようです。>>655-656で挙げられたスレでも発生しているのでは？

ちょっと泥縄的対応ですが

m#<dt.+?><a name=".+?"></a>([0-9]+) (.+?) (.*?)((?:(?:\d{2}|\d{4})/\d+/)?.+?)</dt><dd.*?>(.+?)</dd>#mik

もしくはいっそ、現状（メール欄が存在していない）に合わせて無駄な部分を取っ払って

m#<dt.+?><a name=".+?"></a>([0-9]+) (.+?) ()(.*?)</dt><dd.*?>(.+?)</dd>#mik

とかでも多分問題ないと思います。
660：658：2012/01/29(日) 15:16:54: 「ここ壊れてます」出なくなりました。
◆/vmukiyuzwさん、本当にありがとう。<(_ _)>
ありがとう。<(_ _)>
661：名無しさん：2012/02/02(木) 14:16:11: 度々お世話になってます。

http://logsoku.com/thread/toki.2ch.net/kaden/1306858024/

その５６なのですが、「全然ヒットしないので正規表現が正しくないようです」
で変換できません。

それと、その１１５で結構ログ見つかるのですが、dat化が載っておらず
dat化できません。

よろしければ教えてくださいませ。
662： ◆/vmukiyuzw：2012/02/02(木) 21:48:42: >>661さん
まず「その５６」、というかlogsokuについては以前も質問が来てます。
>>652-653でどうでしょう。

ただ、>>659と同様の現象で、後ガラガラのせいで変換は成功するのに
「1行が長すぎるか、～」のエラーが出ちゃうようです。気になるようなら
前処理に

s#<tr (.|\n)*?</tr>##igk

とでも足してください。
663： ◆/vmukiyuzw：2012/02/02(木) 21:50:55: >>662続き
次に「その１１５」ですが、こういう場合できれば具体的なURLを書いて欲しいです。
（でないと「その○○」にログが存在するスレをこちらで探さないといけなくなるので）

まあ今回は
http://logsoku.com/thread/toki.2ch.net/kaden/1306858024/
に該当するログ
http://viva2ch.net/kaden/1306858024.html
が存在していましたので、これを調べてみました。

それから「その１１５」に関しては663さんの掲示板を見ても変換機に追加した経緯とかの
記述が見つからないようですね。ここで私が回答していいものかもわかりませんけど
質問された以上は考えてみました。

正規表現：
m#<a name="(\d+)">\d+</a>(.+?) \[(.*?)\](.+?) ? (.*?) #mik

前処理：
# 後ガラガラ除去（amazonを直接指定するのはイマイチだが・・・）
s#<li><a href.*?</li>##igk
s#<a href="http://www.amazon.*?</a>##igk
s#<img .*?>##igk
# これは不要かもしれないがブラウザによってはうまく動かない可能性があるので念のため
s# # #igk

変換結果式：
$2<>$3<>$4<>$5<> （←メール欄逆転）
664： ◆/vmukiyuzw：2012/02/02(木) 22:33:51: >>663
s#<a href="http://www.amazon.*?</a>##igk

これはさすがにあまりにヒドいので（あんまりないでしょうけどスレ内のリンクにヒットする
可能性がある）、以下に差し替えてください。

s#<a href="http://www\.amazon.*? title=.*?</a>##igk
665：661：2012/02/03(金) 02:35:09: ◆/vmukiyuzwさん、ありがとうございます。
JANEの設定ファイルが壊れてしまい、復旧中のため違うスレでやってみました。
（urlの件は失礼しました）

AviUtl総合スレッド71
2ch　　　　http://anago.2ch.net/test/read.cgi/software/1321370210/
その５６　 http://logsoku.com/thread/anago.2ch.net/software/1321370210/
その１１５：http://viva2ch.net/software/1321370210.html

その５６は改行が正しく変換されないようです。
その１１５は「fatal error」が出て変換されません。
エラーメッセージを閉じ、変換開始をしますとhtmltodatが落ちてしまいました。
666： ◆/vmukiyuzw：2012/02/03(金) 19:36:07: >>665さん

> その５６は改行が正しく変換されないようです。

専ブラが タグでの改行に対応していないと思われます。
（>>663で については言及していたのですが は見落としてました）
前処理で一括で変更してやればよいでしょう。

s# # #igk

> その１１５は「fatal error」が出て変換されません。

>>663でサンプルにしたのはIDのないスレで、IDのあるスレだとうまくいかないです。
（IDの前後にタグが付加されているため）
対処法はいろいろ考えられますがとりあえず単純には、前処理に以下を追加

s###igk
s## #igk
s###igk

で正規表現はちょっと変更

m#<a name="(\d+)">\d+</a>(.+?) \[(.*?)\](.+?) ? (.*?) #mik

これでIDの有無に関わらず変換できると思います。
667：665：2012/02/04(土) 00:33:12: ◆/vmukiyuzwさん、その５６、その１１５共に変換できました。
ありがとうございました。<(_ _)>
668：名無しさん：2012/02/26(日) 17:43:25: その１５２(bbspink板のみ)：ttp://adult-bbs.com/kilauea/hgame2/read/1324447162/
のdat変換教えてくださいませ。
669： ◆/vmukiyuzw：2012/02/26(日) 21:49:18: >>668さん
HTMLの形式はシンプルだしガラガラもほとんどないので悩むとこはなかったです。

正規表現：
m#(\d+?) :()(.*?) (.+?)\s*(.*?)\s*<hr />#mi

前処理：
# スレタイ補正
s#(<title>.*?) - アダルト無料掲示板(</title>)#$1$2#ik

しかし、名前欄の太字細字の区別とか、メール欄とかに頓着しないサイトが増えてるのかな？
正規表現書くときには簡単になるんでありがたいですが。
670：名無しさん：2012/02/27(月) 00:44:05: dat化できました。
◆/vmukiyuzwさん、いつもありがとう。<（_ _）>
671：名無しさん：2012/03/11(日) 08:51:03: >>652-653>>662を見た上で、logsoku.comの前処理＆正規表現をもう一度まとめ直していただけませんか？
よくわかりません(前処理・正規表現・後処理の使い方、datへの変換方法等のhtmltodatの基礎知識はわかります)
身勝手な依頼ですがお願いできないでしょうか？
672： ◆/vmukiyuzw：2012/03/11(日) 15:12:48: >>671さん

> >>652-653>>662を見た上で

これに加え>>666も考慮しておく必要がありますね。

まあ要は最初書いたもの（>>652）に前処理を一部差し替え＆追加していってるだけなんですけどね。

前処理：
# ガラガラを適当に除去
s###igk
s#<script (.|\n)*?</script>##igk
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）
s#(ID:)<a href=.+?>(.+?)</a>(.*?)\[\d+.+?\]#$1$2$3#igk
# 後ろガラガラの除去
s#<tr (.|\n)*?</tr>##igk
# タグに対応してない専ブラへの対応
s# # #igk

正規表現：
m#<a name="(\d+)"></a>\s*(?:<a href="mailto:(.+?)">|)(.+?)(?:</a>|)\s*:\s*(.*?)\s*</dt>\s*<dd>\s*(.*?)\s* \s .*?</dd>#mik
673：名無しさん：2012/03/11(日) 21:09:27: >>672
◆/vmukiyuzwさんありがとうございました！
logsoku.comは頻繁に見かけるので助かります！
674：名無しさん：2012/03/12(月) 18:30:52: >>673ですがギブです
以下が上手く変換できません
◆/vmukiyuzwさんの所では変換できてますでしょうか？(最初からURL貼れば良かった…後悔)

http://logsoku.com/thread/hayabusa.2ch.net/news4vip/1331380426/
675： ◆/vmukiyuzw：2012/03/12(月) 19:49:06: >>674
試してみましたがこちらでは問題なく変換できます。

「上手く変換できません」というのは何かエラーが出るのですか？
それとも変換結果が専ブラでちゃんと読めないとかの不正な状態ですか？
他のスレ（できれば別の板のログがいいんですが）でも同じ状況でしょうか？
676：名無しさん：2012/03/12(月) 20:29:55: エラーですね
unmatched () in regexp.
というエラーメッセージが出ます
[一括変換(B)][subject.txt作成(T)]の上は「前処理．．．」と表示されています
dat変換自体が上手く行われてない模様です

「http://logsoku.com/thread/」でググったスレをいくつか変換したのですがどれも結果は上記と同じです
http://logsoku.com/thread/hayabusa.2ch.net/livejupiter/1330100297/
http://logsoku.com/thread/hibari.2ch.net/news4vip/1311095829/
http://logsoku.com/thread/hatsukari.2ch.net/news/1305543291/
http://logsoku.com/thread/raicho.2ch.net/newsplus/1306742633/
677：名無しさん：2012/03/12(月) 20:35:42: >>675
自分のファイルをまとめました
おかしな点はありますか？
http://www.dotup.org/uploda/www.dotup.org2738708.zip.html
DLパス「htmldat」です　to入れ忘れました＾＾；
678： ◆/vmukiyuzw：2012/03/12(月) 20:39:46: >>676

> unmatched () in regexp.

ていうのは正規表現の文法エラーですよ。
>>672で書いたものを正しくコピーして貼り付けたのなら起き得ないはず。
もう一度そこからやり直してみてください。
679： ◆/vmukiyuzw：2012/03/12(月) 20:54:22: >>677
お使いの専ブラは何ですか？

前処理中の

# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
が
s#<img src="http://cdn.logsoku.com/%28img.2ch.net/ico/.+?)">#sssp://$1#igk

に、半角カッコが%28にエンコードされちゃってますね。これがエラーの原因です。
専ブラでなくIEとかでこのスレを表示してコピーしてみたら上手くいくかもしれません。
680：名無しさん：2012/03/12(月) 21:12:41: >>679
まず結果から「変換成功」です！
長々お付き合い下さり◆/vmukiyuzwさん本当にありがとうございました

ずっと>>678見てからおかしいなぁ？と思いながら何度も試してました
専ブラは、確固とした意志を持った上での「Jane Doe Style Version 2.78 (2.7.8.0)」です
いやーまさかURLエンコードされてたとは…＼(^o^)／
こりゃいつまで経っても変換できない訳だわ

多分ReplaceStr.txtの(恐らく自分で設定した)
//▽URL内の"("")"をエンコードしてURL化する
<rx2>(tp://[\w%&\--/=]*)$([\w%&\--/=]) $1%28$2 msg
<rx2>(tp://[\w%&\--/=]*)$([\w%&\--/=]) $1%29$2 msg
が原因っぽいのかな？かな？
681： ◆/vmukiyuzw：2012/03/12(月) 21:23:15: >>680
なるほどそういうことでしたか。
専ブラの種類によってはこういうエンコードしちゃうものがあるのかと思って
正規表現書く際には考慮しないといけないのかと一瞬思ってしまいました。
ReplaceStrですか～そこまでは考えなかったです。
682：名無しさん：2012/03/20(火) 02:33:42: その２７をhtmltodatで変換すると変換警告が出るのですがどうしたらいいでしょうか？
http://yy14.kakiko.com/test/read.cgi/mirror/1158402994/756n
の正規表現と変換結果式を設定して変換ボタンを押すと

変換警告
レス 15-17 の間が飛んでいます
レス 30-32 の間が飛んでいます
レス 45-47 の間が飛んでいます
レス 60-62 の間が飛んでいます
レス 75-77 の間が飛んでいます
レス 90-92 の間が飛んでいます
レス 105-107 の間が飛んでいます
レス 120-122 の間が飛んでいます
レス 135-137 の間が飛んでいます
レス 150-152 の間が飛んでいます
レス 165-167 の間が飛んでいます
レス 180-182 の間が飛んでいます
レス 195-197 の間が飛んでいます
レス 210-212 の間が飛んでいます
レス 225-227 の間が飛んでいます
レス 240-242 の間が飛んでいます
レス 255-257 の間が飛んでいます
レス 270-272 の間が飛んでいます
レス 285-287 の間が飛んでいます
レス 300-302 の間が飛んでいます
レス 315-317 の間が飛んでいます
レス 330-332 の間が飛んでいます
レス 345-347 の間が飛んでいます
レス 360-362 の間が飛んでいます
レス 375-377 の間が飛んでいます
レス 390-392 の間が飛んでいます
レス 405-407 の間が飛んでいます
レス 420-422 の間が飛んでいます
レス 435-437 の間が飛んでいます
レス 450-452 の間が飛んでいます
レス 465-467 の間が飛んでいます
レス 480-482 の間が飛んでいます
レス 495-497 の間が飛んでいます
レス 510-512 の間が飛んでいます
レス 525-527 の間が飛んでいます
レス 540-542 の間が飛んでいます
レス 555-557 の間が飛んでいます
レス 570-572 の間が飛んでいます
レス 585-587 の間が飛んでいます
レス 600-602 の間が飛んでいます
レス 615-617 の間が飛んでいます
レス 630-632 の間が飛んでいます
レス 645-647 の間が飛んでいます
レス 660-662 の間が飛んでいます
レス 675-677 の間が飛んでいます
レス 690-692 の間が飛んでいます
レス 705-707 の間が飛んでいます
レス 720-722 の間が飛んでいます
レス 735-737 の間が飛んでいます
レス 750-752 の間が飛んでいます
レス 765-767 の間が飛んでいます
レス 780-782 の間が飛んでいます
レス 795-797 の間が飛んでいます
レス 810-812 の間が飛んでいます
レス 825-827 の間が飛んでいます
レス 840-842 の間が飛んでいます
レス 855-857 の間が飛んでいます
レス 870-872 の間が飛んでいます
レス 885-887 の間が飛んでいます
レス 900-902 の間が飛んでいます
レス 915-917 の間が飛んでいます
レス 930-932 の間が飛んでいます
レス 945-947 の間が飛んでいます
レス 960-962 の間が飛んでいます
レス 975-977 の間が飛んでいます
レス 990-992 の間が飛んでいます

と言った感じになります。
変換したURLはhttp://yomi.mobi/read.cgi/awabi/awabi_tvd_1331986300/です。
683： ◆/vmukiyuzw：2012/03/20(火) 16:33:15: >>682さん
該当のスレをブラウザで表示して「～の間が飛んでいます」の番号と見比べるとわかるのですが
15レスごとにレスとレスの間にバナー広告が挟まれてますね。
これが邪魔をしてその直後のレスに正規表現がマッチしなくなったという状況のようです。

対処としては、前処理を使ってバナー広告の部分（ <script ～）を削除してしまうというのも
一つの方法ですが、正規表現を修正してマッチさせちゃうほうが簡単かな？
以下に修正してみてください。

m#<dt.*?>([0-9]+).+?(.+?)(?:|</a>)(?: mailto:(.+?))? \[(.*?)\]<dd> ?(.*?) (<dt.*?>|</dl>| <script)#mik

ところで上で変換テストをしていて気づいたのですが、別の問題点を発見してしまいました。
レス中にURLリンクが書き込まれていると、先頭の「http://」を勝手に（？）省略しちゃうようです。
（該当スレをブラウザで表示してよく見るとわかるはず）

この状態のままdatに変換して専ブラで読ませてもリンクであることを認識できずいろいろ不都合が
あると思われるので、補正したほうがよいでしょう。
前処理に以下を記述してください。

# 省略された「http://」を補う
s#<a href="http://yomi\.mobi/rjump/.*?>(.*?)</a>#http://$1#igk
684：名無しさん：2012/04/06(金) 16:13:27: お世話になります。

２ちゃんねるの国（その120）、具体的にはhttp://2chland.net/gcomic/1113225299.html
２ちゃんねるのエリート（その141）、具体的にはhttp://elite2ch.info/gcomic/1128762503.html

以上のスレを.dat化したいのですが、お力添えよろしくお願いします。
685： ◆/vmukiyuzw：2012/04/06(金) 20:28:56: >>684さん
説明の都合上まず「その１４１」 elite2ch.info の方からいきます。
実はこのサイト、自分は以前別のルートで見つけていて、ちょっと気になる点があったので
正規表現他を調べてメモっておいたものでした。

気になる点というのは、このサイトのHTMLにはレス番号（htmltodatでは$1でマッチさせるもの）
が存在せず、<ol><li>タグでレスに連番が振られているのです。
（<ol>タグの後の<li>タグは1からの連番として表示される）

これはhtmltodatでは想定していないことなので、どうしたものかと思いましたが、レス番号以外のもの
にマッチさせても仕方がないので、とりあえず$1をダミー（何にもマッチさせない）にしてみました。
プレビュー欄にレス番が表示されないという若干の不都合はありますが、dat変換自体は問題なく
できるようです。

正規表現：
m#<li>()(.*?) ?\[ ?(.*?) ?\] ?(.*?)\s* ?(.*?) ? #mi

前処理：
# 日付とIDの間に何かあると邪魔なので除去
s###igk
# レス中の不要なタグを除去
s###igk
s###igk
s###igk
s###igk
s#<img .*?>##igk
# タグに対応していない専ブラへの対応
s# # #igk
# 後ガラガラがいっぱいあるので地道に除去
s#\r\n\s*<a .*?</a>##igk
s#<object .*\r\n##igk
s#<param .*\r\n##igk
s#<embed .*\r\n##igk
s#<iframe .*\r\n##igk
s#<div .*\r\n##igk

変換結果式：
$2<>$3<>$4<>$5<>
（↑メール欄逆転）

次に「その１２０」 2chland.net ですが、HTMLソースを見てみると「その１４１」とそっくり。
正規表現他も上と共通でいけると思います。

（実際には細かい差異はあったのですが上の正規表現はその差分を吸収したものにしています。
前処理も「その１２０」には不要なものもあって多少冗長なのですが特に問題はないと思います）
686：684：2012/04/07(土) 11:40:20: >>685

◆/vmukiyuzwさま
早速の対応、ありがとうございました。

htmltodatにて.dat取得、専ブラ(Jane系)にて確認しました。
特に問題なさそうです！

またお力添え、よろしくお願いいたします。
687：名無しさん：2012/04/20(金) 15:07:46: ２ちゃんねろ(その１５５)より、
http://www.2channero.com/comic/1112437741/を
のスレを.dat化したいのですが、お力添えよろしくお願いします。

追記
ココのサイトは１００単位でスレを表示する使用になっているようです。
100スレずつでもかまいませんのでよろしくお願いいたします。
688： ◆/vmukiyuzw：2012/04/20(金) 20:34:03: >>687さん
HTMLの形式自体は<div>タグやタグで比較的きれいに構造化されているので
マッチする正規表現を書くのは難しくないです。
（タグが何の意味も成してないのは今のところ仕様かな？）

正規表現：
m#<div class='number'><span.*?>(\d+).*?(.*?)\[(.*?)\](?:投稿日)?：?(.*?).*?<div class='resc'.*?> ?(.*?)\s*</div>#mik

前処理：
# タイトルに余分なものがついてくるので補正
s#(<title>.*?) $\d+$【.*?】(</title>)#$1$2#ik

変換結果式：
$2<>$3<>$4<>$5<>
（↑メール欄逆転）

ちなみに100レスずつしか表示できないのは何とかならないか調べてみましたが
ちょっとわからなかったですね。
何とかお好みの手段でつなぎ合わせて一個のdatにして頂くしか仕方ないかと思います。
101以降のレスを変換しようとすると「レス番が飛んでいます」と変換警告がいちいち
出てきちゃいますが無視して問題ないと思います。

あと、URLをhttp://www.2channero.com/comic/1112437741/s1001/（1001以降表示）にすると
1002、1003のレスが（内容は空っぽですが）表示されます。これをこのままdat変換すると
当然1003レスまで変換されてしまいます。
1001到達以外のスレを調べてみましたがやはり2レスだけ余分に表示されるので、このサイトの
仕様のようですが、元の2chでのスレには存在していないものと思われます。
まあ単なるゴミなんで表示上邪魔な以外実害はないでしょうが、この余分な2レスを
取っ払いたければ、後処理で

s#<><><><>\s*##igk

とする方法があります。
ただ、datのつなぎ合わせにエディタを使うのならそこで<><><><>の行を手動で削除しちゃっても
いいでしょう。
もしくは「dat変換結果」ウィンドウ上で同様に<><><><>の行を削除してから保存する、
というのもあります。
689：名無しさん：2012/04/20(金) 21:52:06: ◆/vmukiyuzwさま

１００スレずつの表示の件まで調査までいただき、恐縮です。
仕様（先ほどは誤変換してしまいました、お恥ずかしい）に
関しても、１００１以降のスレに関しても了解しました。

地道に全てをdat化して、最後にエディタにて全てつなぎ合わせて、
完全構築したいと思います。

正直出来れば、自分で対応できればなぁと思うのですが．．．。OTL
初心者サイトも自分にあったものを見つけられず苦労しています。

わたしも含め、いつも質問者に丁寧に対応していただき感謝です。
690：名無しさん：2012/06/15(金) 15:24:44: http://logsoku.com/thread/kohada.2ch.net/gamestg/1338685324/

>>672を適用しても変換されませんでした。
何かやりかたを間違えているのでしょうか…？
691： ◆/vmukiyuzw：2012/06/15(金) 19:19:01: >>690さん
>>672の頃と比較すると、ガラガラの量が若干増えていて取り除ききれなくなってるようです。
これはまあイタチごっこみたいなもんなんで（サイト側は見栄えや使い勝手を改善しようとして
やってるんでしょうから）地道に対処していくしかないです。
とりあえずですが前処理に以下を追記してみてください。

s#<div (.|\n)*?</div>##igk

もう一度ログ速（logsoku.com）について現状をまとめ直しておくと、以下のようになると思います。
（言うまでもないかもしれませんが今後も変更の可能性がもちろんあります）

前処理：
# ガラガラを適当に除去
s###igk
s#<script (.|\n)*?</script>##igk
s#<div (.|\n)*?</div>##igk
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）
s#(ID:)<a href=.+?>(.+?)</a>(.*?)\[\d+.+?\]#$1$2$3#igk
# 後ろガラガラの除去
s#<tr (.|\n)*?</tr>##igk
# タグに対応してない専ブラへの対応
s# # #igk

正規表現：
m#<a name="(\d+)"></a>\s*(?:<a href="mailto:(.+?)">|)(.+?)(?:</a>|)\s*:\s*(.*?)\s*</dt>\s*<dd>\s*(.*?)\s* \s .*?</dd>#mik
692： ◆/vmukiyuzw：2012/06/18(月) 21:44:02: 何を書いてるのか意味が伝わりにくかったかもしれませんね。

「ガラガラ」というのはこのスレを頭のほうから検索してもらえると見つかると思いますが
Javascriptやスタイルシートの記述や（最近では広告の記述も多いかな？ｗ）等、
htmlからdatに変換するためには邪魔な要素のことを（私が）勝手にそう呼んでいます。

なぜこれが邪魔かというと、変換に使用しているbregexp.dllの暗黙の仕様、というか
正規表現自体の制限のようなもので、あまり長い文字列に正規表現を適用させようとすると
「fatal error」（致命的エラー）を起こしてしまうため、それを起こさないようできるだけ
変換対象とは関係ない文字列を前もって削除する必要があるのです。

で、それを取り除くための手段として「前処理」という事前変換機能があるので
これを使ってちまちまと削除しているわけです。
693：名無しさん：2012/06/26(火) 02:13:36: >>691-692
遅くなりましたが変換確認致しました。ありがとうございます。
サイトが改良されるたびにガラガラも増えていってキリがないんですね…
694：名無しさん：2012/07/24(火) 11:21:31: ログめも（logmemo.org）
http://logmemo.org/hayabusa.2ch.net/livejupiter/1343086426
これらはどうにかならないでしょうか
695： ◆/vmukiyuzw：2012/07/24(火) 21:25:56: >>694さん
ログめもについては、以前とあるスレにリンクが貼られてたことがあって
そのときに調べたことがありました。

HTMLの形式としては比較的クラシカルで、DAT2HTMLが吐くような奴に似てるんですが
1レス目だけ後に広告がつく関係で多少終わり方が違うところが工夫すべき点ですかね。

正規表現；
m#<dt><a.*?>(\d+).+?(?:<a href="mailto:(.+?)">)?(.*?)(?:</a>|): ?(.*?)</dt><dd> *(.*?)(?:</dd>| )#mik

前処理：
# 後ろガラガラが多すぎてエラーになるので除去
s#<option.*?</option>##igk
696：名無しさん：2012/07/26(木) 21:18:50: >>695
ありがとうございます
無事変換できました
697：名無しさん：2012/07/27(金) 14:17:42: ログ速また変わりました？
>>691では変換できませんでした
http://logsoku.com/thread/engawa.2ch.net/poverty/1343043861/

ほんといたちごっこなのかもしれませんが
698： ◆/vmukiyuzw：2012/07/27(金) 20:53:31: >>697さん
微妙にまた形式が変更されたようですね。

htmltodat的に影響ある部分としては、
・全般的に改行コードが変更されている（LF→CR）
　→これにより今まで前処理で取り除けていたガラガラが取り除けなくなった
・レス番号の表現が<a name="レス番号">→<a id="レス番号">に変更されている
・名前欄の色付けが→に変更されている
　→これにより今までの正規表現ではレスにマッチしなくなった

これらをふまえ以下のように変更してみました。

前処理：
# ガラガラを適当に除去
## spanタグはレス内で使われるようになったので除去はやめる
#s#<span(.|\s)*?##igk
s#<script(.|\s)*?</script>##igk
s#<div(.|\s)*?</div>##igk
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）
s#(ID:)<a href=.+?>(.+?)</a>(.*?)\[\d+.+?\]#$1$2$3#igk
# 後ろガラガラの除去
s#<tr (.|\s)*?</tr>##igk
# タグに対応してない専ブラへの対応
s# # #igk

正規表現：
m#<a id="(\d+)"></a>\s*(?:<a href="mailto:(.+?)">|)(.+?)(?:</a>|)\s*：\s*(.*?)\s*</dt>\s*<dd>\s*(.*?)\s* \s .*?</dd>#mik

一応互換性を確かめるためこのスレに今まで貼られたログ速のログで確認してみましたが
特に問題なく変換できるようです。
699： ◆/vmukiyuzw：2012/07/28(土) 00:56:07: × 今まで貼られたログ速のログで
○ 今まで貼られたログ速のURLで

しかし、htmltodat側で正規表現等変更しても過去のログURLにアクセスして問題なく
dat変換できるということは、HTMLが静的なものでなくリクエストの都度動的に生成されて
いるということな訳です。
ということはその元になるdatを保持しておられることもほぼ確実なわけで。

であればｺﾞﾆｮｺﾞﾆｮ・・・えーっと今なんか微妙な時期ぽいんでやめときますか。
700：名無しさん：2012/07/28(土) 01:12:12: なるほど
701：697：2012/07/28(土) 05:07:43: >>698-699
ありがとうございます！
変換できました

ログ速、っていうか過去ログサイト全般、
恩恵を受けている身としては、うーんどうにか…って感じではあります
702：名無しさん：2012/09/11(火) 13:31:16: 本日からだと思いますがログ速で>>698-699のやり方でも変換出来なくなってしまいました
申し訳ないんですが一度ご確認お願いできますでしょうか
自分のやり方や認識が間違ってたらすみません
703： ◆/vmukiyuzw：2012/09/11(火) 21:58:32: >>702さん
改行コードがまた変更されたような・・・
あと改行の位置がいくらか変更されているようです。

実は今まで貼っていたログ速用の正規表現には一箇所バグ（というか私の単純ミスです；）
があったのですが、上の変更によりそれが顕在化してしまったという状況のようです。

あと、改行位置の変更により、前処理の一部（「～回発言」を取り除く処理）に影響が出て
マッチしなくなってしまったのでこれも修正しました。

前処理：
# ガラガラを適当に除去
## spanタグはレス内で使われるようになったので除去はやめる
#s#<span(.|\s)*?##igk
s#<script(.|\s)*?</script>##igk
s#<div(.|\s)*?</div>##igk
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）
s#(ID:)<a href=.+?>(.+?)</a>(.*?)\s*\[\d+.+?\]#$1$2$3#igk
# 後ろガラガラの除去
s#<tr (.|\s)*?</tr>##igk
# タグに対応してない専ブラへの対応
s# # #igk

正規表現：
m#<a id="(\d+)"></a>\s*(?:<a href="mailto:(.+?)">|)(.+?)(?:</a>|)\s*：\s*(.*?)\s*</dt>\s*<dd>\s*(.*?)\s* \s* .*?</dd>#mik
704：名無しさん：2012/09/12(水) 09:11:28: >>703
迅速なご対応ありがとうございます！！
問題なく無事変換できました！！
705：名無しさん：2012/09/23(日) 01:42:17: 以前その１１５の変換を教えて貰ったのですが、
「一行が長過ぎるか、正規表現が正しくないようです」
と出て上手く行きません。
何か変わったのでしょうか？
http://viva2ch.net/avi/1204285809.html
よろしくお願いします。
706： ◆/vmukiyuzw：2012/09/23(日) 20:23:59: >>705さん
>>663>>664>>666で試してみたのですが
「変換行:1001」と表示されるのにエラーが出ますので、変換は出来てるけど
後ガラガラの影響でエラーが出る状況のようです。
調べてみると、最後のほうに延々続くamazonへのリンクの形式が変更されてました。
（URLエンコードされた形式に変更されている）

これを受けて前処理を修正するととりあえずエラーは出なくなりましたが、よく見ると
ID周りのタグが若干変更されたようで、変換結果に不要なタグが残るようになったので、
これも修正しました。合わせて正規表現も微調整しました。

あとスレタイに元々のスレタイにはない余分なものが付くようになったようなので
これを除去する処理も追加しました。

正規表現：
m#<a name="(\d+)">\d+</a>(.+?) ?\[(.*?)\] ?(.+?) ? ?(.*?) ?#mik

前処理：
# スレタイ補正
s#(<title>)(.*?)\s\S*?＠\S*?（\S*?）(</title>)#$1$2$3#ik
# 後ガラガラ除去（amazonを直接指定するのはイマイチだが・・・）
s#<li><a href.*?</li>##igk
s#a href="/r\?u=http%3A%2F%2Fwww.amazon[\S]*? title=.*?</a>##igk
s#<img .*?>##igk
# これは不要かもしれないがブラウザによってはうまく動かない可能性があるので念のため
s# # #igk
# 日付とIDの間の不要なタグを除去
s## #igk
s###igk

変換結果式：（メール欄逆転）
$2<>$3<>$4<>$5<>

>>663>>665のviva2chのURLでも問題なく変換できることを確認しました。
707： ◆/vmukiyuzw：2012/09/23(日) 22:58:33: ああタイプミス・・・
大した影響はないでしょうが前処理の５行目

s#<a href="/r\?u=http%3A%2F%2Fwww.amazon[\S]*? title=.*?</a>##igk

にしてください（頭の"<"を忘れた）
708：名無しさん：2012/09/25(火) 00:38:47: ◆/vmukiyuzwさんありがとう。
溜まってたの10ほどちゃんと変換されました。

本当にありがとう。<(_ _)>
709：名無しさん：2012/10/04(木) 15:17:21: みみずんにあるまちBBSのログ変換ができなくなりました
>>398や>>617を使っても「1行が長すぎるか、正規表現が正しくないようです。」
が出て変換できません

変換したいのは
http://hokkaido.machibbs.com/bbs/read.pl?BBS=hokkaidou&KEY=1032742284
http://hokkaido.machibbs.com/bbs/read.pl?BBS=hokkaidou&KEY=1027087237
です

直接datを指定して落ちてきたのをJaneView(121002)のログフォルダに入れると
「ここ壊れてます」になってしまうので、変換でいきたいのですが
710： ◆/vmukiyuzw：2012/10/04(木) 20:53:21: >>709さん
まず、こういう場合はできればみみずんでのURLを書いて欲しいです。
まちBBSの過去ログURLを書かれてもこちらでみみずんでのURLに読み替えないと
アクセスできません＾＾；

ということで、
http://hokkaido.machibbs.com/bbs/read.pl?BBS=hokkaidou&KEY=1032742284
↓
http://mimizun.com/log/machi/hokkaidou/1032742284/

で調べてみました。

datを直接落とすと壊れるというところが気になったので、まず

http://mimizun.com/log/machi/hokkaidou/1032742284.dat

を落として調べてみたのですが、あれ？微妙にdatの形式が違う・・・
（各行先頭にレス番が付加されている）
経緯の程はわかりませんが、2chのdatについてはこういうことはないので
（でないとgetlog.wsfとか正常動作しないですよね）、まちBBSについてだけ
以前からそうなのかな？

とりあえず、datの違いはレス番の有無だけなので、わざわざhtmlから変換するより
datの先頭を切り飛ばしたほうが簡単かな？若干トリッキーな使い方ですが。
あぼーんがあるとその行が存在しなくなるという多少の難点はあるようですが
透明あぼーんを補うにして特に困ることはないような。

---------------------------------------------------------------------
（URL欄にはhtmlでなくdatの方のURLを入力）

前処理：
# １行目最終フィールドからスレタイを生成
s#^(\d+<>.*?<>.*?<>.*?<>.*?<>)(.*?)\n#<title>$2</title>\n$1#ik

「透明あぼーんを補う」にチェック

正規表現：
m#(\d+)<>(.*?)<>(.*?)<>(.*?)<>(.*?)<>#mik
----------------------------------------------------------------------

あぼーんがあると変換警告が出ますが気にしなくていいです。
711： ◆/vmukiyuzw：2012/10/04(木) 20:55:11: ちなみにhtmlからの変換も考えてみました。
あら？>>398や>>617の時とは相当異なる形式にはなってますが
これもさして難しくはないような。
（htmlの形式が整理されて正規表現を当てやすくなってる）

正規表現：
m#<a name="(\d+)">.*?(?:<A HREF="mailto:(.*?)">)?(.*?)(?:</A>)?：(.*?)</div><div class="res">\s*(.*?)\s*</div>#mik

 タグが使われているので専ブラの種類によっては
前処理に

s# # #igk

を入れる必要があるかもしれません。

まあお好きなほうで。
712： ◆/vmukiyuzw：2012/10/04(木) 20:58:20: >>710には

変換結果式：　（メール欄逆転）
$2<>$3<>$4<>$5<>

も必要でした。失礼。
713：709：2012/10/04(木) 23:32:17: >>710
ああ、申し訳ありません、みみずんのURLを貼ったつもりで間違えてしまいました
>>710
でdatから変換すると名前欄が[なまら名無し]になりました
>>711
で問題なく変換できました
ありがとうございます
714：名無しさん：2012/10/13(土) 15:42:04: こんにちは。

以下のurlを>>683の処理で行わせたのですが、ヘッダーの並びがおかしくなって正しく表示できません。

http://yomi.mobi/read.cgi/hato/hato_sato_1312860520/

正しく変換するにはどうすればいいでしょうか？
よろしくお願いします。
715： ◆/vmukiyuzw：2012/10/13(土) 18:36:32: >>714さん
>>683の記述に漏れがありました。

変換結果式：　（メール欄逆転）
$2<>$3<>$4<>$5<>

が必要でした。

>>683の元質問（>>682）のリンク先
http://yy14.kakiko.com/test/read.cgi/mirror/1158402994/756n
には書いてあったのですが、これへの補足のつもりで書いたので
漏れてしまったんだと思います。
716：名無しさん：2012/10/13(土) 23:01:41: >>715
ありがとうございます。
変換されました。
さらに2chのdatらしくするため、

変換結果式：のメール欄逆転を
$2<>$3<>$4<> $5<>

と修正しアンカー削除のチェックを外したところ、
アンカーの部分が何も変換されずyomo.mobi～と残ってしまいました。
あれこれ試したところ

後処理
# 安価のリンクを正しく補う
s#<a href="http://yomi\.mobi/read\.cgi/(\w+)/(\w+)\_(\w+)\_(.*)>#<a href="../test/read.cgi/$3/$4>#igk

を複数セット(6セット分)入れたところ綺麗に変換されました。

もしかして安価の数によって、さらに後処理を入力する必要がありますか？
717： ◆/vmukiyuzw：2012/10/13(土) 23:32:45: >>716
何をしたいのかいまいち理解出来てないかもしれませんが。

> と修正しアンカー削除のチェックを外したところ、
> アンカーの部分が何も変換されずyomo.mobi～と残ってしまいました。

アンカー削除のチェックを外す必要は基本的にありません。
後処理で何とかしようとされた点はアンカー削除をONにしていれば
うまく処理してくれるはずなので、何故そうしようと考えられたのかわかりません。

yomi.mobi～のリンクが残ってしまうことへの対処は
>>683の後半に書いてあることでできるはずです。
（省略された「http://を補う・・・とともにyomi.mobiへのリンクも外してます）

お使いの専ブラがなんなのか分かりませんが、大抵の専ブラでは
レスアンカーへのリンクとかURLへのリンクは自動で補ってくれるんです。
htmltodatでのアンカー削除機能はそれを前提につけています。
718：名無しさん：2012/10/14(日) 05:05:26: >>717
出来るだけ2chで生成されるdatの形にしたいということですよ。
ちょっとしたこだわりです。

なんにせよ、必要なdatは手に入れることができたので感謝します。
ありがとう。
719： ◆/vmukiyuzw：2012/10/14(日) 22:22:45: >>718
まあこだわりというのは人それぞれなんで別にいいと思いますけど
htmltodatとしてはアンカー削除のチェックを外すのはあまり推奨できません。
なので、それによっておそらく生じるであろう諸々の面倒なことについては
できれば自助努力で対処いただきたく思います。

まあ充分なスキルをお持ちのようにお見受けするのでこんなこと書いてるんですが。
720：名無しさん：2012/10/21(日) 20:26:25: その５６:ログ速(http://logsoku.com/)は仕様の変更があったのでしょうか？
dat化したいURL：http://logsoku.com/thread/kohada.2ch.net/auto/1259980092/
以前の正規表現などの設定では、dat化が不可能になってしまいました。

恐縮ですが、また助けていただけたら幸いです。
よろしくお願いいたします。
721： ◆/vmukiyuzw：2012/10/21(日) 22:29:47: >>720さん
>>703で試してみたのですが、ID周りの仕様が結構変更されているようです。
一見変換自体は成功したように見えるのですが専ブラで読ませると
不要なタグが残ってIDへのリンクがうまくいかなくなる状態になりました。
ID周りの前処理のみ修正しました。

前処理：

# ガラガラを適当に除去
## spanタグはレス内で使われるようになったので除去はやめる
#s#<span(.|\s)*?##igk
s#<script(.|\s)*?</script>##igk
s#<div(.|\s)*?</div>##igk
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）
# ID周りが変更されたので修正
#s#(ID:)<a href=.+?>(.+?)</a>(.*?)\s*\[\d+.+?\]#$1$2$3#igk
s#<a .*?>(ID)</a>(:)<a .*?>(.*?)</a>((.|\s)*?)\[.*?\]#$1$2$3$4#igk
# 後ろガラガラの除去
s#<tr (.|\s)*?</tr>##igk
# タグに対応してない専ブラへの対応
s# # #igk

正規表現： ※変更なし

m#<a id="(\d+)"></a>\s*(?:<a href="mailto:(.+?)">|)(.+?)(?:</a>|)\s*：\s*(.*?)\s*</dt>\s*<dd>\s*(.*?)\s* \s* .*?</dd>#mik
722：名無しさん：2012/10/22(月) 16:18:05: >>721 ◆/vmukiyuzwさま
何時もながら、親切な対応ありがとうございます。
早速、使用させていただきます！
ありがとうございました。
723：名無しさん：2012/11/05(月) 16:54:52: ログ速が仕様変更したようで変換出来なくなっていました。
申し訳ありませんが、対応していただけたら嬉しいです…
724： ◆/vmukiyuzw：2012/11/05(月) 20:27:20: >>723さん
今回はかなり変更されてたのでちょっと驚きました。

とりあえずは、レスの形式自体が大きく変更されてるので
正規表現はほぼ書き直しになりました。
メール欄の形式も変わったので、
変換結果式「メール欄逆転」が必要になりました。（←重要！）
あと、以前はなかったtimeタグが追加されてるので除去したり
スレタイに余分なものが付くようになったので補正したり
まあそんなところです。
（timeタグは指定方法が多分間違ってるぽいのでまた変更されるかも）

前処理：　※長くなってきたので不要になった行を削除
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ガラガラを適当に除去
s#<script(.|\s)*?</script>##igk
s#<style(.|\s)*?</style>##igk
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a .*?>(ID)</a>(:)<a .*?>(.*?)</a>((.|\s)*?) ?\[.*?\]#$1$2$3$4#igk
# 投稿日前後のtimeタグの除去
s#<time .*?>##igk
s#</time>\s( ID:)?#$1#igk
# 後ろガラガラの除去（ちょっと修正）
s#<tr(.|\s)*?</tr>##igk
# タグに対応してない専ブラへの対応
s# # #igk

変換結果式：　※メール欄逆転
$2<>$3<>$4<>$5<>

正規表現：
m#<article id=.*?>(\d+).*?(.+?)\[(.*?)\] ：.*?：(.*?)<div class="comment">(.*?)\s* \s* #mik
725：名無しさん：2012/11/16(金) 15:56:52: >>724
誠に申し訳ありません、返信が遅れてしまいました。
変換を確認致しました！
いつも迅速な対応に感謝します
726： ◆/vmukiyuzw：2012/11/25(日) 00:46:20: バージョンアップしました（0.8.18）
　・バッチファイルやスクリプトから動かすための機能を追加。
　・UTF-8→SJISの変換にnkf.exeを使うようにした。

まずバッチコマンド化についてですが、以前から構想はあったんですが
>>492で一旦頓挫していて、最近またやる気になってなんとかやってみました。
htmltodat単独では意味がなくバッチファイルやスクリプトから
起動されること前提の機能です。

大雑把な仕様としては、
・起動時の引数を最大3個指定できる
・１つ目の引数はURL、これが指定された場合、URLの項目に値をセットして起動します。
・２つめの引数はパラメータファイル名、この仕様は後述します。
　これが指定された場合、正規表現・前処理等の項目に値を自動でセットし
　HTML取得→変換まで行います。
・３つめの引数は出力datファイル名、これが指定された場合、変換結果をそこに出力し
　htmltodatは終了します。

パラメータファイルの仕様は、

正規表現=read.cgi7.00？
変換結果式=メール欄逆転
・・・
　
のような形式で各項目に設定する選択項目を指定して列挙します。
また、
　
前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ガラガラを適当に除去
s#<script(.|\s)*?</script>##igk
・・・
　
みたいな感じでサポート掲示板に書かれてるようなものをそのまま記述する方式でも
可能です。
サンプルでsample.prmというのをつけてみたので参考にしてください。
727：名無しさん：2012/11/25(日) 00:49:29: >・バッチファイルやスクリプトから動かすための機能を追加。
ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!
すごく嬉しいです！
728： ◆/vmukiyuzw：2012/11/25(日) 01:04:48: 次にUTF-8→SJIS変換ですが、
>>605>>613あたりでやろうとしてこれも頓挫していたものですが
自分の開発環境の中だけでやるのはどうも難しそうなので
外部コマンド（nkf.exe）を叩くことにしました。

◆◆◆◆◆◆◆◆◆◆　重要　◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆
これにより、今回バージョンアップされる方は
zipに同封しているnkf.exeもインストール（htmltodat.exeと同じフォルダに
解凍）することが必要になります。
◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆

なお、この変更によりUTF-8→SJIS変換が必要な場合DOSウィンドウが
一瞬出てしまうと思いますが気にしないでください。

nkfというのはかなり古くから使われてる文字コード変換プログラムですが
その分枯れてる（←バグが出尽くしてるという意味）のではと考え
採用しました。
「～」が「?」に化けるのとかは正しく変換できるのは確認したのですが
実際にhtmltodatから化けそうなサイトにアクセスして確認していない
（どこが化けるサイトかわからないので＾＾；）のが若干不安な部分です。
729： ◆/vmukiyuzw：2012/11/25(日) 01:25:44: あと余談になりますが、バッチコマンド化の３つめの引数（出力ファイル名）についてですが
getlogみたいに取得済みのファイルと比較して行数が多ければ上書き、とかしようと思うと
結局一旦一時ファイルに保存するケースが多くなるのかなという気はしてます。
V2Cでのgetdatスクリプトはファイルではなくdatの内容自体を返す仕様になってますし
こういう場合も一時ファイルに保存して読み返すことになるような。
まあその辺は呼び出す側でよろしくやってください（てなげやりかよ！ｗ）
730： ◆/vmukiyuzw：2012/11/25(日) 01:34:39: >>726
> バージョンアップしました（0.8.18）

0.8.19の間違いですね＾＾；
長いことバージョンアップしてなかったんでコピペ直すの忘れてました・・・
731： ◆/vmukiyuzw：2012/11/25(日) 20:44:35: こっちに書いたほうが良かった内容かもしれないので一応リンク。
http://jbbs.livedoor.jp/bbs/read.cgi/computer/1929/1038409548/133
732： ◆/vmukiyuzw：2012/11/26(月) 00:42:25: バージョン0.8.19 公開一時停止します。
理由：スクリプトから呼び出して動かす際に一部うまく動かない機能が発覚したため。

目に見える現象としては、正しい過去ログでなく別のスレの過去ログを取得してしまったり
することが発生すると思います。
原因となる箇所は特定出来てるのですがどう直したらいいものか現時点では
ちょっとわからないので時間がかかるかもしれません。
（スクリプト経由でなくコマンドプロンプトから動かすと問題なく動いてしまったりする
のがこれまた厄介）

というわけで、663さん他、スクリプトをすでに作ったもしくは今から作ろうとしていた方々、
申し訳ないですがしばらくお待ちいただきたく。
733： ◆/vmukiyuzw：2012/11/26(月) 19:56:00: バージョンアップしました（0.8.20）
　・UTF-8→SJISの変換にnkf32.dllを使うよう変更。

前バージョンでnkf.exeを使うようにしたのですが不具合があったため
nkf32.dllを使うように変更しました。

◆◆◆◆◆◆◆◆◆◆　重要　◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆
これにより、今回バージョンアップされる方は
zipに同封しているnkf32.dllをインストール（htmltodat.exeと同じフォルダに
解凍）することが必要になります。

※OSが98系（98,98SE,Me）の場合は「98用」以下のnkf32.dllをインストールしてください。
※前バージョン（0.8.19）には不具合があるため使用しないでください。
※nkf.exeは不要になりましたので削除してしまってかまいません。
◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆

不具合の原因ですが、正直なところ正確にはわかっていません。
以下推測ですが、nkf.exeという外部プログラムを実行するということは
内部的にプログラムの終了待機をする必要があるわけです。
ですが、スクリプトからhtmltodatを呼ぶとなるとこちらでも終了待機が
必要となり、制御がぶつかってしまったんではないかと。
結果としてnkf.exeが実行されないまま処理してしまっていました。
dllの呼び出しにすればもちろん内部プロセスで実行されるので
問題は解消したと考えられます。

ちなみに、dll呼び出しのほうがプログラムの実装としては簡単だったんです。
でも、nkf32.dllが98系とNT系の2バージョンあるため、インストールの際の
混乱をできれば避けたいと考えました。

しかしまあ2つの変更タイミングがたまたま同じでよかった。
別々のタイミングだったら原因特定にもっと手間取ったかもしれません。
734： ◆/vmukiyuzw：2012/11/26(月) 20:25:12: あと仕様面で若干補足。

パラメータファイルで第2引数まで指定して（この場合自動終了はしない）
HTML取得→変換まで行った場合、HTMLプレビューが表示されません。
意図してやってることではなく、結構強引に動かしてるところがあるので
結果的にそうなってしまったというところです。
まあプレビュー欄は変換結果が正しいかどうかの確認用の機能なので
パラメータ指定で動かす場合は（パラメータが正しい前提で動作するので）
表示されなくても特に問題なし、とさせて頂きます。

とはいえ、サイト側の仕様変更により、変換エラーが出る場合もあると
思います。
htmltodatを直接起動した場合は変換エラーはエラーダイアログで表示
されますが、パラメータ指定で自動で動かす場合エラ-ダイアログを
出すことが出来ません。
（この場合、出力ファイルが作成されないことになると思います）
何が起こったかわからなくなると困ると思ったので、こういう場合は
error.txtというファイルにエラーダイアログと同じ内容を出力するように
しました。変換がうまくいかないときは参照してください。
735：exp：2012/11/27(火) 00:30:22: 0.8.20の書庫ファイルが破損しているようです。
ご確認お願いします。
736： ◆/vmukiyuzw：2012/11/27(火) 00:38:44: >>735さん
ダウンロードしなおして確認しましたが別に破損してないですよ。
他の方から動作確認したとの報告ももらってますし。
何が問題なのかこちらでは見当つきかねます。
737： ◆/vmukiyuzw：2012/11/27(火) 19:04:05: http://yy14.kakiko.com/test/read.cgi/mirror/1353918147/6
> 受信オプション→HTTPヘッダの追加　
> と
> 変換オプション→透明あぼーんを補う
> はprmファイルで指定出来ないのでしょうか。

現状、readmeに書いてる5項目
（正規表現、URLの変換、前処理、変換結果式、後処理）
しか指定できません。

当面使うニーズが多そうなものに限って実装し（いきなり全部やって
バグってたら悲惨なので）、他はニーズが出たらやろうという考えでした。
まあぼちぼちとやりますんで気長にお待ちください。
738： ◆/vmukiyuzw：2012/11/28(水) 00:56:26: バージョンアップしました（0.8.21）
　・バッチコマンド化機能でパラメータファイル内で前バージョンではサポートして
　　いなかった項目を追加。

>>737を受け、受信オプション・変換オプションで設定できる項目は
一応全てパラメータファイルで設定できるようにしてみました。
チェックボックスでオンオフするような項目については

透明あぼーんを補う：
true

のような形式で指定してください（オフにしたい場合は false を指定）
739： ◆/vmukiyuzw：2012/12/01(土) 18:48:24: バージョンアップしました（0.9.0）
　・正規表現ライブラリを、オリジナルのbregexp.dllからbregonig.dllをリネーム
　　したものに変更。
　　これに伴い、変換エラーチェックの閾値を変更。

◆◆◆◆◆◆◆◆◆◆　重要　◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆
これにより、今回バージョンアップされる方は
zipに同封しているbregexp.dllを再インストール（htmltodat.exeと同じフォルダに
解凍して上書き）することが必要になります。
◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆◆

bregonig.dllを使うと、オリジナルのbregexp.dllでは「fatal error」が出てしまうようなケースでも
エラーにならず処理してくれます。
で、どこかのタイミングで差し替えようと考えていたのですが今回やることにしました。
これにより、今までhtmltodatが異常終了してしまっていたようなケースが改善され
プログラムの安定性が向上したと思います。

また、fatal errorになるリスクが軽減されたので、今まで「正規表現が正しくないようです」
などのエラーにしていた閾値（読み込み行数およびバッファサイズの上限値）を
これまでよりかなり大きめに変更しました。
これで何がよくなるかというと・・・一番うれしいのは、前処理でのガラガラ除去が不要になる
（完全にはなくならないかも・・少なくとも今までよりは減らせる）ことで、処理時間の短縮に
つながるでしょうし、ターゲットのサイトが仕様変更された場合の対応も楽になると思われます。
740：名無しさん：2012/12/04(火) 06:36:00: その１２０とその１２７でログ見つかったのですが変換式が載っておりません。
どなたかお願いします。

その１２０
http://2chland.net/software/1183880331.html

その１２７
http://software.log2.me/1183880331.html
741： ◆/vmukiyuzw：2012/12/04(火) 19:21:40: >>740さん
「その１２０」 2chland.net については>>684-685で一回やったんですけどね。

まあ若干形式が変換されてるようですし、せっかくバージョンアップしたことでもあるので
Ver.0.9.0仕様であらためて考えてみますかね。
（まだバージョンアップされてない場合は>>733,>>739のdllの導入を欠かさないこと）

あと、「その１２７」 software.log2.me については　2chland.net と形式がほぼ同じですね。
同じ方が運営されてるのかな？
以下のものが両サイトで共通で使えると思います。

前処理：
# スレタイ補正
s#(<title>)(.*?) ?（.*?）(</title>)#$1$2$3#ik
# 日付とIDの間に何かあると邪魔なので除去
s## #igk
# タグに対応していない専ブラへの対応
s# # #igk
# ガラガラ除去がないとやっぱスッキリするな～

変換結果式：　（メール欄逆転）
$2<>$3<>$4<>$5<>

正規表現：
m#<li>()(.*?) ?\[ ?(.*?) ?\] ?(.*?) ?(.*?)\s*#mik
742：740：2012/12/04(火) 22:52:54: >>741さん
その１２０、その１２７ともにdat変換確認しました。

その１２０>>684-685の見落とし申し訳なく・・・。
その１２７はスレ検索したのですぅ。

ありがとうございました。<(_ _)>
743： ◆/vmukiyuzw：2013/01/05(土) 19:13:11: バージョンアップしました（0.10.0）
　・パラメータファイルを読込・保存するための機能を追加。
　・パラメータファイル内で、一行しか入力できない項目に複数行の指定をすると
　　挙動がおかしくなる不具合を修正。
　・スクリプト等から起動した場合の動作を若干修正。
　・その他ショートカットキーの漏れ等を微修正。

バッチコマンド化機能で指定するパラメータファイルの内容を
手動で読込・保存する機能です。
もともとは別のニーズから導入を決めたものですが、これを使うと
今まで正規表現や変換オプションの各項目で個別に指定・管理していた項目を
一つのファイルにまとめて管理することが出来るようになるので
楽になる面があると思います。

使い方はreadmeの397行目あたりから読んでもらって実際触ってもらえれば
すぐ分かると思いますが、ちょっとだけ書いておくと
・ファイルの読込は「読込」ボタンを押してダイアログで選んでもいいですし
　ファイルをドラッグ＆ドロップしても読み込めます。
　読み込んだ内容は読み込んだ時点で各項目に反映されます。
・このサポートスレでレスしたような内容（例えば>>741のようなもの）を
　そのままコピペしても使えます。
　この場合、各項目への反映は自動では行えないので、「適用」ボタンを
　押して下さい。もしくは一旦保存して読み込み直してもいいと思います。
744： ◆/vmukiyuzw：2013/01/06(日) 17:30:38: >>743
バージョン0.10.0に不具合が見つかったので公開を中止します。
（現在ダウンロードページでは前バージョンを公開しています）

既にダウンロードされた方、新機能の「パラメータファイルの読み書き」には
不具合がありますので、当面使用をお控え願います。
（それ以外の今まで使えていた機能には問題ありません）
745： ◆/vmukiyuzw：2013/01/06(日) 19:56:55: バージョンアップしました（0.10.1）
　・パラメータファイル読み書き機能の不具合を修正。

今回は不具合対応のみです。
前バージョン（0.10.0）には不具合があるので使用しないでください。

仕様の詰めが甘いまま実装してしまったので実際使ってみると
すぐ穴が見つかってしまいました。失礼しました。
746： ◆/vmukiyuzw：2013/01/12(土) 19:47:09: バージョンアップしました（0.10.2）
　・パラメータファイル読み書き機能の不具合を再修正。

今回も不具合対応のみです。

不具合と言うか仕様の問題なのですが、前バージョンでは
パラメータファイル読込時、指定を省略した項目があった場合、
・テキスト項目の場合→空白
・チェックボックス項目の場合→チェックOFF状態
になるようになっていました。
ですが、チェックボックス項目はそれぞれ既定の値が違うため
（例えば「アンカー削除」は既定値ONになっている）、
無条件で上書きしてはまずいケースがあるかもしれないと考えました。
よって、チェックボックス項目の指定を省略した場合は
既定値を上書きしないように変更しました。

（テキスト項目については省略時は今までどおり空白。
これを変更したい場合は明示的に指定すると思われるので）
747：名無しさん：2013/01/26(土) 12:35:14: いつもいつもお世話になっています。<(_ _)>

その134の変換おねがいできますでしょうか。
http://2ch.hork.info/res/kilauea.bbspink.com/hgame2/1358507907/

バージョンアップもありがとうございます。
748： ◆/vmukiyuzw：2013/01/26(土) 22:10:29: >>747さん
一応、下の正規表現等で変換は可能。
ですが、以下の状況によりあまりお勧めできかねます。

まず、該当のスレはレス1004までありました。これにまず違和感。
実況とかで最後に書き込みが集中するような状況だとたまにあるのですが
このスレはそういうわけではない。
（bbspinkはほとんど見ないんでそういうものなのかな？と最初は思ったのですが）

datに変換して専ブラに読ませてみると破損スレとの警告が出ます。
調べてみると434レス目が壊れた状況になります。
なんかレスアンカーにも違和感があるし変だなと思って前後を調べてみると、
どうやら418以降のレスが402からの繰り返しになってる模様。
（投稿日時が巻き戻って同じレスが繰り返されている）
で、壊れてる434レス目のところで数レスが省略されてる模様。

まとめていうと、418以降のレスは元々のスレとは間違ったレス番で並んでると思われる
ということです。たまたまのトラブルかもしれませんが、このサイトのログ収集処理自体が
バグってる可能性もあると思います。
htmltodatの機能としてdatに変換することは可能ですが、元データが不正なものを
変換してもレスアンカーとかはめちゃくちゃになります。
それでも意味があるかはご自分でご判断ください。

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://2ch.hork.info/res/$1/$2/$3/#

変換結果式：
$2<>$3<>$4<>$5<>

正規表現：
m#(?:</h1>|\t)(\d+):? ：(.*?)：()(.*?) \s*<(?:h2|p) class="resbody">(.*?)(?:</h2>|)#mik
749：747：2013/01/27(日) 01:42:49: >>748さん

datになったものならメモ帳で編集できるんで、その6aの829以降を補えれば
いいんでやってみます。

ありがとうございました。<(_ _)>
750：749：2013/01/27(日) 02:09:03: ”一部しかマッチしていないようです”　というエラーメッセージダイアログが
出て、変換はタイトル行だけでした。
URLの変換は、何か設定いるのでしょうか？
751：750：2013/01/27(日) 02:34:47: 正規表現をJANEからhtmltodatへコピペすると、エラーは先の
”一部しかマッチしていないようです”　ですが、
IE,FireFoxからコピペすると、”一行が長過ぎるか、正規表現が正しくないようです”
に変化しました。
何がいけないのだろう？
752：751：2013/01/27(日) 02:42:48: JANEからコピペすると何やら160とかに変化するようです。
m#(?:</h1>|\t)(\d+):? ：(.*?)：()(.*?) \s*<(?:h2|p) class="resbody">(.*?)(?:</h2>|)#mik
753：名無しさん：2013/01/27(日) 02:54:07: JANEから書き込むと元にもどるのねこれ。
全角ならどうか？
m#(?:</h1>|\t)(\d+):?＆＃１６０
754： ◆/vmukiyuzw：2013/01/27(日) 03:06:00: >>750さん
マッチさせたかったのは＆ｎｂｓｐ（実際には半角）だったのですが、
掲示板に書き込む時にただの半角スペースに変換されちゃうのを忘れてました。
以下にしてみてください。

ちなみにURLの変換は、ミラー変換機で得られる
http://2ch.hork.info/res/kilauea.bbspink.com/hgame2/1358507907/
のURLを使う場合は別に必要ないのですが
http://kilauea.bbspink.com/test/read.cgi/hgame2/1358507907/
（2chやbbspinkの生のURL）を使いたい場合のために記述しているものです。
省略しても問題ないですが書いておいたほうが多分便利でしょう。
（663さんから書き添えて欲しいと要望がありました）

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://2ch.hork.info/res/$1/$2/$3/#

変換結果式：
$2<>$3<>$4<>$5<>

正規表現：
m#(?:</h1>|\t)(\d+):?.nbsp;：(.*?)：()(.*?) \s*<(?:h2|p) class="resbody">(.*?)(?:</h2>|)#mik
755： ◆/vmukiyuzw：2013/01/27(日) 03:32:07: ちなみにその134（http://2ch.hork.info/）についてですが
適当にスレを探して見ていたところやっぱ同様の巻き戻り現象がときどきあるようですね。
少なくとも、htmltodat変換の対象としてはあまり使用をお勧めできないですね。
（何かおかしくても発見するのが結構難しい）
756：名無しさん：2013/01/27(日) 17:17:32: ◆/vmukiyuzwさん、変換できました。

最後までログ保持してるミラーがその１３４しかないようなので
なんとか切り貼りしてやってみます。
ありがとうございました。<(_ _)>
757：756：2013/01/27(日) 17:57:49: メモ帳だと破損ログになりましたが、WZ EDITORでコピペしたところ
正常なdatになりました。
本当にありがとうございました。<(_ _)>
758：名無しさん：2013/05/11(土) 11:50:43: こんにちは、いつもお世話になってます
ログ速が仕様変更したので改変してみました
コンマ秒に対応したみたいですね
--------------------
Proxyを使う：
false

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ガラガラを適当に除去
s#<script(.|\s)*?</script>##igk
s#<style(.|\s)*?</style>##igk
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href=.* class="id_search_btn">(ID)</a>(:)<a [^>]+>(.*?)</a>((.|\s)*?) ?\[.*?\]#$1$2$3$4#igk
# 後ろガラガラの除去（ちょっと修正）
s#<tr(.|\s)*?</tr>##igk
# タグに対応してない専ブラへの対応
s# # #igk

dat変換をしない（前処理のみ行う）：
false

アンカー削除：
true

beコード削除：
false

透明あぼーんを補う：
false

変換結果式：
$2<>$3<>$4<> $5 <>

正規表現：
m#<article id=\"([^\"]+).*(.+?)\[(.*?)\] ：(.*?)<div class="comment">(.*?)</div></article>#imk

-------------------
759：名無しさん：2013/05/11(土) 12:01:40: すみません。>>1のガラガラが除去できてなかった
# ガラガラを適当の除去の項目に
s#</div><div style="text.*<div class="ad_area"></div>##igk
を追加してください
760：名無しさん：2013/05/11(土) 12:15:00: >>759は無しで。</article>を加えたのがまずかっただけでした

正規表現：
m#<article id=\"([^\"]+).*(.+?)\[(.*?)\] ：(.*?)<div class="comment">(.*?)</div>#imk
761：名無しさん：2013/05/11(土) 13:48:56: 自動判別でのUTF-8→SJISの段階で半角カタカナが全角カタカナになっちゃいますね
その他、アンカーの相対リンクへの置換とHTMLリンクの除去は2chブラウザの動作には影響ないのでそのままにしてあります

なんども投稿して申し訳ないですが、スペースの調整が甘かったのでもう一回修正しました
---------------------------------
Proxyを使う：
false

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ガラガラを適当に除去
s#<script(.|\s)*?</script>##igk
s#<style(.|\s)*?</style>##igk
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href=.* class="id_search_btn">(ID)</a>(:)<a [^>]+>(.*?)</a>((.|\s)*?) ?\[.*?\]#$1$2$3$4#igk
# 後ろガラガラの除去（ちょっと修正）
s#<tr(.|\s)*?</tr>##igk
# タグに対応してない専ブラへの対応
s# # #igk

dat変換をしない（前処理のみ行う）：
false

アンカー削除：
false

beコード削除：
false

透明あぼーんを補う：
false

変換結果式：
$2<>$3<>$4<> $5 <>

正規表現：
m#<article id=\"([^\"]+).*(.+?)\[(.*?)\] ：(.*?)<div class="comment"> (.*?)</div>#imk

-----------------------------------------------
762： ◆/vmukiyuzw：2013/05/12(日) 16:36:24: >>758-761さん
考えていただきありがとうございます。
何点かコメントさせてください。

１．
> 自動判別でのUTF-8→SJISの段階で半角カタカナが全角カタカナになっちゃいますね

気づいてませんでした。これはまずい仕様ですね。
nkfの仕様のようで、詳しい経緯は不明なのですが、推測するに
「ネット（という呼び名ですらなかった頃？）で半角カナ使うなボケェ！」
な時代から使われてるプログラムらしいので、半角カナは全角に置き換える動作が
デフォルトなのかもしれません。
対応策は考えますが、多分また時間かかりそうなので当面nkfを使わない元の仕様に戻す
ことになると思います。（これはこれで問題あるのですが・・・）

２．
正規表現および前処理を考えていただいたのはありがたいのですが、

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

も付けたいところです。
ログ速のURLからではなく、2chの生のURLから（スクリプトを経由して）
htmltodatでログ速を変換しているという方がいらっしゃいますので。

３．
前処理の「ガラガラ除去」はVer0.9.0以降基本的に不要になりましたので
記述を削除してしまっていいと思います。>>739参照。

４．
これは以前から気づいていて、次にログ速の仕様変更があったら反映させようと
思っていたものなのですが。
レス内にニコニコ動画やyoutubeへのリンクが貼られていると、ログ速では
サムネイル画像のタグを挿入してしまいます。なのでこれらのタグを除去しないと
ブラウザによってはそのまま表示されてしまいます。
（表示されても構わない、という方は除去しなくてもいいかもしれませんが）
よって、前処理に以下を追加したいです。

# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?><div.*?><div.*?></div></div><img .*?></div>##igk
s#<(iframe|img class).+? ##g;

１は当面どうしようもないとして、２～４を反映させていただいたパラメータの内容は次に。
763： ◆/vmukiyuzw：2013/05/12(日) 16:38:36: >>762続き

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ガラガラ除去はVer0.9.0以降不要になったので削除
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href=.* class="id_search_btn">(ID)</a>(:)<a [^>]+>(.*?)</a>((.|\s)*?) ?\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?><div.*?><div.*?></div></div><img .*?></div>##igk
s#<(iframe|img class).+? ##g;
# タグに対応してない専ブラへの対応
s# # #igk

変換結果式：
$2<>$3<>$4<> $5 <>

正規表現：
m#<article id=\"([^\"]+).*(.+?)\[(.*?)\] ：(.*?)<div class="comment"> (.*?)</div>#imk
764： ◆/vmukiyuzw：2013/05/12(日) 18:48:30: バージョンアップ（というか実質ダウンですが --;）しました（0.10.3）
　・nkf32.dllの使用を中止し、UTF-8→SJISの変換を0.8.18以前の方式に戻す。

>>762で書いたとおり、半角カタカナが全角に変換されてしまうのは問題が大きいと思われるため
nkf32.dllの使用を一旦中止し以前の変換方式に戻すことにしました。
（当面、ログ速では「～」が「?」に化けることはないようなので重大な問題はないだろう・・・）

今後の対応としてはnkf32.dllでの回避策を探しつつ他に使えそうなdllも探すということになるかと
思います。ちょっと検索したら有望そうなのを見つけたんですがまだ調べてみないとなんともです。
765： ◆/vmukiyuzw：2013/05/12(日) 19:31:41: すみません、個人的にここ数日多忙で、そこに不具合が見つかったので焦ってしまったようです。
nkf32.dllでの回避策がどうやら見つかったので対応しようと思います。
また修正しますのでしばらくお待ちください。
766： ◆/vmukiyuzw：2013/05/12(日) 20:10:12: バージョンアップ（？）しました（0.10.4）
　・nkf32.dllの使用を再開。

nkf32.dllでの回避策をテストして問題なさそうだったので再修正しました。
前のバージョン（0.10.3）は誰もダウンロードしてないようなので
幻のものとして忘れてください＾＾；
767：名無しさん：2013/05/13(月) 08:32:13: 乙。こいつはありがたいや
768：名無しさん：2013/05/28(火) 16:58:09: ログ速で1行が長すぎるか、正規表現が正しくないようです。
とでてログ変換できなくなってしまったんですがどこかコピペミスったかな…
みなさんは問題なく変換できていますか？
769： ◆/vmukiyuzw：2013/05/28(火) 20:34:53: >>768さん
若干ですがまた仕様変更されたようですね。
以下ので多分いけると思います。

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ガラガラ除去はVer0.9.0以降不要になったので削除
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href=.* class="id_search_btn".*?>(ID)</a>(:)<a .*?>(.*?)</a>((.|\s)*?) ?\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?><div.*?><div.*?></div></div><img .*?></div>##igk
s#<(iframe|img class).+? ##g;
# タグに対応してない専ブラへの対応
s# # #igk

変換結果式：
$2<>$3<>$4<> $5 <>

正規表現：
m#<article id=\"([^\"]+).*(.+?)\[(.*?)\].*?：(.*?)<div class="comment"> (.*?)</div>#imk
770：768：2013/05/29(水) 14:58:31: 変換出来ました！
素早い対応ありがとうございました。
771：名無しさん：2013/05/29(水) 23:04:11: 私も変換できました
素早い対応ありがとうございます
772： ◆/vmukiyuzw：2013/06/06(木) 18:25:48: ログ速がまた仕様変更されたようですね。
途中の改行が一切取っ払われてベタッとしたHTMLになって形式的には結構変更されたようですが
htmltodatはまあ一応そういうのも想定して作ってますんで・・・

以下のようなので多分いけると思います。
（>>758-761さんの考えてくださった部分を自分好みに一部修正してます。ご容赦を）

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ガラガラ除去はVer0.9.0以降不要になったので削除
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href="/id.*? class="id_search_btn".*?>(ID)</a>(:)<a .*?>(.*?)</a>((.|\s)*?) ?\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル除去
s#<div class='video.*?><div.*?><div.*?></div></div><img .*?></div>##igk
s#<(iframe|img class).+? ##g;
# タグに対応してない専ブラへの対応
s# # #igk

変換結果式：
$2<>$3<>$4<> $5 <>

正規表現：
m#<article id="(\d+)".*?(.+?)\[(.*?)\].*?：(.*?)<div class="comment"> (.*?)</div>#imk
773： ◆/vmukiyuzw：2013/06/11(火) 00:30:17: 気がつくとログ速また仕様変更されたようですね。
今回は微妙な変更のようですが。
以下のようなので多分いけると思います。

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ガラガラ除去はVer0.9.0以降不要になったので削除
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href="/id.*? class="id_search_btn".*?>(ID)</a>(:)<a .*?>(.*?)</a>(.*?)\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?><div.*?><div.*?></div></div><img .*?></div>##igk
s#<(iframe|img class).+? ##g;
# タグに対応してない専ブラへの対応
s# # #igk

変換結果式：
$2<>$3<>$4<> $5 <>

正規表現：
m#<div id="(\d+)".*?(.+?)\[(.*?)\].*?：(.*?)<div class="comment"> (.*?)</div>#imk
774：名無しさん：2013/06/11(火) 20:19:37: 対応ありがとうございます
無事変換できました
775： ◆/vmukiyuzw：2013/06/20(木) 20:09:20: つい最近気づいたんですが、ログ速のログには若干の問題があります。
2chの元のスレ中に2ch内のスレへのURLリンクが書かれていると、ログ速側に取り込む際に
勝手にログ速内のログへのURLリンクに変換してしまう、というものです。
これは前からそうなのかどこかの時点で仕様変更されたのかはちょっと把握してませんが・・・

具体的には、元のスレ中に例えば以下のようなURLリンク

http://toro.2ch.net/test/read.cgi/tech/1362913813/

が書かれてあったとすると、ログ速側に取り込まれると

http://www.logsoku.com/r/tech/1362913813/

に変換されてしまいます。
（その昔、今はなき「にくちゃんねる」が同じようなことをしてたと記憶してます）

これをhtmltodatで処理する場合、前処理等で元のURLリンクに逆変換したいところなのですが
困ったことにサーバに関する情報（この例では「toro.2ch.net」）が失われてしまっています。
単純に元の2chへのリンクに戻してやることはできないのです。

何か逃げ手はないかと考えてはいるのですが汎用的ですっきりしたものはなかなか難しそうです。
（そもそも人によっては特に問題視されない場合もあるかもしれませんし）
当面ログ速については上のような事象があるのでご注意ください、位しか言えない感じです。
776： ◆/vmukiyuzw：2013/06/21(金) 22:02:20: それはともかく、またログ速が微妙に仕様変更されてるようで。
ID周りが微妙に変更されたようです。以下のようなのでいけると思います。

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ガラガラ除去はVer0.9.0以降不要になったので削除
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href="/id.*? class="id_.*?>(ID)</a>(:)<a .*?>(.*?)</a>(.*?)\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?><div.*?><div.*?></div></div><img .*?></div>##igk
s#<(iframe|img class).+? ##g;
# ログ速内へのURLリンクの強引な逆変換・・・Jane系でしか使えないと思われるのでとりあえずコメントアウト
#s#http://www\.logsoku\.com/r/(.*?)/(\d+)/#http://dummy.2ch.net/test/read.cgi/$1/$2/#ig
# タグに対応してない専ブラへの対応
s# # #igk

変換結果式：
$2<>$3<>$4<> $5 <>

正規表現：
m#<div id="(\d+)".*?(.+?)\[(.*?)\].*?：(.*?)<div class="comment"> (.*?)</div>#imk
777： ◆/vmukiyuzw：2013/06/26(水) 19:23:16: ここで書いたことが影響したとも思えないのですが
ログ速で >>775 のような変換はしないように仕様変更されてるようです。

（<a href=～での参照先はログ速内リンクになっているが
URLの書き込み自体の変換はされていない）

htmltodatとしては、考慮しないといけない厄介な事象がなくなって
良かったと言えると思います。

# （オリジナルのdatに近づけるため）変換オプションの「アンカー削除」を
# あえてオフにしているという方もいらっしゃるようですが、そういう方は
# ちょっと気をつけないといけないかもしれません。
778：名無しさん：2013/06/30(日) 20:22:44: 無事変換できました
ありがとうございます
779：名無しさん：2013/07/24(水) 01:00:03: ログ速が仕様変更したかもしれません
変換ができなくなってた
780： ◆/vmukiyuzw：2013/07/24(水) 20:06:09: >>779さん
また微妙に変更されてるようです。
（要素間の半角スペースの数が変わったとかそんなレベルの変更）
# logsokuさんのツイート見てると、htmltodatからは意識しない部分も
# 結構こまめにいろいろ弄られてるようですが

以下のようなのでいけると思います。
（今回特に変更されてない部分についても今後を考え多少予防線を張ってみた）

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href="/id.*? class="id_.*?>(ID)</a>(:)<a .*?>(.*?)</a>(.*?)\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?><div.*?><div.*?></div></div><img .*?></div>##igk
s#<(iframe|img class).+? ##g;
# タグに対応してない専ブラへの対応
s# # #igk

変換結果式：
$2<>$3<>$4<>$5<>

正規表現：
m#<div id="(\d+)".*?.*?(.+?) *.*?\[(.*?)\].*?：(.*?) *<div class="comment">(.*?)</div>#imk
781：名無しさん：2013/07/25(木) 20:53:51: 無事変換できました
忙しい中の対応ありがとうございます
782： ◆/vmukiyuzw：2013/08/03(土) 14:18:40: またまたログ速に関してなのですが。

youtubeのサムネイル埋め込みまわりの仕様が多少変更されたらしく、
今までの記述では前処理でフリーズしてしまうケースが見つかりました。

とりあえず、以下のようなので当面大丈夫だと思います。

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href="/id.*? class="id_.*?>(ID)</a>(:)<a .*?>(.*?)</a>(.*?)\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?>.*?<img .*?></div>##igk
s#<(iframe|img class).+? ##g;
# タグに対応してない専ブラへの対応
s# # #igk

変換結果式：
$2<>$3<>$4<>$5<>

正規表現：
m#<div id="(\d+)".*?.*?(.+?).*?\[(.*?)\].*?：(.*?) *<div class="comment">(.*?)</div>#imk
783：名無しさん：2013/08/03(土) 14:31:37: おっつおっつ
784： ◆/vmukiyuzw：2013/08/08(木) 23:06:35: バージョンアップしました（0.11.0）
　・あまり使わないと思われるコントロールを削除（ダブルクリックで復活可能）。
　・パラメータファイルで「コメント：」を使えるようにした。
　・その他制御の漏れ等を微修正。

前に某所で操作がごちゃごちゃしてるという意見が出ていて、自分でもちょっと思っていたので
使用頻度が少なそうな機能を削ってみました。見た目がかなりすっきりしたと思います＾＾；
もっとも、削ったものを使ってる方もいらっしゃるでしょうから、画面のどこか何もないところを
ダブルクリックすると削除したものが復活します。（再度ダブルクリックでまた消える）
まあどれだけ意味あるか分かりませんが気まぐれにやってみました。

あと、prmファイルの内容にコメント（何の理由で修正したとかの記述等）を入れたいと思っていたので
（今まででも前処理の一部とかに無理やり入れることはできたのですが）独立で入れられるように
してみました。まあ大層な話ではなくてprmファイル中に

コメント：

と書くとそれ以降何行でも（空行が挟まってはダメ）コメントが書けて保持できるというだけのものです。
（今までは対応するフィールドを持っていなかったので保持できなかった）
一応ファイルの先頭に書くことを想定してます。複数箇所に分けての記述はできません。
これもかなり自己満足の機能ですがとりあえず。
785： ◆/vmukiyuzw：2013/08/20(火) 22:29:03: バージョンアップしました（0.11.1）
　・変換オプションに「プレビューを表示しない」を追加。
　　これを指定すると画面右側のプレビュー欄が表示されなくなるが
　　変換速度は速くなる。

これはまあ「必要なさそうなものは削ろう」第二段と言えるのかな？
プレビュー欄を必要としてる人がどれだけいるだろうという試みです。
変換速度は明らかに速くなったので、スクリプト等から使っておられる
方にはかなり良くなったんじゃないかな？

# 本当のことを言うと、プレビュー欄を表示しなくなるよりも
# 「dat変換結果」の下の「読込行：～なんたらの部分の表示を削るほうが
# 速度的にははるかに効果があったのです・・・
# 今後何か変更する際には考慮しないといけないな
786：名無しさん：2013/08/28(水) 17:21:19: この設定で「1行が長すぎるか正規表現が正しくないようです」と表示され動かないのですがログ速は仕様変更などしたのでしょうか？
http://ideone.com/sT6hZ6
787： ◆/vmukiyuzw：2013/08/28(水) 19:14:39: >>786さん
貼っていただいたコードを確認しましたが、正直言って
結構情報が古いです。
このスレで言うと>>761-763 あたり、大体3ヶ月くらい前の状況でしょうか。

このスレを「ログ速」というワードで検索して頂くといいのですが
それ以降もログ速の仕様変更は何度かあり、とりあえず正規表現等の記述の
現状の最新は>>782です。

また、htmltodat本体のバージョンアップも行われているのでご注意ください。
（最新の更新は>>785）
現状どのバージョンを使われてるかにもよりますが、正規表現等の記述では
最新バージョンでの使用を前提としている場合があります。
特に、nkf32.dll と bregexp.dll の2つのdllについては最新であるかどうか
確認したほうがいいかもしれません。
788：名無しさん：2013/08/28(水) 21:34:59: すいません、ありがとうございます。
htmltodatでlogsokuのログを正常にログ変換できました。
789： ◆/vmukiyuzw：2013/08/28(水) 22:46:06: せっかくなのでこういうのを貼っといてみよう

コメント：
ログ速変換用-20130828
「プレビューを表示しない」をONにして高速化してみたバージョン

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#<a href="/id.*? class="id_.*?>(ID)</a>(:)<a .*?>(.*?)</a>(.*?)\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?>.*?<img .*?></div>##igk
s#<(iframe|img class).+? ##g;
# タグに対応してない専ブラへの対応
s# # #igk

プレビューを表示しない：
true

変換結果式：
$2<>$3<>$4<>$5<>

正規表現：
m#<div id="(\d+)".*?.*?(.+?).*?\[(.*?)\].*?：(.*?) *<div class="comment">(.*?)</div>#imk
790： ◆/vmukiyuzw：2013/10/12(土) 21:24:18: offlaw2から過去ログを取得するのを考えてみました。
まあこれはhtmltodat使う必要性自体あまりないかもですが何かの参考に。
（「URLの変換」のとこを弄ればみみずんやunkarにも使える）

コメント：
# offlaw2経由でdatを取得してみる試み

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/offlaw2.so?shiro=kuma&bbs=$2&key=$3#

前処理：
s#^(.*?<>.*?<>.*?<>.*?<>)(.*?)\n#<title>$2</title>\n$1\n#ik

プレビューを表示しない：
true

変換結果式：
$2<>$3<>$4<>$5<>

正規表現：
m#()(.*?)<>(.*?)<>(.*?)<>(.*?)<>#mik
791： ◆/vmukiyuzw：2013/11/07(木) 21:22:58: 現在 htmltodat で利用している bregexp.dll は bregonig.dll をリネームして使っているもので
バージョンでいうと 1.50（perl 5.8 互換）のものを利用しています。
bregonig 自体はこれより上のバージョンのものも公開されているのですが、
・Unicode 対応のものとなっており、Shift-jis しか対応してない（UTF-8も読めるが内部的に
　Shift-jis に変換してから処理している）htmltodat ではあまり意味ないかなと思った
・htmltodat ごときでそんな高等な正規表現機能が必要だろうかと思った
・dll自体のサイズが相当大きくなってしまうので同封して配布するにはちょっとためらいがあった
という点であえて最新でないバージョンを採用しています。

ですが、bregonig や perl のドキュメントを読んだり実際動かして試したりしてると
正規表現のより新しい機能を使いたい場合もあるんじゃないかと思うようになってきました。

当面のところこのスレでは上記のバージョン 1.50 前提でサポートしたいと考えますが
もっと新しい機能も使ってみたいという方は
http://homepage3.nifty.com/k-takata/mysoft/bregonig.html
から、より新しいバージョンの物をダウンロードして使ってみてください。
（このサイトに書かれてるドキュメント自体も非常に参考になります。
バージョン毎の機能の違いも記述があります）
現状の最新はバージョン 3.05（perl 5.14 互換）のようです。
792： ◆/vmukiyuzw：2013/11/10(日) 22:35:54: バージョンアップしました（0.11.2）
　・「変換オプション」-「dat変換をしない（前処理のみ行う）」をONにした場合、
　　前処理の結果を「dat変換結果」欄に表示するようにした。
　　（もちろんそれをそのまま保存することも可能）
　・「正規表現」欄内で改行ができるようにし、それをprmファイルに保存・読み出し
　　できるようにした。

これらはプログラムの変更としては全然大した話ではないんですが、
使い勝手としてはかなり影響がある可能性があります。

まず１点目から。
>>790のようなのを書いてみて思ったのが、
もともとのソースがdat形式もしくはそれに近い形式のものは
無理やり htmltodat の変換メイン処理を通さなくても
そのまま単純に保存できたほうがいいケースもあるんじゃないかと。
今までも前処理中でwコマンドというのを使って保存することはできたのですが
元々デバッグ用というかイレギュラーな使い方ですしスクリプト等から使うことも難しいので
もっと普通に保存できるルートを付けてみた、というところです。

この機能は前処理のデバッグをするのにも結構役立つんです。
以前、某所で
「前処理の結果をwコマンドでいちいちテキストエディタで確認するのは面倒。
簡易的に表示できないか」
とのリクエストを受けた事があったんですが、
めぐりめぐってそれがやっと実現しました（遅すぎ＾＾；）
# 現在自分では bregonig.dll の機能の細かい確認のために使ったりもしてます

さて、２点目についてはちょっと長くなるんで次レス以降で。
793： ◆/vmukiyuzw：2013/11/10(日) 22:49:25: （>>792続き）

正規表現が長くなったり複雑になった場合に、
途中で改行やコメントを入れられたら読みやすくなるのにと思ったことがありました。

v0.9.0から正式採用した bregonig.dll
（htmltodat では互換性のため「bregexp.dll」にリネームして利用している）では
perl互換の「拡張正規表現」というものがサポートされていて
オプションに「x」を足すと、正規表現の途中に任意の改行や、
インデント等の為のスペースを入れることができるようになっています。
具体例としては以下のような感じ。
（ログ速の正規表現での例です。>>789での正規表現の記述と意味的には同じなので
見比べてみてください）

正規表現：
m`
(?# レス番号) <div\ id="(\d+)".*?
(?# 名前) <span\ class="n?em">.*?(.+?).*?
(?# メール欄) \[(.*?)\].*?
(?# 投稿日・ID) ：(.*?)\s*
(?# レス内容) <div\ class="comment">(.*?)</div>
`imkx

こんな書き方ができるようになったりします。
この例では正規表現の最後、`imkx の「x」が拡張正規表現オプションです。
拡張正規表現オプションを指定しないと途中改行等は使えないことにご注意ください。
（正規表現の可読性や保守性を上げるために役立つと思うのですが、
上の例自体はその目的に実際に合ってるのかはわかりません＾＾；今後の研究課題です）

この例のような書き方は bregonig.dll 自体でサポートされてるものなので
今回のバージョンアップをしなくても「正規表現」欄に記述して動作させる事はできます。
ただ今まではこのような途中改行された正規表現をprmファイルに保存・読み出しする事ができなかったので
実用上あまり意味がありませんでした。
それをできるようにしたのが今回のバージョンアップです。

この機能を利用する際には、いくつか考慮しないといけない事項があります。
やや長くなるので次レス以降で説明します。
794： ◆/vmukiyuzw：2013/11/10(日) 23:12:44: （>>793続き）

１．コメント問題

拡張正規表現では「(?#・・・)」の形式でコメントを入れる事ができます（>>793の例参照）。
実は、拡張正規表現でなくてもこの形式でコメントを入れる事はできるのですが、
改行の無い一行の正規表現中にコメントを入れても逆に可読性を損ねるのではないかと考えます。
途中改行が可能な拡張正規表現でこそ意味があると思います。

ところで、今まで htmltodat では正規表現のデリミタに慣習的に「#」を使っていました。
（「m#～#～」みたいな形式で）
一般的にはperl形式相当の正規表現ではデリミタには「/」が使われる事が多いと思うのですが
htmltodat では検索の対象がhtmlテキストということで
（かつ、htmlテキストではタグ内に「/」が多用されるのでぶつかっちゃうため）
いちいちエスケープする手間を省くため「#」を使っていたわけです。
実はデリミタ文字は対になってさえいれば何でもよいので、
「#」でなければいけないわけではありません。
（「#」を使っていたのは、あまりhtml中には登場しないだろうというのと、
あとは個人的な好みです）

ところが、「(?#・・・)」の形式でコメントを入れる場合、この「#」とぶつかってしまいます。
ではデリミタの方を変えるのがよさそうです。
前レスの例では「#」の代わりに「`」（バッククォート）を使ってみました。
（「`」は正規表現上でもhtml上でも他とぶつかる可能性が少なくてよさげなので
今後使っていきたいと思います）

あと、本家perlでは拡張正規表現の改行した途中の各行の後や行間に
「#・・・」形式のコメントが使えるのですが、bregonig.dll でも
この形式のコメントも使えるようです。
（これは bregonig のドキュメントには明記されていないようなのですが
実際試してみると使える）
こっちのほうが読みやすいという人もいるでしょう。
以下の例は、実際には半角スペースで「#」の位置を揃えてるんですが、
この掲示板での書き込みでは連続した半角スペースは省略されるので
不ぞろいになって見えると思います。
（この省略がなければ個人的にはこちらの方式を推したい気もするのですが）

正規表現：
m`
<div\ id="(\d+)".*? # レス番号
<span\ class="n?em">.*?(.+?).*? # 名前
\[(.*?)\].*? # メール欄
：(.*?)\s* # 投稿日・ID
<div\ class="comment">(.*?)</div> # レス内容
`imkx

（次レスに続く）
795： ◆/vmukiyuzw：2013/11/10(日) 23:28:43: （>>794続き）

２．半角スペース問題

今まで htmltodat の正規表現を記述する際には「<span class=・・・」みたいな書き方を
無造作にしていたと思うのですが、拡張正規表現を使う場合には
半角スペースは無視されてしまいます。
（インデントのためやコメントのための半角スペースを許す必要があるので）

上の例だと「<span」と「class」の間の半角スペースが無視されるため
そのままでは正しくマッチしなくなります。
半角スペースにマッチさせたい場合は「\s」等で代替する必要があります。
（「>793での例はこちらを使いました）

３．regexps.txt問題

これは互換性の問題としてやや重要な話です。

途中改行を許す拡張正規表現の形式は、
従来から htmltodat において正規表現の一覧を管理していた regexps.txt ファイルには
保存・読み出しする事ができません。

regexps.txt はもともと一行に一つの正規表現を保存する事を前提として設計していた機能なので
ここを変えるのはちょっと難しかったのです。
（というか正直には、言語のライブラリにあるiniファイル管理機能をそのまま使ってただけなので
拡張しようにも手が出せないってとこです）

prmファイルの形式であれば（改行あり前提の機能なので）もちろん保存できますし、
現状ではprmファイルでの管理のほうがいろいろと便利だと思われますので、
今後はこちらでの利用を推していきたいということでここの互換性の問題には目をつぶることにしました。
でもまあ、最初 htmltodat を使い始められる際には正規表現一覧から入られる場合も多いでしょうから
（readme に自分で「正規表現一覧から使え」って書いちゃってますしね＾＾；）
何らかの考慮が必要かなとは思っています。

（次レスに続く）
796： ◆/vmukiyuzw：2013/11/10(日) 23:36:17: （>>795続き）

当面の問題として、ユーザーの方が皆即座にバージョンアップしてくれるわけではないでしょうから
このスレで記述する正規表現等は旧バージョン準拠のものにすると思います。
ただ、前記「コメント問題」の考慮としてデリミタ文字には「`」を使ったり、
「半角スペース問題」の考慮として裸の半角スペースは使わず\s等で代用したりは
していきたいかなと思ってます。
で、まあちょっとずつ新バージョン対応のものも出していきたいかなと。

あと一点、さほど重要ではないかもしれませんが補足があります。
「正規表現」欄の m～形式の正規表現は「x」オプションにより途中改行ができるようになりましたが
「前処理」「後処理」等で指定する s～形式の正規表現は「x」オプションを使っても
途中改行は現状できません。

これは処理の都合なのですが、「正規表現」欄の正規表現はそのまま bregexp.dll に丸投げしているのに対し、
「前処理」等の正規表現は一行ごとに htmltodat 側で解析してから bregexp.dll に投げる方式になっており
この解析の方式を変えないと途中改行のある正規表現は使うことができないのです。
「前処理」等の場合はもともと一行ずつ複数の正規表現が順番に指定される事を想定しており、
一つの正規表現が途中で改行する事を想定して作っていないということです。
この仕様は今後改良する可能性はありますが、現時点ではあまり必要性は感じていないというところです。
（現状でも行間にコメントを入れるのは可能なので）

# 全然大したことないバージョンアップの説明に５レスも要してしまった・・・
# 自分の文章力の無さを嘆いています
797： ◆/vmukiyuzw：2013/11/17(日) 23:20:34: v0.10.0（>>743）以降の、prmファイル読み書き機能サポート以降
htmltodatの基本的な使い方が従来とは違う面が出てきていると思うのですが
まだちゃんと説明していなかったと思うのでここで一度説明しておきます。

例えば、（まあ最近ではログ速の例が多いのですが）
「サイトの仕様変更があった？」とか「ここのログを変換するには？」とかの質問があった場合
大体回答として>>789のようなレスが返されます。
まずこのレスをコピーしてください。
（レス全体でもいいが「コメント：」と書かれた行以降だけでもOK）

次にhtmltodatを起動し、下のほうにある「prmファイル(R)...」ボタンを押します。
「prmファイルの読み書き」というウィンドウが開きますので、
「prmファイルの内容」という欄上で右クリ「すべて選択」またはcntl+Aで全選択し
先ほどコピーした内容を貼り付けます。
貼り付けたら「適用(A)」ボタンを押します。
これで正規表現・変換オプション等の項目が一度に設定されます。
従来、一項目ずつ入力していたものがこれでかなり楽になると思います。

貼り付けた内容をファイルに保存するには「保存（S)...」ボタンを押します。
ダイアログが出るので適当な場所に適当な名前（例えば「ログ速.prm」）で保存します。
次回から使うときはこのウィンドウを開いてから「読込(L)...」ボタンで読み込めます。
（ファイルから読み込んだときは「適用(A)」ボタンは不要）

後は変換したいログのURLを入力して「HTML取得(G)」ボタンを押します。
「取得即変換」がONになっているはずなのでdat変換まで行います。
あとは従来どおり「dat保存(S)...」ボタンを押して保存します。

以前の基本的な使い方ではまずHTMLを取得してから正規表現を選んで・・・
みたいな手順だったと思うのですが、prmファイルの形式でパラメータが
指定されている場合、まずそれを指定してからHTMLを取得する、というのが
現在の仕様上では便利だと思われます。
798： ◆/vmukiyuzw：2013/12/10(火) 19:23:57: 予告されてたことですがしたらば掲示板のドメインが変更されました。
旧：jbbs.livedoor.jp
新：jbbs.shitaraba.net

htmltodatとして対応することは特にないのですが
http://mukiyu.g.ribbon.to/
からこの板にリンクをはってたんで、そこだけ修正しました。
799： ◆/vmukiyuzw：2014/03/08(土) 18:42:55: 状況が流動的なので現状を正確に把握できてるかわからないのですが。

2chの過去ログがdat落ちしたものであってもhtmlでは取得できるようになっているようです。
かなり過去のものはofflaw2でもdatが読めませんが通常のブラウザではhtmlで読めたりします。
であればhtmltodatにも出番があるのでは・・・
正規表現「read.cgi7.00？」で変換はできるんで以下にprmファイルバージョンを。

コメント：
2chのログでhtml化されているがdatに残っていないものを変換。
元datに近づけるためアンカー削除はオフに

アンカー削除：
false

正規表現：
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)<dd>(.*?) (<dt.*?>|</dl>)#mi
800： ◆/vmukiyuzw：2014/04/05(土) 22:45:33: バージョンアップしました（0.11.3）
　・表示の不具合を微修正

今回は、プログラムのコード自体は一切弄っていません。
メインのPC環境がWindows8.1に移行したので、そちらで動作確認していたところ
一部の機能で表示に若干の不具合が出たためそれを修正しました。
（ウィンドウの枠サイズを修正した程度）

また、今回から開発環境自体をWindows8.1上に移行しています。
開発ツールは今までと同じなので基本的にexeの互換性は問題ないはずなのですが
何かありましたらご報告を。（一応XPでも動作確認はしています）
801： ◆/vmukiyuzw：2014/04/26(土) 21:21:17: >>799 を若干修正。
URLの変換を追加。
2chの過去ログ（html）から取得するのだからURL変換は必要ないかと最初思っていたのですが、
専ブラの外部コマンド等から呼び出す場合、
引数のURLに意図した以外の形式のものが渡ってくる可能性があると分かったので、
無駄な情報が渡らないよう変換プロセスを通したほうがいいと考えました。

コメント：
2chのログでhtml化されているがdatに残っていないものを変換。
元datに近づけるためアンカー削除はオフに

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

アンカー削除：
false

正規表現：
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)<dd>(.*?) (<dt.*?>|</dl>)#mi
802：名無しさん：2014/10/01(水) 12:53:49: ◆/vmukiyuzwさんへ報告ですが
htmltodat0.9.0以降、Windows2000sp4で起動した場合、GUIがこの様↓になってしまっています
(GUI下部の機能が非表示、外周のウィンドウ自体を広げたり狭めても表示されず)
http://light.dotup.org/uploda/light.dotup.org79528.jpg

それと13/11/26(火) 19:05:15「・ート後処理.prm」は正常なファイルなのでしょうか？
このファイルのみ破損しており解凍できません
よろしくお願い致します
803： ◆/vmukiyuzw：2014/10/01(水) 19:25:48: >>802さん
> (GUI下部の機能が非表示、外周のウィンドウ自体を広げたり狭めても表示されず)

バージョン0.11.0から、使用頻度の少ないと思われる機能を非表示にしました。
画面のどこか何もないところ（プレビュー欄の右上など）を
ダブルクリックすると表示されるようになります。
>>784参照。

> このファイルのみ破損しており解凍できません

圧縮時に破損してしまったようです。失礼しました。
圧縮しなおして差し替えました。
804： ◆/vmukiyuzw：2014/10/01(水) 20:22:28: > それと13/11/26(火) 19:05:15「・ート後処理.prm」は正常なファイルなのでしょうか？

まあ、そのファイル（正しい名前は「ソート後処理.prm」）は
http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/165-
で実験して遊んでた時にできた派生物が紛れ込んじゃっただけなので
無視してもらっても構わないと思います。
805：名無しさん：2014/10/01(水) 20:42:17: ダブルクリックの件はreadme.txtのわかりやすい所に書いといて欲しかったです(一括変換は割とよく使う為)
ソート後処理.prmは問題無く解凍できるようになりました
ありがとうございました
806： ◆/vmukiyuzw：2014/10/01(水) 21:02:38: >>805
意外でしたが一括変換にはまだニーズがあるんですね。
次のバージョンアップでは復活を検討します。
807： ◆/vmukiyuzw：2014/10/19(日) 20:13:28: http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/198,206

↑で実験しているのは、Fiddlerっていうツールを使って
ローカルプロキシ経由でのhtmltodat的処理を試しているものですが
htmltodatの「read.cgi7.00？」の正規表現をベースにスクリプト化したものを
使っています。
で、このスクリプトを弄っているうちに、read.cgiからのhtmlを
生datとほぼ一致するdatに変換できるようになりました。
ので、その成果（というほどのものでもないか）をこちらにもフィードバックしておきます。
>>799,801 への修正という形になります。

コメント：
# 2chのログでhtml化されているがdatに残っていないものを変換。
# 元datに近づけるためアンカー削除はオフにし
# 後処理で不要なもののみ削除する。

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

アンカー削除：
false

プレビューを表示しない：
true

後処理：
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# BE周りの処置
s#<img src="http://(img\.2ch\.net/.+?)">#sssp://$1#igk
# 以下はhtmltodatの内部処理に組み込まれているので不要
#s#<a href=.?javascript:be$(\d+)(?:,\d+)?$.*?>\?(.*?)</a>#BE:$1-$2#igk

正規表現：
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)<dd>(.*?) (<dt.*?>|</dl>)#mi
808：名無しさん：2014/12/13(土) 03:49:50: ttp://geass2chlog2.web.fc2.com/main/1149586971.html
上のようなページをdat化するにはどうしたらよいのでしょうか
よろしければ教えてください
809：名無しさん：2014/12/13(土) 04:12:31: >>808
そのページの先頭にある『元のスレッド』の文字列上を右クリしてリンクをコピー
http://anime.2ch.net/test/read.cgi/anime3/1149586971/
これをhtmltodatに投げればおｋ

専ブラで過去ログ取得の設定がしてあればそのままのリンクをアドレスバーに貼り付けるだけでも可なんだけど
もしかするとボードデータの更新を怠っていたり板一覧取得先のURLが死んでたりすると
http://hayabusa6.2ch.net/test/read.cgi/anime3/1149586971/
という現行鯖のリンクに切り替わらないのでそんな時もhtmltodatがあれば大丈夫
810：名無しさん：2014/12/13(土) 05:39:10: あ、ごめん
完全補完ということなら2ch過去ログパラメータじゃ無理だわ
811：808：2014/12/13(土) 17:56:11: 2005年6月頃から2007年1月頃までの間のアニメ板のログが全て見れない状態なんですよね
なのでこの間のログは「みみずん」や「２ちゃんねるの国」等のミラーサイトから取得しているのですが全て揃っているわけでもなく…
ttp://geass2chlog2.web.fc2.com/main/index000.htmlのように2chに似た形でログを残してくれているサイトもいくつか存在しているので
これらをうまくdatに変換できないかと思い質問しました
812： ◆/vmukiyuzw：2014/12/13(土) 19:38:10: >>808さん
そのサイトについては以下のようなのでいけると思います。
一応prmファイルの形式で書いてますが、前処理等はいらなさそうなので
従来の使い方（正規表現一覧に登録して使用）のほうが楽かもしれません。
その場合コメントは無視してください。

コメント：
# アニメ板過去ログ保存サイトgeass2chlog2.web.fc2.comの変換用
# 正規表現は「read.cgi7.00？」を修正したもので上位互換性あり

正規表現：
m#<dt.*?>\s*([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>)*\s?：(.*?)<dd>(.*?) (<dt.*?>|</dl>|<script)#mi
813：名無しさん：2014/12/13(土) 20:42:35: >>812
無事変換できました
ありがとうございました
814： ◆/vmukiyuzw：2014/12/13(土) 23:00:10: >>809さん
多分、htmltodat-convert2をお使いでテストスレのほうに投稿くださった方ですよね？

> http://anime.2ch.net/test/read.cgi/anime3/1149586971/

このスレはうちの環境からはhtmltodat-convert2で>>807相当のprmファイルを使っても読めなかったです。
汎用ブラウザで開こうとしても「あなたは間違った道を歩んでいます誠に申し訳ございません。」
のエラーメッセージが返されます。

現状2ch.netではdatでは読めない過去ログでもread.cgi叩けば大抵読めるようですが
それでもやはり取れないログはあるようです。
一時期サーバが物理的に死亡して外部サイトからログを募集してたこととかありましたね。
あの辺のログは2ch.netのサーバには存在してないのかもしれませんね。
815：名無しさん：2014/12/14(日) 00:13:52: >>814
件のスレは908レスまで取得できたんだけど何が違うんだろう
816： ◆/vmukiyuzw：2014/12/14(日) 00:50:38: >>815
>>808のログには1001レスまであるので、もしread.cgiから取得できるのであれば
こちらも1001レスないとおかしいですよね。
調べたらみみずんから取得できるログは908レスまでのようです。
Getlogコマンドとの併用辺りでどこかで勘違いがあるのでは。
817：名無しさん：2014/12/14(日) 03:54:00: みみずん←ｿﾚﾀﾞ!!
Xeno本体内蔵のみみずん機能の切り忘れでした大変申し訳ない
818： ◆/vmukiyuzw：2014/12/27(土) 20:56:26: したらばの過去ログの取得方法が変更されたということなので
（旧URL：http://jbbs.shitaraba.net/カテゴリ/板番号/storage/スレッド番号.html
　新URL：http://jbbs.shitaraba.net/bbs/read_archive.cgi/カテゴリ/板番号/スレッド番号/　）

htmltodatで変換できるか確認してみたのですが、htmlの形式に変更はないようで
従来の正規表現「jbbs過去ログ」で変換可能なようです。

せっかくなんでこの際prmファイル化も考えておこうかなと思ったんですが
実はあんまりやる事がない・・・
旧URLから新URLへ飛ばすために「URLの変換」を指定するのかなと思ったんですが、
これはしたらば側でリダイレクトで飛ばしてくれるようなので
（でhtmltodatはリダイレクトを追尾するようになってるので）
当面これも指定する必要がなさそうなんです。
で、prmファイルをあえて作るなら以下の一行のみでOK。

正規表現=jbbs過去ログ
819： ◆/vmukiyuzw：2015/01/18(日) 22:59:05: 2ch.netのread.cgiが返すhtmlの形式が微妙に変更されているようです。
最近導入されたCloudFlareの仕様なのか設定なのか、
メール欄をエンコードして難読化する機能があり（ボット等に収集され
スパムに利用されるのを防ぐためのものらしい）、今まで

<a href="mailto:sage">

みたいな形式でメール欄が表現されていたのが

<a href="/cdn-cgi/l/email-protection#abd8caccce">

みたいになります。
（全部のレスがそうなるわけじゃなく途中から元の形式に戻ってたりするのが
いまいちよくわからんのですが）

で、エンコード部分をデコードするのにはアルゴリズムがあるので
JavaScriptとか使えば難しくはなさそうですが
正規表現だけでやろうと思うとちょっと厳しそう。
てことでhtmltodat的に考えると現状で変換するのはちょっと無理かな・・・

んで、今後どうするかですが。
現状では>>807のprmファイルで変換すると<a href="/cdn-cgi～のタグは
無視されるだけなので単にメール欄がないレスとして扱われます。
とりあえずこの現状で勘弁してもらえるか。
htmltodatの機能として対応するとなるとなかなか面倒そう。
一番うれしいのはCloudFlareの設定変えてもらってメール欄のエンコードを
やめてもらえるといいんですがね・・・2chサイドから見ると特にメリットもデメリットも
なさそうなんで望みは薄いかなぁ。
820： ◆/vmukiyuzw：2015/01/19(月) 21:10:48: >>819に関連して
2chのread.cgiのレスポンスが変更されてるので、ミラーしてるログ速なんかにも
影響でてるんじゃないかと思って調べてみたんですが
ログ速がうまくやってるのか特に影響はなかったみたいです。

ただ、ログ速のhtml形式がいつの間にか微妙に変更されていて
今までの記述ではうまくマッチしなくなってる
（エラーになるわけではないがdat中に不要なタグが混入する）
ようなので修正してみました。
正規表現に拡張形式を使ってみたのでhtmltodatのバージョン0.11.2以上で
使ってください。

コメント：
# ログ速変換用-20150119
# ID周りの変更に対応

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://logsoku.com/thread/$1/$2/$3/#

前処理：
# スレタイ補正
s#(<title>)(.*?) \| \S*?(</title>)#$1$2$3#ik
# ニュー速等のアイコンを2ch形式に補正（663さんのものをアレンジ）
s#<img src="http://cdn.logsoku.com/(img.2ch.net/ico/.+?)">#sssp://$1#igk
# 「～回発言」を取り除く（663さんのものをアレンジ）＋ID周りの変更を反映
s#(ID)(:)<span.*?>(.*?)(.*?)\[.*?\]#$1$2$3$4#igk
# ニコ動やyoutubeのサムネイル削除
s#<div class='video.*?>.*?<img .*?></div>##igk
s#<(iframe|img class).+? ##g;
# タグに対応してない専ブラへの対応
s# # #igk

プレビューを表示しない：
false

変換結果式：
$2<>$3<>$4<>$5<>

正規表現：
m`
(?# レス番号) <div\sid="(\d+)".*?
(?# 名前) <span\sclass="n?em">.*?(.+?).*?
(?# メール欄) \[(.*?)\].*?
(?# 投稿日・ID) ：(.*?)\s*
(?# レス内容) <div\sclass="comment">(.*?)</div>
`imkx
821： ◆/vmukiyuzw：2015/01/24(土) 01:28:00: バージョンアップしました（0.11.3）
　・2chのCloudFlare採用によるメール欄の難読化をデコードするよう修正。
　・Ver0.11.0で削除したコントロールのうち
　　「一括変換」「subject.txt作成」を復活。

一点目は>>819で書いたことに関連してなのですが
対応策をいろいろ検討した結果、htmltodat内部に
デコード処理を取り込むのが当面いいかなと考え
そのように修正しました。
それ以外のエンコードロジックが出てきたらどうするんだとか
汎用性の面で問題はあるのですが、これに汎用的に
対処しようと思うとなかなか難しい面があって・・・
まあ当面対処すべきなのは１パターンだけですし
汎用性が要求されるケースが発生したらその時考えます。

で、若干の考慮事項があるのですが次スレで。

二点目は、>>805で「一括変換は使う」という方がいらっしゃったので
確かにまだニーズはありそうだなと復活させてみました。
「subject.txt作成」は「一括変換」を使う人には必要かもと思い
一緒に復活させました。
822： ◆/vmukiyuzw：2015/01/24(土) 01:36:20: >>821の関しての考慮事項です。
（バージョン番号間違えた。0.11.4です）

この変更は、>>819に書いたように

> <a href="mailto:sage">
> みたいな形式でメール欄が表現されていたのが
> <a href="/cdn-cgi/l/email-protection#abd8caccce">
> みたいになります。

となってしまうのを、元の"mailto:sage"に戻すためのものなわけです。

ところで、エンコードされた形式の
/cdn-cgi/l/の部分をハードコードするには気持ち悪かったのと、
内部処理的に、<a href="mailto:email-protection#abd8caccce">
みたいにmailtoの内容として表現されていると処理しやすい
というのがあったんで、前処理で変換してくださいという仕様にしました。
（形式が変わっても"mailto:email-protection#～"の形式にすれば変換可能ということ）

これを含んでのread.cgiの変換prmは以下のように。

コメント：
# 2chのread.cgiからの出力を変換-20150124
# 元datに近づけるためアンカー削除はオフにし
# 後処理で不要なもののみ削除する。
# メール欄デコード処理対応を反映

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

前処理：
# メール欄デコードの前処理
s#(<a href=)"/cdn-cgi/l/(email-protection\#.*?">)#$1"mailto:$2#ikg

アンカー削除：
false

プレビューを表示しない：
true

後処理：
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# BE周りの処置
s#<img src="http://(img\.2ch\.net/.+?)">#sssp://$1#igk
# 以下はhtmltodatの内部処理に組み込まれているので不要
#s#<a href=.?javascript:be$(\d+)(?:,\d+)?$.*?>\?(.*?)</a>#BE:$1-$2#igk

正規表現：
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)<dd>(.*?) (<dt.*?>|</dl>)#mi
823： ◆/vmukiyuzw：2015/02/04(水) 00:46:45: バージョンアップしました（0.11.5）
　・prmファイル作成時に、無駄な要素（デフォルトから変更していない
　　チェックボックスの内容）が含まれないようにする。
　・「HTMLソース」「dat変換結果」欄の内容をエディタで開く機能を追加。
　　（それぞれの欄の右クリックから指定）

今回はまあ正規表現書いたりprmファイル作ったりする
開発サイドの人（ってほぼ私か＾＾；）向けの機能強化です。

一点目は、今まではprmファイルを作成しようとするときに
デフォルトから変更していないチェックボックスの情報も全部出力され
ちょっと冗長な状態になっていました。
これを、デフォルト状態から変更されていないものは出力しないよう
修正しました。
今までは実は目で見て削除していたんですがそれが多少楽になるかな
て感じです。

二点目は、これはかなり前からやりたかったことなんですが、
「HTMLソース」「dat変換結果」欄は表示するデータ量も多いので
もっと大きいウィンドウで表示したり自由に検索したりしたかったのですが
現状の機能の延長線では難しかったので、外部エディタでの表示による拡張を
することにしました。これにより正規表現等の作成が捗ることになると思います。
（現状でも私はエディタにコピペして作業することがほとんどだったので）

デフォルトでは、拡張子 .txt に関連付けられたエディタが起動します。
（関連付けを特に弄ってなければ普通はメモ帳になると思います）
好みのエディタに変更したい場合は、iniファイルで変更できるように
しました。配布ファイルにサンプルのhtmltodat.iniファイルを
同封しているので弄ってみてください。
（今のところ、エディタ側で編集してその結果を反映、とかはできません）
824： ◆/vmukiyuzw：2015/02/08(日) 12:21:57: バージョンアップしました（0.11.6）
　・前バージョンの「エディタで開く」機能に不具合があったので修正。

今回は不具合修正のみです。
エディタによっては、htmltodatのインストールパスに空白を含む場合に
上手く起動できないケースがあったので修正しました。

自分の環境で使ってる時にはパスに空白を含まないとこで使ってるので
気づくのにちょっと時間かかりました。
今後も同様な問題は起こり得るんで気を付けないといけないですね。
825：名無しさん：2015/03/15(日) 00:11:15: htmltodatByFiddler 1.03使わせてもらってます
JaneXeno 150312(Win7 64bit)で余裕で動きました
ありがとうございます
826：名無しさん：2015/03/17(火) 21:25:36: htmltodatByFiddler1.03を使わせてもらってます。
質問です。
UAをMonazillaから以下に書き換えると全レス”ここ壊れてます”と出て、
レスを取得できません。
なんででしょうか？以下に書き換えてます。

(oSession.oRequest["USER-AGENT"].Contains("Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko"))) //専ブラ以外からのリクエストは変換しないほうがよさそう。Monazillaを名乗らない専ブラの場合は適当に変えて下さい
827：名無しさん：2015/03/17(火) 22:01:35: >>826
OnBeforeRequest内でIEのUser-Agentに書き換えた上で、OnBeofreResponseのそのif文書き換えてるんだよね？
828： ◆/vmukiyuzw：2015/03/17(火) 22:14:18: >>826さん
UAを変更したいという話なら、修正個所はそこではなく、
OnBeforeRequest のほうに次の一行を足してください。

oSession.oRequest["USER-AGENT"] = "Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko";

お書きいただいたOnBeforeResponse のほうの判定ロジックは
現状あんまり意味ないと思うので外してくださっていいと思います。

if ((oSession.url.match(/(?:\.2ch\.net|\.bbspink\.com)\/test\/read/)) &&
(oSession.oRequest["USER-AGENT"].Contains("Monazilla"))) //専ブラ以外からのリクエストは変換しないほうがよさそう。Monazillaを名乗らない専ブラの場合は適当に変えて下さい

この2行は、以下に変更して下さい。

if (oSession.url.match(/(?:\.2ch\.net|\.bbspink\.com)\/test\/read/))

上のロジックを入れていたのは、Fiddlerがデフォルトでは汎用ブラウザのプロキシになっちゃうので
汎用ブラウザからread.cgiを見た時にdat変換されちゃうのはまずいかなと思っていたためです。
ですが、Fiddlerのオプションで「Act on system proxy startup」をオフにすれば
問題ないと分かったので、外して構わないと考えました。
829：名無しさん：2015/03/17(火) 23:46:58: >>826-827
ありがとございます。
>>827に書き換えで出来ました。
830：名無しさん：2015/03/17(火) 23:48:20: 間違えました。
>>827-828
ありがとうございました。

>>828に書き換えで出来ました。
831：名無しさん：2015/03/18(水) 19:53:36: 2chブラウザ Jane Style Part117 [転載禁止](c)2ch.net
http://anago.2ch.net/test/read.cgi/software/1426520789/614

614 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/03/18(水) 18:50:16.69 ID:gSYCzAIq0
http://mukiyu.g.ribbon.to/
　htmltodat 0.11.6(910k byte)の中のhtmltodat.exe/bregexp.dll/ntf32.dllの3つと
http://mirrorhenkan.g.ribbon.to/jane/htmltodat-convert2/
　htmltodat-convert2_20121221 (5k byte)の中のhtmltodat-convert2.wsfをJane2ch.exeと同じフォルダに解凍する

http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038588508/822の

コメント：
（中略）
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)<dd>(.*?) (<dt.*?>|</dl>)#mi

までコピーする

htmltodat.exeを起動
左下3番目prmファイルボタン→入力欄を右クリックして貼り付ける
保存ボタン→任意の名前.prmと名づけJane2ch.exeと同じフォルダに保存する
htmltodat.exeを閉じる

command.datを開き
LINKからdat取得=wscript "$BASEPATHhtmltodat-convert2.wsf" "$LINK" "任意の名前"
入力からdat取得=wscript "$BASEPATHhtmltodat-convert2.wsf" "$INPUT" "任意の名前"
と入力して上書き保存

あとはGetLogと同じ右クリから外部コマンド使って取得
ただし差分入力には対応してないのでログが多少でもある場合は
スレurlをコピー後ログ削除→右クリ入力からdat取得でペーストして取得
832：名無しさん：2015/03/18(水) 19:54:46: 2chブラウザ Jane Style Part117 [転載禁止](c)2ch.net
http://anago.2ch.net/test/read.cgi/software/1426520789/622

622 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/03/18(水) 19:13:19.12 ID:SPOUqZL00
"$LINK"は"$LINK$URL"の方がいいよ
開いてるスレですぐ使える

2chブラウザ Jane Style Part117 [転載禁止](c)2ch.net
http://anago.2ch.net/test/read.cgi/software/1426520789/626

626 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/03/18(水) 19:18:13.92 ID:2NT7R8KV0
"$LINK$URL"だとgetlogと全く同じ使い方できるね
色んなパターン作っておけばいいか
後はこの閉じて開き直す手間が無くなれば完璧なんだけど厳しいか
833：名無しさん：2015/03/20(金) 10:21:08: 2chブラウザ Jane Style Part11(c)2ch.net （実質Part118スレ）
http://anago.2ch.net/test/read.cgi/software/1426777984/113,134,148より

・フォルダで管理する場合

例
Jane Style
　　 ┗script
　　　　　┗htmltodat
　　　　　　　　　┗htmltodat-convert2.wsf

・command.datに
LINKからdat取得=wscript "$BASEPATHscript\htmltodat\htmltodat-convert2.wsf" "$LINK$URL" "任意prm(拡張子書くな)"

・htmltodat-convert2.wsf修正箇所
【13行目挿入】
var base = (new ActiveXObject("WScript.Shell")).CurrentDirectory + "\\";
(new ActiveXObject("WScript.Shell")).CurrentDirectory = cur;

【20行目　curをbaseに】
var log = GetProf("PATH", "LogBasePath", base, base + "Jane2ch.ini");

【66行目　curをbaseに】
cmd.Run("\"" + base + "Jane2ch.exe\" " + "\"" + WScript.Arguments(0) + "\"");
834：名無しさん：2015/03/20(金) 10:21:52: 2chブラウザ Jane Style Part11(c)2ch.net （実質Part118スレ）
http://anago.2ch.net/test/read.cgi/software/1426777984/135より

必ず1つ下のサブフォルダの固定でよければ、

1.「htmltodat」というサブフォルダを作り、
bregexp.dll,nkf32.dll,htmltodat.exe,htmltodat-convert2.wsf,任意の名前.prm
の5ファイルを移動

2.htmltodat-convert2.wsfを2行修正する
20行目
var log = GetProf("PATH", "LogBasePath", cur, cur + "Jane2ch.ini");
　↓
var log = GetProf("PATH", "LogBasePath", "", cur + "..\\Jane2ch.ini");

66行目
cmd.Run("\"" + cur + "Jane2ch.exe\" " + "\"" + WScript.Arguments(0) + "\"");
　↓
cmd.Run("\"" + cur + "..\\Jane2ch.exe\" " + "\"" + WScript.Arguments(0) + "\"");

3.command.datのwsfとprmファイルにパスを追加
LINKからdat取得=wscript "$BASEPATHhtmltodat\htmltodat-convert2.wsf" "$LINK$URL" "htmltodat\任意の名前"
入力からdat取得=wscript "$BASEPATHhtmltodat\htmltodat-convert2.wsf" "$INPUT" "htmltodat\任意の名前"
835：名無しさん：2015/03/22(日) 14:22:53: janexeno & chaikaでhtmltodatByFiddler 2.00を使わせてもらっています

http://kanae.2ch.net/test/read.cgi/nmb/1423569517/
このスレを新規で読み込んだ後、新着チェックをすると416になり「ここ壊れてます」となります。

http://anago.2ch.net/test/read.cgi/software/1426858616/907
ということらしいので差分取得の部分を修正すればいいと思うのですが
htmltodatByFiddlerではどう修正すればいいでしょうか？
ご教示お願いします
836： ◆/vmukiyuzw：2015/03/22(日) 19:35:48: >>835さん

http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/239

にレスしました。
まあそんなこだわりがあるわけでもないんですが
htmltodatByFiddlerについては上のスレでやってきたので
情報が分散するのはあまりよくないなというのと、
本家（？）htmltodatの話題と混ざるとややこしいかもという
感じです。
837：835：2015/03/22(日) 20:09:18: >>836
さっそくの対応ありがとうございます。

スレ違いだったようで申し訳ありませんでした。
fiddlerに関する話題はそちらのスレにお邪魔させていただきます。
838：名無しさん：2015/03/23(月) 00:34:48: Fiddlerとかあったのか

謎の多い迎撃機だよな
839：名無しさん：2015/03/24(火) 23:28:58: 突然ですが質問させていただきます。
以下のような、外部板の過去ログとして保存されているスレッドの場合、
http://www2.atchs.jp/spacestar/oldkako/
HTML化は通常の方法でやっても良いのでしょうか？
また、正規表現はどれを選択すれば良いのでしょうか？

どうか返答をお願いします。
840： ◆/vmukiyuzw：2015/03/25(水) 01:03:27: >>839さん
そこの保存過去ログに限定しての回答でいいですかね？

> HTML化は通常の方法でやっても良いのでしょうか？

とは多分prmファイルを使わない方法でもいいかという意味かと思うのですが
そこのログに関していえば前処理も必要になりますので
prmファイルを使わない場合前処理と正規表現の両方の管理が必要になります。
それでも構わないというならいいですがお勧めはprmファイルのほうですね。
前処理・正規表現は以下でいけるかな。
サンプルが少ないのでまだわからないとこもありますが。

前処理：
s` ` `ig
s`.nbsp; </dt>``ig

正規表現：
m`<DT>(?:<A.*?>)?([0-9]+).+?(?:<A HREF="mailto:(.+?)">)?(.*?)(?:</A>|) ?：(.*?)<DD>(.*) (<dt>|</dl>)`mik
841：名無しさん：2015/03/25(水) 18:20:03: >>840
ありがとうございます。無事にdat化に成功しました。
prmファイルというのがわからず検索しましたが理解できませんでした。
普通にhttp://www2.atchs.jp/spacestar/oldkako/3.htmlをHTML化し、
◆/vmukiyuzwさんが教えてくれた前処理と正規表現を記入して変換開始を押しました。

しかし、dat化したファイルを専ブラで読んだ後、専ブラを再起動させると
スレビューが真っ白になり読めなくなってしまいます。
読みたくなったら専ブラを起動するたびにdatファイルを放り込まないといけないようです。
842： ◆/vmukiyuzw：2015/03/26(木) 00:05:44: >>841

> しかし、dat化したファイルを専ブラで読んだ後、専ブラを再起動させると
> スレビューが真っ白になり読めなくなってしまいます。
> 読みたくなったら専ブラを起動するたびにdatファイルを放り込まないといけないようです。

専ブラの種類＆バージョンは何でしょう。
あとdatファイルの取り込みはどのように行いましたか？
環境が許せば追試してみます。

# といいながら明日からちょっと忙しいので週末まで何もできないんですが
843：名無しさん：2015/03/26(木) 02:10:21: >>842
専ブラはJaneXenoです。
datの取り込み方は、http://www2.atchs.jp/spacestar/　を板登録して、
その板一覧にdatファイルをドラッグ＆ドロップしました。
それ以外の方法を知らないので…

お忙しい中すみません。
時間ができたらで結構ですのでどうかよろしくお願いします。
844：名無しさん：2015/03/26(木) 07:40:35: >>843
横からごめんなさい。（◆/vmukiyuzwさんではありません）
D&Dはとりあえず読むための方法ですね。
その板はどのツリーに、何という名前で登録しましたか。
例えば、　外部板
　　　　　　　　└宇宙の星
というように登録したのだとしたら、（適当でごめんなさい）
\JaneXeno\Logs\2ch\外部板\宇宙の星　という感じのフォルダがあるはずです。
コンピュータからこのフォルダを開いて、ここにファイルを移動します。
よくわかんなければ、外部コマンドに
%板フォルダを開く=explorer "$LOCALDAT\.."
と書いて、板一覧で右クリックし、「板フォルダを開く」をクリックすれば、フォルダが開きます。
845：名無しさん：2015/03/26(木) 22:00:18: >>844さん、アドバイスをありがとうございます。
その通りに実行したのですが、やはりスレは真っ白で何も表示されませんでした。
（コマンドも登録しましたが実行されませんでした）
やはり特殊な過去ログ倉庫に入っているスレだからでしょうか。

板登録は、　その他
　　　　　　　　　└宇宙の星
というふうにしました。
846：名無しさん：2015/03/27(金) 00:08:01: 2chで途中までログを持っているスレで使用するには
一旦ログを削除してからhtmltodat-convert2.wsfを実行するしか方法はないのでしょうか？
847：名無しさん：2015/03/27(金) 00:54:04: 質問というか要望というか、です。

1、スレタイの挿入位置を任意のところにしたいのですがデフォで出来ますか？
2ch形式と違いしたらばではスレタイがレス1の末尾でなくその1つ前のブロックなので、
正規表現と変換結果式を工夫してみたり、後処理の中で出来ないかと試したのですが一向にうまくいきません。
もしスレタイ挿入が後処理のあとなのでしたら、変換結果式の中で$titleのような形で指定できるようにしてほしいです。

2、上に関連してですが、したらばのタイトルは<h1>タグの方が本来のタイトルなのでそちらから取得するようにしてほしいです。
前処理でのスレタイ補正も考えたのですが、スレタイや板名次第では面倒なことになるので。
より汎用的にするなら変換結果式の中で$h1titleのような形で指定できたらと思います。

3、datを保存するときに文字エンコードを変更したいのですがどこで指定できますか？
readmeに書かれている「保存文字コード」を探したのですが見つけられません。
少なくともdat保存時のダイアログには表示されてないのです。

一応使用環境はOSはXP SP3、専ブラはChaikaです。

よろしくお願いします。
848：844：2015/03/27(金) 07:52:24: >>845
・Windowsのバージョンは？
・Jane2ch.exeの場所は？
　ショートカットから起動しているなら、それを右クリックして「リンク先」をここにコピペしてください
・JaneXenoの設定－【パス】の「ログとボード一覧のフォルダ」をコピペしてください
・その板の現行スレの一覧は見えていますか？
・取得した現行スレはありますか？
・外部コマンドをまだ削除していなければ、スレ一覧で右クリックして「板フォルダを開く」が見えますか？

> やはり特殊な過去ログ倉庫に入っているスレだからでしょうか。
そんなことはないです。
849：845：2015/03/27(金) 18:16:11: >>848さま

・Windowsのバージョンは？
Windows7 Home Premiun SP1

・Jane2ch.exeの場所は？
C:\Users\***\Documents\Jane Xeno\Jane2ch.exe

・JaneXenoの設定－【パス】の「ログとボード一覧のフォルダ」をコピペしてください
今見たら白紙状態でした。どう設定すべきでしょうか？（もしやこれが問題！？）

・その板の現行スレの一覧は見えていますか？
はい、見えています。

・取得した現行スレはありますか？
ありません。

・外部コマンドをまだ削除していなければ、スレ一覧で右クリックして「板フォルダを開く」が見えますか？
見えます。クリックしたところ、ちゃんと目的のところまでファイルが開きました！
datをそこにコピーして開いてみたのですが、
（･∀･）ｻﾃｵｼｺﾞﾄ･･･　　　　　　　　　　ε三三三三（; ･∀･）鯖ﾏﾃﾞｵﾂｶｲ
HTTP/1.1 400 Bad Request
（･∀･）（･∀･）ｵﾂｶｲｵﾜﾘ　三三三三３
（･∀･∀･）
（･∀･）ﾅﾝｶｴﾗｰﾀﾞｯﾃ HTTP/1.1 400 Bad Request
（･∀･）ｶﾝﾘｮｳ!!
というエラーで読むことはできませんでした。
850： ◆/vmukiyuzw：2015/03/28(土) 02:33:29: ちょっと忙しくて離れてた間にあちこちでいっぱいレスがついてる・・・＾＾；
とりあえずややこしそうなのから行ってみよう。

>>847さん
そもそも、したらばのログを変換してChaikaで読みたいという話なんですよね？
Chaikaの仕様をよく知らないのでわからないとこもあるんですが、
読みたいログはしたらばの現行（生きてる）ログ？それとも過去ログ？
現行ログにしてもhtmlで取得する（read.cgiを使う）方法と
したらば独自のrawmode.cgiを使う方法があるのですがどちらですか？
（貴方の書き方ではどれにでも判断できる気がしてよくわかりません）

変換したいURLのサンプルを（できれば複数）示していただきたく。
また、欲しい結果の形式も通常の2chのdat形式と違うような気もするので
その場合はそれも示していただければと。

1と2についてはまずはそこからってとこで。
3については、確認なんですがChaikaではしたらばのログはEUCのまま
ログを保存してるんですかね？
大抵の専ブラは2chと同様に扱いたいためSJISに変換して保存してるのが
ほとんどだと思うんですが、Firefoxのプラグインだからその辺あまり
頓着しなくてもできるってことなのかな？
851：848：2015/03/28(土) 07:40:32: >>849
そうそう、パスにユーザ名が入っていたら伏せてください、って書くの忘れました
ちゃんと***にしてくれてよかったです
ログとボード一覧のフォルダも、（空欄のこともあります）と書いておいたほうが親切でしたね

\Program Filesフォルダ絡みだと超めんどくさいんで、とりあえずそうでなくてよかった

現行スレの一覧が見えるなら、外部コマンドで開いたフォルダにsubject.idbとsubject.txtが
あるはずなのですが、ありますか？　他にファイルはありますか？
フォルダ名は「宇宙の星」で、フォルダのプロパティの「場所」は、
「C:\Users\***\Documents\JaneXeno\Logs\2ch\その他」となっていますか？

以下を試してみてください
・スレ一覧で「宇宙の星」板を開いていたら、閉じる
・レス欄でそのスレを開いていたら、削除する
　フォルダにコピーしたdatは消えると思います
・あらためて、（JaneXenoにではなく）フォルダにdatファイルをコピーする
・「宇宙の星」板を開く
これでスレ一覧の一番下にそのスレが出てくるはずなのですが…
852：848：2015/03/28(土) 07:44:36: はっ、◆/vmukiyuzw さんが！
>>850
>>844,848,851
853：848：2015/03/28(土) 07:51:18: ミスった…>>852

>>850
>>844,848,851 です。
差し出がましいとは思いましたが、htmltodatとは関係ない所でつまづいてるっぽかったので…
JaneXenoユーザなのでこのくらいは。
chaika使っていればそちらもお手伝いできるんですが、そうじゃないのでさっぱりです。
854：847：2015/03/28(土) 22:53:44: >>850
まず確認不足による事実誤認があったので一部撤回します。

>>847の2について現行、過去ログ問わずh1タグが本来のスレタイだと思ってましたが、過去ログではh1タグ自体がないのですね。
てっきりしたらば共通仕様としてあるものとばかり思ってました。
また仮にh1タグの方を使いたい場合でも前処理で本来のタイトルを削除後h1タグをtitleタグに置換すればいいだけと気づきました。

そういうわけで2については撤回します。申し訳ない。

で変換したいのは過去ログです。
ただChaikaと他の専ブラのdatの扱い方が根本的に違うので、どこのスレと指定する必要はないかな。
なんせ、

> 大抵の専ブラは2chと同様に扱いたいためSJISに変換して保存

これに驚きました。多くの専ブラがそういう仕様だったなんて。
テストがてら入れていたJaneXenoで試したら確かに。
Chaikaは最後までofflaw2対応を見送り続けるぐらいに公式ないし準公式な公開情報を尊重し実装してるので、
2ch仕様に変換済みのdatの保存は基本無しの方向です。
(尤も今回のAPI騒動のおかげで封じてきたWebスクレイピングを次回以降の大型アップデートで実装予定ですが)
ですのでサイトから取得したものはそのまま保存し、表示の都度然るべき変換を行ないます。
すなわち

したらば仕様
文字エンコード：EUC-JP
レス番号<>名前欄<>メール欄<>日付<>レス本文<>スレタイ<>ID

のままdatファイルとして保存しています。
このスレならば
http://jbbs.shitaraba.net/bbs/rawmode.cgi/computer/1929/1038588508/
をダウンロードしたのと同じですね。
なので文字エンコード指定とスレタイ位置指定が出来ればということです。

あと追加でprmファイルの読み書きダイアログがやや小さく思います。
初めて開いたときボタン類が見えなかったため使い物にならないと判断してしまいました。
ウインドウを広げればいいだけだったんですが出来れば修正願います。
一応開いた直後のスクショです。
http://light.dotup.org/uploda/light.dotup.org164419.png
855： ◆/vmukiyuzw：2015/03/28(土) 23:31:30: >>854さん
自分でもchaika使って調べてみて、だいたいお書きになった状況だろうなと
想像していました。

で、まず文字エンコードについてですが
htmltodatのウィンドウの何もない場所（例えばプレビュー欄の右上など）
をダブルクリックすると今まで見えなかったボタン等がいろいろ出現すると思います。
そのうち、一番下の欄、「prmファイル」のボタンの右に
「保存文字コード」というリストボックスが現れますので、そこで「EUC」を選択してください。
その状態のままdat保存するとEUC形式になります。

なんでそんな隠し機能になってるかというと>>784参照
つまり、SJIS以外で保存するブラウザがあるとは思っていなかったからです。

で、
> レス番号<>名前欄<>メール欄<>日付<>レス本文<>スレタイ<>ID
については次レスで。
856： ◆/vmukiyuzw：2015/03/28(土) 23:47:18: >>855続き。
後処理で、ID欄を削ってdat一行の最後に付け直すようにしてみました。
スレタイの付加は後処理より前にやっています。
実際に必要なのはスレタイの位置指定ではなくIDの場所移動だったみたいです。
ただ、テキスト上では変換結果を確認したのですが、私のほうで
htmltodatで変換したdatをchaikaで読む方法がまだわからず・・・
確認していただけたらと思います。（できたら教えてください）

コメント：
# したらば過去ログをrawmode.cgiが返すのと
# 同様の形式に変換する

変換結果式：
$1<>$3<>$2<>$4<>$5<>

後処理：
s`(\d+?<>.*?<>.*?)(\sID:(.+?))(<>.+?)\r\n`$1$4<>$3\n`ig

正規表現：
m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)? ?(.*?) ?(?:</A>|)(?: 投稿日)?： ?(.*?)(?: )?<DD>(.*) ? #mik
857：849：2015/03/28(土) 23:59:33: >>851さま、原因がわかりました。
htmltodatでHTML化、dat化した時に、スレタイである日本語そのままのファイル名で保存されており、
再起動するとそれが文字化けして読み込み不可能となっていたのです。
http://www2.atchs.jp/spacestar/oldkako/を見るとスレッドID項目がありましたので、
その数字にファイル名を書き換えて、>>851さまの
＞＞以下を試してみてください　を実行したところ、成功しました。

外部コマンドで開いたフォルダにはsubject.idbとsubject.txtがあり、
例の文字化けしたdatファイルとidxファイルがありました。
それを削除して、ファイル名を変更したdatファイルをコピーし、
「宇宙の星」板を開いたら目的のスレが出てきました。
今度は再起動しても問題なく読めます。

過去ログ倉庫に移動された際に、**********.datという、従来のような
ファイル名ではなくなったためだと思います。

作者である◆/vmukiyuzwさま、そして救済に入ってくださった851さまには
とんだお騒がせをしてしまい申し訳なく思います。すみませんでした。
お付き合いいただきまして本当にありがとうございました。
858： ◆/vmukiyuzw：2015/03/29(日) 00:10:59: >>855さらに続き。

>>854
> あと追加でprmファイルの読み書きダイアログがやや小さく思います。
> 初めて開いたときボタン類が見えなかったため使い物にならないと判断してしまいました。
> ウインドウを広げればいいだけだったんですが出来れば修正願います。

これ、もともとXPの環境で開発してて、win8.1の環境に移植したときに一回発覚したので
その時に修正したんですが（>>800）、まだ出るんですか。
お使いのOS及びhtmltodatのバージョンをよろしければお教えください。
（といってもいろんな環境でテストできる状況でもないので修正できるかどうかはわからないです）
859： ◆/vmukiyuzw：2015/03/29(日) 00:17:26: >>857さん
問題解決したようでよかったです。
>>851さん
私が留守の間に丁寧にサポートしていただきありがとうございます！
860： ◆/vmukiyuzw：2015/03/29(日) 00:39:23: さてここまでの残件は
>>846さんですか。

htmltodat-convert2.wsfについてはすでにいろんなところで話に上がっていて
まとめページを書いてくださってる方もいて
http://pastebin.com/0QDr9S8v
私が語れることはあまりないと思うんですが

途中までログを持っているスレでhtmltodat-convert2を使うと
その時点で取得済みのログは上書きされるはずなので
「一旦ログを削除してから」という動作は必要ないと思いますよ。
上の参考スレにもありますが、再描画、もしくはいったん閉じて開きなおす
でいいと思います。
861：名無しさん：2015/03/29(日) 03:31:57: 要望です

解像度の低いディスプレイだとウインドウ下部が見切れて
マウスでの操作が出来ません
下部の見えないボタンは現在キーボードから操作しています

スクロールバー等での対応出来ればお願い致します
862：名無しさん：2015/03/29(日) 11:46:47: >>860
そのまとめページにも

>※ 一度でも該当スレを開いたことがある場合は、事前にログ削除して、a)、c)の手順で実行すればレス内容が表示されないということは起きない
>※既に開いたことがある場合は、ログ削除しないと「ここ壊れています」と表示される場合がある

とあります。
スレの再描画はやっていますが差分は表示されません。
一度ログを削除してから実行すると全部取得できるのですが。

とここまで書いた後でいろいろ試してみてわかったのですが、
どうやら該当スレの板のスレッド一覧を更新しないとダメな様です。

つまりお気に入りや最近読み込みから該当スレを開いて差分取得を試みるとスレの再描画やスレの開き直しをやっても差分は表示されない。
コマンドを実行した後に該当スレの板のスレッド一覧を更新してからスレの再描画やスレの開き直しをすると差分が表示される。
もしくは該当スレの板のスレッド一覧を更新してからコマンドを実行してスレの再描画やスレの開き直しをすると差分が表示されるみたいです。
863：名無しさん：2015/03/29(日) 12:42:09: 途中までログを持っているスレは
メモ欄のプレビューでいけるかと・・・
864：名無しさん：2015/03/30(月) 23:24:01: >>855-856
ありがとうございます。
多少の定義の変更が必要でしたけどほぼうまくいきました。
したらば自体何度か仕様変更があったようで定義も修正する必要があるでしょうけど、
ヒントは得たのでそれはその時おいおいやることにします。
以下でテストしました。

メンテナンス告知スレッド
http://jbbs.shitaraba.net/bbs/read.cgi/computer/10298/1071739838/
テストその１
http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1024130759/
テストその３
http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1117200553/
テストその４
http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1117201019/

テストその１のスレで文字化けする以外はおおむね満足な結果です。
文字化けは使用してるライブラリの所為でしょうがないのかな？

現時点で保存したprmです。

コメント：
# したらば過去ログをrawmode.cgiが返すのと
# 同様の形式に変換する

前処理：
# アンカーではないリンクのタグ除去
s#<a href="h[^>]+>([^<]+)<\/a>#$1#migk
# 旧仕様のID欄をrawmode.cgi仕様に置換
s#\[ ([^ ]*) \]<\/font>#ID:$1#migk

アンカー削除：
false

透明あぼーんを補う：
true

変換結果式：
$1<>$3<>$2<>$4<>$5<>

後処理：
# スレタイをrawmode.cgi仕様の位置へ移動
s#(\d+?<>.*?<>.+?)(\sID:([^<]+?))?(<>[^\r]+?)\r\n#$1$4<>$3\n#ig
# 透明あぼーん補完時の文字列除去
s#透明あぼーんかも<>##gk

正規表現：
m#<DT><A.*?>([0-9]+).+?(?:<A HREF="mailto:(.+?)">)? ?(.*?) ?(?:</A>|)(?: 投稿日)?： ?(.*?)(?: )?<DD>(.*) ? #mik
865：名無しさん：2015/03/30(月) 23:28:24: >>856
残念ながら板フォルダにdatを放り込むだけではChaikaのデータベース(storage.sqlite)には自動登録されないのでスレ一覧には表示されません。
一応今後の実装予定で何らかの形で登録しやすくするらしいですが。
手動での登録は現状sqliteを扱えるソフト、あるいはFirefoxのアドオンSqlite Managerを利用しますが今回は割愛。

とりあえず見るだけに限定しての話。

1、板フォルダはChaikaサイドバーの板一覧から板を選択、スレ一覧を表示。
2、右上のツールを押すとあらわれる｢ログディレクトリの表示｣で開く。
または、
1、同じサイドバーの右上のアイコンを押して｢フォルダを開く｣メニューからログフォルダを開く。
2、該当の板フォルダを探し出して移動。どれを開くべきかはフォルダ名で類推できると思うので割愛。

3、datを板フォルダに放り込みスレのリンク(多くは/read.cgi/なリンク)をChaikaで開く。

開くときは右クリックのChaikaメニューを利用するか、
Chaikaオプションの｢ブラウザ｣にあるスレッドリダイレクタをonにしてリンククリック。

>>858
OSは>>847で書いた通りXP SP3です。htmltodatのバージョンは0.11.6です。
またシステムフォントをMeiryoKe(ただしフォント名はMSゴシック系に改編)に変更しています。
このフォント変更の影響なのかボタン等の文字が切れて表示されるソフトがあったことを思い出しました。
どのソフトだったかまでは思い出せませんが、確かResourceHackerで修正したと記憶しています。
参考になったら幸いです。
866： ◆/vmukiyuzw：2015/03/31(火) 00:08:23: >>864-865さん
私がChaikaの使い方をあまり知らない中、
ご自分で努力いただきありがとうございます。
Chaikaのデータベース登録はこれから研究してみます。

> テストその１のスレで文字化けする以外はおおむね満足な結果です。
> 文字化けは使用してるライブラリの所為でしょうがないのかな？

そんなスレを引用されるとは・・・
そのスレは昔自力でプロキシ的動作をするソフトを作っていて
そこから文字コードの変換をテストしていたものなんです。
文字化けするかどうかをテストしていたんで文字化けは当然なんです。

あと、
>　あと追加でprmファイルの読み書きダイアログがやや小さく思います。

これはこちらで確認できる環境を作る自体がなかなか難しく。
>>861さんの要望なんかも類似の問題の気がするのですが
しばらく時間を頂きたく思います。
867：861：2015/03/31(火) 01:45:40: >>866
宜しくお願い致します
868：名無しさん：2015/04/01(水) 04:55:26: 画面が小さいモバイルPCで起動すると画面からボタンがはみ出してしまい、
下部の「prmファイル」「dat保存」のボタンが押せないのですが、
どうすれば良いのでしょうか？

OSはWin7です。解像度は最大で1024x600までしか出せず、
フォントサイズを小にしても表示し切れません。
幸い、VGA出力端子が付いているので外部ディスプレイに繋いで
なんとか使っている状態です。

よろしくお願いします。
869：名無しさん：2015/04/01(水) 06:23:59: >>868

>>861,866
870：名無しさん：2015/04/01(水) 09:24:38: >>868
見切れている部分がどの程度なのか分からないけど

タスクバーを自動的に隠す設定にしてみるとか
　タスクバー右クリック　-　プロパティ

タイトルバーをモニターの外にはみ出させるとか
　Alt+Space　-　移動(M)　-　↑キー

キー操作でサブウィンドウを表示させるとか
　prmファイル(R) = Alt+R
　dat保存(S) = Alt+S

こんなんじゃアカンのだろうか
871：861：2015/04/01(水) 10:22:41: >>870
まー取り敢えずありがとう
でもアカンから要望してるんだよ
親切でレスしてるのは分かるけど自分の力量の範囲にしようよ
まして確認できないものを無理して答えなくてもよいと思う

例えばタスクバーを自動的に隠すはタイトルバーの幅では追いつかない
ウインドウを移動しての対処はウインドウが自動的に最大化してしまう
見えないものをショートカットで操作する事が想像出来ないのかな

上記後出し情報は作者さんの力量を考えてあえて書いてない
初心者にレスするなら必要な情報かも知れないが
こういったものを創れる作者さんだからね

ウインドウが見切れる事例は他にもあるから検索すれば分かるはず
872：名無しさん：2015/04/01(水) 17:28:39: なんだこいつ
873：名無しさん：2015/04/03(金) 16:58:16: お邪魔します。

以下のしたらばログ倉庫の
http://jbbs.shitaraba.net/bbs/storage.cgi/otaku/5678/
スレッドをdatファイルにしたいです。

前処理と後処理は必要でしょうか？（その場合どれを選べばいいでしょうか）
また、正規表現は「jbbs過去ログ改」で間違いないでしょうか。
874： ◆/vmukiyuzw：2015/04/04(土) 00:13:00: >>873さん
えーと、基本的には前処理も後処理も必要ないはずですし
正規表現もそれで問題なくdat変換できると思うのですが
ここに質問してこられたからには何かうまくいかなかったんですかね？
その場合、お使いの専ブラの種類・バージョン、あとdatファイルを
どうやって取り込もうとしたかなど教えていただければアドバイス
できるかもしれません。

>>861さん、>>868さん
解像度の低い（or低くできる）環境というのが今私の周りになくて
ようやく来週には調達できるかなという感じです。
また、本業のほうがこのところかなり忙しく
プログラム修正のほうにまとまった時間をなかなか取れない状況です。
申し訳ないですが気長にお待ちいただければと思います。
875：名無しさん：2015/04/04(土) 04:39:50: >>874
873です。先程は正規表現が違うとのエラーでできなかったのですが、
もう一度試したら無事dat化できました。
ありがとうございました。
876： ◆/vmukiyuzw：2015/04/10(金) 23:51:56: htmltodatをバージョンアップしました（0.11.7）
　・解像度の低いディスプレイで使用する場合に画面下部が見切れてしまう問題の
　　対処として、スクロールバーを出せるよう修正。
　　また、それに伴いいくつかのフォームの位置・サイズ等の属性を修正。

そんなに色々な環境でテストできたわけでもないので若干推測を含むのですが。
解像度の低いディスプレイでは起動すると右端にスクロールバーが見えるようになると思います。
（環境によってはこのスクロールバー自体見切れてしまうかもしれません）
また、このスクロールバーで下までスクロールしても画面下部まで見られないかもしれません。

ウィンドウを最大化するとスクロールバーが見切れずに見えるようになると思います。
この状態だと画面下部までスクロールできると思います。
ちょっと一手間二手間必要なのはお許しください。

解像度に合わせて適宜リサイズして自動でディスプレイに収まるようにするのが本当はいい方法なんでしょうが
なにせ最初からそういう想定をせずに作っていたもので今から変えるとなると結構大変で・・・
とりあえずこんなものでお許し頂けないかと。

あと、>>854さんからご指摘があったprmファイル読み書きウィンドウが小さい（ボタンが見えない）件ですが
該当するかもと思われる件があったので修正してみました。
ただこちらの環境では不具合自体を再現できず直ってるかどうかを確認できないため
ご確認いただければ幸いです。

>>871さん
私は万年素人のサンデープログラマーなんで過大評価しないでください。
情報があればぜひ教えていただきたいです。
877：861：2015/04/11(土) 00:23:45: >>876
お忙しいところお手数をお掛けしまして申し訳ありませんでした
私の環境では最下部のボタン操作が出来るようになりました
有難う御座います

昔から利用させて貰ってましたが最近の仕様変更で更にお世話になっています
革めて有難うございます

何か気づいた点がありましたらお役に立てるか分かりませんが
私で宜しければご協力させて頂きたいと思います
878：854：2015/04/11(土) 13:01:34: >>876
0.11.7確認してみました。
prmのダイアログは問題ありませんね。
http://light.dotup.org/uploda/light.dotup.org170296.png

ただ本体の方が起動直後こんなことになってます。
http://light.dotup.org/uploda/light.dotup.org170297.png

0.11.6まではこんな感じでした。
http://light.dotup.org/uploda/light.dotup.org170301.png

あちらを立てればこちらが、といったところでしょうか。
とりあえずこれまで通り0.11.6を使うことにします。
879： ◆/vmukiyuzw：2015/04/11(土) 21:57:24: >>878さん
> あちらを立てればこちらが、といったところでしょうか。

うーむ、確かにそれに近い状況かもしれません。
なんとか両方立てられないかと考えた結果、以下の人柱バージョンを作ってみました。
一応目指したのは
・解像度が十分な環境であれば今までどおり一番下のボタンまで表示される
・解像度が低く全体を表示できない環境であればウィンドウを最大化すれば
　スクロールバーで一番下のボタンまで表示される

自分の環境（一応8.1、XPの2台でいろんな解像度で試しているつもり）では
うまく表示されるようなのですが、いろんな環境の方にお試しいただければと思います。

http://mukiyu.g.ribbon.to/cgi-bin/download2.cgi?name=htmltodat0.11.8&url=htmltodat0.11.8b.zip
↑
htmltodat.exeファイルのみ入ってます
880：861：2015/04/11(土) 23:27:05: >>879
ご苦労様です

うちの2台（解像度が高と低）で確認しました
どちらも特に問題ありませんでした
881：854：2015/04/12(日) 03:30:09: >>879
今度は大丈夫なようです。
http://light.dotup.org/uploda/light.dotup.org170653.png

ありがとうございました。
882： ◆/vmukiyuzw：2015/04/12(日) 04:05:36: >>861=880さん、>>854=881さん、ご確認いただき本当にありがとうございます。

多分htmltodatをよく使っていただいてる方からのコメントなんで間違いないとは思うのですが、
もうちょっと他の方からのコメントも待ちたいなというのと
もう少し弄ってみたいかなという部分があるんで正式リリースはちょっとお待ちください。
883：名無しさん：2015/04/12(日) 05:27:37: そもそも漠然と小さい画面だからと要望を出す馬鹿がいるから困るんじゃなかろうか
せめて自分の環境がどのような解像度と縦横比なのかぐらい書いてもらえよ
http://www.a-ain.net/2click/pc/pc_081siryo_gamen.html
884： ◆/vmukiyuzw：2015/04/19(日) 01:30:24: 2ch.netのread.cgiでftp://の書き込みをしたら読めなくなるバグがなかなか修正されないようなので
何かできないか考えて、とりあえずびんたん（スマホ用の2chビューア）からdat変換するのを考えてみました。
ただ、残念ながらread.cgiとは違い過去ログは読めないようです。
また、メール欄の情報が存在しないため欠落してしまいます。

コメント：
# びんたんの読み込みをdatに変換してみる

URLの変換：
s`http://(.+?\.2ch\.net)/test/read\.cgi/(.+?)/(\d+)/?.*`http://bintan.ula.cc/test/read.cgi/$1/$2/$3`

前処理：
# スレタイ置換
s`<title>.*?</title>``
s`<div class="topic_name_inner_left">\s*?(.*?)`<title>$1</title>`i
# レス1だけ形式が違うので他と合わせる
s`<span\ id="read_one_body(?:.|\s)*?\s:\s(.*?)`<a\ class="respop">1</a>.$1`i
s`<div\ style="clear:both;"\ class="topic_date">(.*?)</div>(?:.|\s)*?(<div\ class="honbun">.*?</div>)`$2$1`i

アンカー削除：
false

変換結果式：
$3<>$2<>$5<>$4<>

後処理：
s`<a\ href=.*?>``ig
s`</a>``ig

正規表現：
m`<a\ class="respop".*?>
(\d+) # レス番
</a>.+?
() # メール欄情報は存在しないためダミーに
(.*?) # 名前欄
.*?<div\ class="honbun">
(.*?) # レス本文
</div>.*?<font.*?>
(.*?) # 投稿日一般的なhtmlと違いレスの後ろに付いている（よって変換結果式で引っくり返しが必要）
`mikx
885：名無しさん：2015/04/20(月) 13:41:26: htmltodatが急に使えなくなって、取得すると「２ちゃんねる専用ブラウザをご利用の皆さまへ」が表示されるんだけど、
対策されたかな？
886：名無しさん：2015/04/20(月) 14:27:30: >>885
UA変えてダメ？
887： ◆/vmukiyuzw：2015/04/20(月) 22:34:03: >>885さん
サーバによっては大丈夫なところもあるようですが確かにエラーになるところもありますね。
>>886さんのおっしゃるようにUAの問題のようなので、適当に変えてもらえれば回避できるかと。

htmltodatでUAを変更するには、受信オプション - HTTPヘッダの追加のところで
User-agent: なんたらかんたら
と指定してください。
汎用のwebブラウザのUAを指定しておけばかなり安全なんじゃないですかね。
例えばIE11のUAであれば（うちの環境でですが）
User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; LCJB; rv:11.0) like Gecko
こんな感じです。

# UAを色々弄ってテストしてみたのですが、現バージョンでの
# User-Agent: Monazilla1.00 (htmltodat/0.11.1)
# てのがエラーになるようです。（0.11.0とか0.11.2にしてもエラーにはならない）
# てことは2ch側でピンポイントではじく対象UAのリストに入ってることなのね・・・なんか複雑
888：885：2015/04/21(火) 20:33:41: >886, 887
User-agent 設定したら使えるようになりました、ありがとうございました
889：名無しさん：2015/04/29(水) 02:30:44: >>887
いつもツールを使わせていただきありがとうございます。
すみません、どうしても回避できません。
先月までは何も問題なく使えていました。

htmltodat起動
受信オプションクリック
httpヘッダ追加ボタンクリック
User-Agentとコピペ＆OKクリック
下の欄にUser-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; LCJB; rv:11.0) like Geckoをコピペ＆OKクリック
htmltodatを再起動し、受信オプション、一覧表示と、User-Agentとクリックし、上記コピペがあることを確認し、閉じる
Janeの右クリックからwscript "$BASEPATHhtmltodat-convert2.wsf" "$LINK" "htmltod"を使うがご利用の皆様へ表示
試しにコピペをUser-Agent:抜きとかやってますが、駄目でした。

どこか間違っていたら教えてください。

Win7Pro、C:\Progra~1\Jane\jane2ch.exe Jane3.81、自動車板
log C:\Jane
当該過去ログ削除済
890： ◆/vmukiyuzw：2015/04/29(水) 03:30:06: >>889さん
多分勘違いがいくつかある気がするんですが。

「受信オプション」の内容はhtmltodatの全体で保存されるのではなく
各prmファイルに保存される仕組みになっています。
また、「受信オプション」から「追加」で設定するものは
「HTTPヘッダの追加」欄に入力した内容に名前を付けて保存するためのものなので
「追加」をクリックして出てきた入力ボックスにUser-Agentを入力しただけでは
何の意味もありません。（そこに入力した名前でファイルが作られるだけ）

てなわけで、お使いのprmファイルは「htmltod.prm」でしょうか？これをお使いなら
・htmltodat起動
・「prmファイル」ボタンで「htmltod.prm」ファイルを読み込む
・受信オプションからhttpヘッダ欄にお書きになった「User-Agent: ～」を入力＆OKクリック
（追加ボタンを押すのではないですよ？そこ間違えないように）
・再び「prmファイル」ボタンで「htmltod.prm」ファイルを（上書き）保存

これでいけると思うんですがどうでしょう。
891：名無しさん：2015/04/29(水) 14:11:59: >>890
htmltod.prm=任意の名前.prm
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

http://anago.2ch.net/test/read.cgi/software/1426520789/614
>htmltodat.exeを起動
>左下3番目prmファイルボタン→入力欄を右クリックして貼り付ける
>保存ボタン→任意の名前.prmと名づけJane2ch.exeと同じフォルダに保存する
>htmltodat.exeを閉じる
892：名無しさん：2015/04/29(水) 15:10:40: 今まで使えていたのに使えなくなったのでスレに来たら解決法が書いてあったので試しました

が、駄目です
2ちゃんねる専用ブラウザをご利用の云々言われて見れません

HTTPヘッダの追加：
User-Agent: Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; LCJB; rv:11.0) like Gecko

という内容でPRMファイルを作りJane2ch.exeと同じフォルダに保存しました
なのでこのフォルダにはPRMファイルが2つ入っています
その後Janeを再起動しログを削除し再度コマンドを実行してみたのですが変わらず見れませんでした
UAを変えて自分の環境のものを入力してみたのですが意味はなかったです
足りないことは何でしょう？
893：名無しさん：2015/04/29(水) 17:41:36: 新しくprmファイルを作るんじゃなくて
今まで使ってたprmファイルに追記する形になるんだよ
894：名無しさん：2015/04/29(水) 17:43:02: なるほどｎ
895：名無しさん：2015/04/30(木) 19:48:25: 困ってたらこのスレにたどり着きました
>>890の手順で解決しました
有り難うございました！
896： ◆/vmukiyuzw：2015/05/01(金) 01:26:27: UA絡みの問題で2ch.netからエラーを返されるケースが多発しているのかな？
>>892さんは多分解決したかな？
>>889さんはどうだろう。

近々、>>879あたりを反映したバージョンアップをする予定ですが
その際UAも変更すると思うので、この問題は解消するかも。
でも2ch.net側からは「はじくUA」のリストに入れられてるぽいので
>>890みたいな対処をかましておいたほうがいいかもです。
897：名無しさん：2015/05/02(土) 01:26:37: 横からだけど受信オプション設定のHTTPヘッダ一覧にあるUA変更1だけでいまのところ問題なしです
898：名無しさん：2015/05/15(金) 23:26:52: 2ちゃんねる専用ブラウザをご利用云々が増えてきたなぁ…
899：名無しさん：2015/05/15(金) 23:56:14: どこかのスレで見たが専ブラの独自UAは弾くらしい。
非対応専ブラはお断りってことなんだろう。
900：名無しさん：2015/05/16(土) 00:39:48: ち、相変わらずイライラさせるｗ
コレだからアメリカのストリップバーの経営者上がりは…ｗ
たとえ独善的でも、妙な感覚の上に成り立ったひろゆきの新しさのほうがまだ面白かった…ｗ
901：名無しさん：2015/05/16(土) 10:37:59: FC2のようにならないためだから仕方ない。
サーバ>アメリカ
経営者>アメリカ
902：名無しさん：2015/05/16(土) 12:30:04: >> 900
だよな。ひろゆきは自分しか儲からないような仕組みであってもユーザーの自由っていう哲学を持ってやってた。
今のJIMクソには哲学も何もありゃしない。自分以外のすべてが不自由を感じていても金さえ独占できればあいつは満足するんだろうな。

>> 901
FC2もしれっと鯖や登記をアメリカじゃなくて日本が国交結んでるかどうかも怪しい中南米の島国にでもすればよかったのにな。
AnyDVDのアンティグア・バーブーダみたいにさ。
903： ◆/vmukiyuzw：2015/05/28(木) 01:30:34: http://anago.2ch.net/test/read.cgi/software/1427376861/983-985
htmltodatはもともと2chのread.cgiを読むために作ったツールじゃないので。
むしろ2chで読めないスレを読むために何とかしようと作ったものなんで
こういう言い方されるのは正直むかっとしました。

でも、UAでmonazillaをかたるのには特にこだわりはないし
適当に変えてもいいんでしょうが、
その適当なUAの相手に迷惑かけるなんてことはまさかないでしょうが
ちょっと気持ち的に抵抗があるのです。
なので、問題がある方は
>>887あたりで対処していただけないかと。
（今後気持ちが変わるかもしれませんが）
904：名無しさん：2015/05/28(木) 03:26:07: Monazilliaが弾かれるわけじゃなくてhtmltodatが弾かれてるのが現実なのに
Monazilliaを問題にするのは相当なこだわりがあるように見受けられますが？
使う人の利便性を考えたら、Monazilliaを名乗るのはこだわり次第として、
htmltodatを入れるのは止めておいたほうが良くはありませんか？
905： ◆/vmukiyuzw：2015/05/28(木) 04:07:07: >>904さん
Monazillaにもhtmltodatにも何のこだわりもありません。
>>887で対処できるのに何の文句があるの？て感じですが
次のバージョンでは文句出ないようになんか考えます。
906：名無しさん：2015/05/28(木) 13:13:48: User-Agent: Mozilla/4.0

でいんじゃね?
907：名無しさん：2015/05/28(木) 17:42:31: 受信オプション設定のHTTPヘッダ一覧
UA変更1がUser-Agent: Mozilla/5.0
なんだからそれでいいじゃん
908： ◆/vmukiyuzw：2015/05/28(木) 19:57:18: バージョンアップしました（0.11.8）
　・前バージョンの解像度問題の対処が不十分だったため再度修正。
　・User-Agentの変更。

メインの変更は>>879でやった人柱バージョンの正式リリースですが
ここんとこ問題になってたUser-Agentもとりあえず変更しました。

「とりあえず」というのは、前バージョンまでの「htmltodat」を含むUAが
ピンポイントではじかれたんであれば、今バージョンでのUAも
対策される可能性がないとは言い切れないと思うのです。
まあそのときはそのときでまた考えるしかないんですが。
909：名無しさん：2015/05/28(木) 22:33:35: 大感謝祭
910：名無しさん：2015/06/06(土) 03:45:47: バージョン0.11.8だけど、誤検出王のNortonで「WS.Reputation.1」が検出されて消されちゃいましたよ
復元して対象外にしたけど
911：名無しさん：2015/06/27(土) 17:48:36: なくなってしまったワイワイカキコの板のスレをInternet Archiveから取得してみようとしているのですが
変換が上手くいきません

↓例
https://web.archive.org/web/20090924202521/http://yy700.60.kg/yaruo/kako/1249/12499/1249978566.html

まず、URLを指定して「HTML変換」を押すと
「IOHnadler value is not valid」
というエラーが出てしまいます。

しかたないのでHTMLをデスクトップに保存して
「一覧表示」からひとつずつ試しましたが
変換できないか、変換できたDATのサイズが元板から取得したDATとサイズが合いません
（ワイワイカキコが生きていた頃に取得したDATと、そのスレのInternet Archiveのページを変換したDATとを比較）
>>119の方のを試してみてもダメでした

正規表現のどの部分をいじればいいのでしょうか？
912：名無しさん：2015/06/27(土) 18:46:58: >>911
html2datはhttpsに対応していないはず。(ですよね？)
httpで取得すれば｢IOHandler value is not valid｣はでない。

そのまま取得あるいはダウンロードすると本来はUTF-8で開くはずがcharsetのせいでShift_JISで開く。
ローカルで
<meta http-equiv="Content-Type" content="text/html; charset=Shift_JIS">
↓
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
と、charsetをUTF-8に変えて保存し直すこと。
913： ◆/vmukiyuzw：2015/06/28(日) 23:02:35: >>911さん

>>912さんのご指摘のとおり、htmltodatは現状httpsには対応していないので
URLをhttp://に修正して取得してください。

で、charsetのせいで文字コード変換がうまくいかないのも
>>912さんのご指摘の通りなのですが、もう少し楽に対処する方法が。

・htmltodatを起動後、ウィンドウ上の何もないところ（例えばプレビュー欄の右上など）
　をダブルクリックする。今まで見えなかったボタン等がいろいろ出現する
・ウィンドウ最上段、「文字コード自動判別」チェックボックスをオフにする
・URLを入力しHTML取得
・URL欄の下の「ソース文字コード」で「UTF-8」を選択
・その右の「->SJIS変換(J)」（ちょっとわかりにくいけどボタンです）を押す

これで手動（？）文字コード変換ができます。
（文字コード自動変換をサポートしてなかった時の名残の機能）
# 文字コードはcharsetを見なくても自動判別できると考えられるため
# いっそ一切見ない方法も今後検討します

以上をやった上で、>>911のURLのHTMLの形式は
2chのread.cgiと同じみたいなので正規表現としては
「read.cgi7.00？」が使えるんじゃないでしょうか。
もしくは元datにより近づけるには>>807のほうがいいかもです。
914：名無しさん：2015/07/01(水) 23:24:28: おーぷん２ちゃんねるの変換はどのようにしたらいいのでしょうか？
http://awabi.open2ch.net/test/read.cgi/news4plus/1396515469/
なのですが
915： ◆/vmukiyuzw：2015/07/02(木) 01:18:38: >>914さん
htmltodatで変換してdatを得ることはもちろん可能だと思うのですが
それ以前におーぷん２ちゃんねるって基本的に2chのdatと互換ですよね？
お使いの専用ブラウザによって方法はいろいろかもしれませんが
open2ch.netを読める設定にすればhtmltodatは不要だと思うのですが。

私の環境ではボード一覧取得のURLを
http://kita.jikkyo.org/cbm/cbm.cgi/20.p0.m0.sc.op/-all/bbsmenu.html
にしてるのですが（scやおーぷんも読める設定）、
>>914のURLは何も意識せずとも読めましたけど。

そういうのがしたくなくてどうしてもhtmltodatで変換したいということなら
またご相談ください。
916：914：2015/07/06(月) 00:37:15: >>915
あれ？取れますか
JaneViewで取得できなかったので質問させてもらったんですが、どうやらおま環だったようですね
ありがとうございます
917：名無しさん：2015/07/06(月) 02:21:21: >>916
URLを変えただけじゃダメでボード一覧にopen2chのエントリがちゃんと設定されてないとダメ
具体的には、板一覧の更新を実行（更新されなかったらCTRLキーを押しながら実行）
918： ◆/vmukiyuzw：2015/07/06(月) 21:33:05: >>916
数種類の専用ブラウザでいろいろ試してみたのですが
Jane系では>>914のスレはdat落ち扱いになる？ようで、
http://awabi.open2ch.net/test/read.cgi/news4plus/1396515469/ のURLでなく
http://awabi.open2ch.net/news4plus/kako/1396/13965/1396515469.dat のURLでアクセスしようとして
エラーになるみたいです。（subject.txtに存在するかどうかでアクセスするURLを読み替えている）
他の専ブラではボード一覧を変えなくても読めたりボード一覧を>>915にするだけで読めたりするので、
Jane系でのURLを読み替える動作は、こういう場合はあまりうまくないような感じです。

とりあえず、専ブラで直ではないですがdatを取得する方法としては、
>>914のようなおーぷん２ちゃんねるのスレは汎用ブラウザで開くと一番下にdatへのリンクがあるんで、
そこからダウンロードする方法があります。
（おーぷんでの過去ログの扱いがよくわかってないので常に通用する方法かどうかわかりませんが）
htmltodatでやるなら以下の手でURLだけ読み替える方法もあります。

コメント：
# おーぷん2ちゃんねるを変換その１（URLのみ）

URLの変換：
s`(http://.*?)/test/read\.cgi/(.*?)/(\d+)/.*`$1/$2/dat/$3.dat`

dat変換をしない（前処理のみ行う）：
true

あと、htmlから変換するための正規表現等も一応考えてみました。
おーぷん独自の仕様を把握し切れてないので抜けがあるかもですが。

コメント：
# おーぷん2ちゃんねるを変換その２（HTMLを変換）

URLの変換：
s`(http://.*?/test/read\.cgi/.*?/\d+/).*`$1`

プレビューを表示しない：
true

後処理：
# ID周りのごちゃごちゃを処理
s`<span\ (?:class=_id\ )?val=.*?><a\ .*?>(.*?)</a>(?:<font\ .*?>)?($.*?$)?.*?`$1$2`ig

正規表現：
m`
<dt\ res="?(\d+) # レス番
.+?(?:mailto:(.+?)>)? # メール欄
(.+?)(?:|</a>)+ # 名前欄
\ ?：(.*?) # 投稿日・ID
<dd.*?>\ ?(.*?) <ares.*?> # レス本文
`mikx
919：名無しさん：2015/07/20(月) 03:20:31: UAがUser-Agent: Mozilla/5.0だと弾かれるようになったので
個人の汎用ブラウザのUAにしてdat取得には一応成功したのですが
右側のプレビューとdat変換結果枠の下のスレ数とかが出ていた部分が
なにも表示されなくなりました

これを直すことはできますか？
920： ◆/vmukiyuzw：2015/07/20(月) 19:35:34: >>919さん

> 右側のプレビューとdat変換結果枠の下のスレ数とかが出ていた部分が
> なにも表示されなくなりました
> これを直すことはできますか？

変換オプションの「プレビューを表示しない」をオフにしてください。
（二重否定表現になっちゃってややこしいですが「表示する」にするということです）
デフォルトではオフ（false）なので、多分prmファイルでオン（true）に指定されてるのかなと思います。

以前、prmファイルを使ってスクリプト等から呼び出せるように修正した頃に
プレビューの表示処理はちょっと重いしスクリプト等から呼ぶ場合は不要だなと思ったので
オプションでオンオフできるようにしたのです。（>>785参照）

しかしまあ、>>908で変更したUAが

> UAがUser-Agent: Mozilla/5.0だと弾かれるようになったので

になっちゃったのは気づいてませんでした。懸念していた通りのことが起きてしまった。
当たりさわりのなさそうなものにしたつもりが、それでもアウトなんですかね。
自力でUAを変更できる手段は一応用意してるとはいえ、今後どうしたものか。
921：名無しさん：2015/07/20(月) 21:19:19: UAはIEの設定かデフォルトブラウザの設定を引っ張ってきたらどうかな
922： ◆/vmukiyuzw：2015/07/21(火) 03:14:29: >>921
ブラウザのUAなんてプログラムソースにハードコーティングされてるようなものじゃないんですか？
私が無知なので申し訳ないんですがそれを外から引っ張る方法をご存じなら是非ご教示いただきたく。
一応レジストリを検索してみて、IEのUAかなと思われるエントリはあったのですが
Monazilla/4.0 とかになってたんでこれ実際に動いてるものじゃないんじゃないのって思いました。
923： ◆/vmukiyuzw：2015/07/21(火) 03:23:18: >>922
ハードコーティング→ハードコーディング
Monazilla→Mozilla
眠いんでいろいろ間違え気味です
924：名無しさん：2015/07/21(火) 22:46:42: IEのUAは以下の説明を参照されたし。
https://msdn.microsoft.com/en-us/library/ms537503(v=vs.85).aspx
https://msdn.microsoft.com/ja-jp/library/ms537503(v=vs.85).aspx (日本語。若干情報が古い)
https://msdn.microsoft.com/en-us/library/ff986085(v=vs.85).aspx (IE9での変更部分)
https://msdn.microsoft.com/en-us/library/hh869301(v=vs.85).aspx (IE10～Edge)
925：919：2015/07/22(水) 02:46:31: >>920
遅くなりましたがありがとうございます
無事解決しました
926： ◆/vmukiyuzw：2015/09/09(水) 00:49:00: また2ch.netのread.cgiで読めない不具合が起きているようなので
>>884のびんたんからの変換を修正してみました。
（自分にできそうなのはそんくらいしかないので・・・）
最近あちこちの板で見かける、名前欄にいろんな送信元の情報？を含んで
表示されるケースに対処できてなかったので修正しました。

コメント：
# びんたんの読み込みをdatに変換してみる ver.2

URLの変換：
s`http://(.+?\.2ch\.net)/test/read\.cgi/(.+?)/(\d+)/?.*`http://bintan.ula.cc/test/read.cgi/$1/$2/$3`

前処理：
# スレタイ置換
s`<title>.*?</title>``
s`<div class="topic_name_inner_left">\s*?(.*?)`<title>$1</title>`i
# レス1だけ形式が違うので他と合わせる。名前欄の内容にspanタグが含まれることがあるのでそれとぶつからないよう注意
s`<span\ id="read_one_body(?:.|\s)*?\s:\s(.*?)\s*</div>\s*</div>`<a\ class="respop">1</a>.$1`i
s`<div\ style="clear:both;"\ class="topic_date">(.*?)</div>(?:.|\s)*?(<div\ class="honbun">.*?</div>)`$2$1`i

アンカー削除：
false

変換結果式：
$3<>$2<>$5<>$4<>

後処理：
s`<a\ href=.*?>``ig
s`</a>``ig

正規表現：
m`<a\ class="respop".*?>
(\d+) # レス番
</a>.+?
() # メール欄情報は存在しないためダミーに
(.*?) # 名前欄 を複数含む場合があるため単に最短一致ではなく後続<div class="honbun">のみマッチさせる
\s*?<div\ class="honbun">
(.*?) # レス本文
</div>.*?<font.*?>
(.*?) # 投稿日一般的なhtmlと違いレスの後ろに付いている（よって変換結果式で引っくり返しが必要）
`mikx
927： ◆/vmukiyuzw：2015/09/10(木) 22:54:02: >>926
これで変換したdatを専ブラで読んでみるとなぜかレスアンカーがリンクにならない・・・
調べてみると、例えば>>1のようなレスアンカーは本来html上では>>1と表現されるべきものが、
びんたんではそのまま>>1と出力されているのがまずいみたいです。
（むか～し昔read.cgiでもあった事象です。>>72-78あたり）

とりあえずの対処として、後処理の最後に以下を足して下さい。

s`>>`>>`ig
928：名無しさん：2015/09/17(木) 14:19:08: >>927
>>924から組み立てているのかどうかは判らないが
IEコンポーネントを使ってるブラウザDountRAPTは自動的にUAを初期化してる
ソースも公開されてるので興味があれば調べてみては？
929： ◆/vmukiyuzw：2015/09/18(金) 01:05:32: >>924さん>>928さん
アドバイスありがとうございます。
技術的にどうすればいいかはある程度イメージはあるんですけど
あんまりやる気は起きないってのが正直なとこです。

前から書いてますがUAを自力で変える手段は提供してますし
それを使えないような方はそもそもこのソフトを使えないんじゃないかと思います。
こういう言い方はちょっとどうかとも思いますが
もともと万人が使えることを目指したものでもないんで。
930： ◆/vmukiyuzw：2015/09/22(火) 00:31:49: びんたんが吐くhtmlが微妙に仕様変更されてて
>>926-927 ではうまく変換できなくなっているようなので修正しました。

コメント：
# びんたんの読み込みをdatに変換してみる ver.3

URLの変換：
s`http://(.+?\.2ch\.net)/test/read\.cgi/(.+?)/(\d+)/?.*`http://bintan.ula.cc/test/read.cgi/$1/$2/$3`

前処理：
# スレタイ置換
s`<title>.*?</title>``
s`<div class="topic_name_inner_left">\s*?(.*?)`<title>$1</title>`i
# レス1だけ形式が違うので他と合わせる。名前欄の内容にspanタグが含まれることがあるのでそれとぶつからないよう注意
s`(<a\ class="respop".*?>1</a>\ :\ )(.*?)\ :\ `$1$2`i
s`<div\ style="clear:both;"\ class="topic_date">(.*?)</div>(?:.|\s)*?(<div\ class="honbun">.*?</div>)`$2$1`i

アンカー削除：
false

変換結果式：
$3<>$2<>$5<>$4<>

後処理：
s`<a\ href=.*?>``ig
s`</a>``ig
s`>>`>>`ig

正規表現：
m`<a\ class="respop".*?>
(\d+) # レス番
</a>.+?
() # メール欄情報は存在しないためダミーに
(.*) # 名前欄 を複数含む場合があるため単に最短一致ではなく後続<div class="honbun">のみマッチさせる
.*?<div\ class="honbun">
(.*?) # レス本文
</div>.*?<font.*?>
(.*?) # 投稿日一般的なhtmlと違いレスの後ろに付いている（よって変換結果式で引っくり返しが必要）
`mikx
931：名無しさん：2015/12/09(水) 00:05:11: すみません
質問させてください

http://hanabi.2ch.net/test/read.cgi/anichara2/1447210834/
このスレが12/2の438までは上手く変換できてたのですが
それ以降設定を弄ってないのに「一行が長すぎるか正規表現が正しくないようです」とでるようになりました
HTMLは取得できています
正規表現は12/2以前もそれ以降も0.26その2を使っています
自分が見ている他のスレは同じ仕様（0.26その2）で変換できていてこのスレだけ引っかかりました

どこを直したらいいでしょうか

http://2chdays.net/anichara2/dat/1447210834.dat
これで583までは取得できたのですが残りができませんでした
932：名無しさん：2015/12/09(水) 00:11:42: 追記
どうやらhanabi.2ch.netだけおかしくなるみたいです
933： ◆/vmukiyuzw：2015/12/09(水) 00:47:05: >>931さん
えっと、このスレでは話題に上がってなかったんでスルーしてたのですが
2chの一部のサーバでread.cgiの仕様変更があって返ってくるhtmlの形式が
ガラッと変わっています。
なので従来の正規表現等では変換できないケースが出ています。

で、次レスで一応対応したつもりの正規表現等を紹介しておきます。
ただ、それ以前に若干の疑問が。

正規表現「0.26その２」とは「DAT2HTML0.26その２」のことですよね？
それはそもそも2chのread.cgiに対応しているものではないはずなんですが。
その時点でなんか勘違いがあるんではないかと不安になります。
934： ◆/vmukiyuzw：2015/12/09(水) 00:55:19: read.cgi 06系対応版。
05系と統一できないか考えてたのですがちょっと難しそうなので
とりあえずそのまま出します。使う側で使い分けが必要なのは
申し訳ないです。

コメント：
# 2chのread.cgiからの出力を変換-20151208
# 2chのcgi仕様変更（06系）に対応
# まだ今後の推移が読めないので様子見バージョン

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

アンカー削除：
false

後処理：
# BE周りの処置
s#<img src="http://(img\.2ch\.net/.+?)">#sssp://$1#igk
s#</div><div class="be .*?><a href="http://be\.2ch\.net/user/(\d+).*?>\?(.*?)</a># BE:$1-$2#ig
# jump.2chは無駄なので取っ払う
s#<a href="http://jump\.2ch\.net.*?>(.*?)</a>#$1#igk
# フルパスを相対パスに変換（やらなくても問題ないかもしれないが一応昔の仕様に合わせる）
s#<a href="http://.*?\.2ch\.net/(test/read\.cgi/.*?/\d+/\d+)#<a href="../$1#igk
s#<a href="http.*?>(.*?)</a>#$1#igk
# お絵かき機能のimgタグを除去
s#<img src="(.*?)">#$1#igk

正規表現：
m#<div\ class="number">([0-9]+).+?<div\ class="name">(?:<a\ href="mailto:(.*?)">)?(.*?)(?:</a>)?</div><div\ class="date">(.*?)</div><div\ class="message">(.*?)</div>#mi
935：名無しさん：2015/12/09(水) 15:11:45: 横からですがありがとうござます。
やっと自作PC板のdatが取得できますた・・・
936： ◆/vmukiyuzw：2015/12/09(水) 22:56:18: えーと、従来のread.cgiも変更されてるので対応しておかないといけませんね。

元々正規表現「read.cgi7.00？」の発展形としてやってきたものなんですが
現在のread.cgiのバージョンは 05.02.02だって？
うーん、なんか巻戻ってるけどあまり気にしないことにしよう・・・
とりあえず>>934のものは06系、このレスのもの（従来のものの発展形）は05系と呼んで区別することにします。
>>807、>>822あたりからの変更になります。

コメント：
# 2chのread.cgi 05系からの出力を変換-20151209
# 元datに近づけるためアンカー削除はオフにし
# 後処理で不要なもののみ削除する
# メール欄デコード処理は不要になったので削除
# バナー広告にマッチしないよう正規表現を修正

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

アンカー削除：
false

後処理：
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# BE周りの処置
s#<img src="http://(img\.2ch\.net/.+?)">#sssp://$1#igk
# 以下はhtmltodatの内部処理に組み込まれているので不要
#s#<a href=.?javascript:be$(\d+)(?:,\d+)?$.*?>\?(.*?)</a>#BE:$1-$2#igk

正規表現：
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)<dd>(.*?) (<dt.*?>|</dl>|<div)#mi
937：931：2015/12/11(金) 17:40:58: /vmukiyuzwさん

ありがとうございます
>>934でいけました

DAT2HTML0.26その２の件はかなり昔に何かでdat化できなかったときに
これを試したら出来てたのでそのままにしてました
いままで不便なく2ちゃんもdat化できてたのでほっておいたという次第です
938： ◆/vmukiyuzw：2016/03/18(金) 00:23:22: 最近2ch.netの一部の鯖でhtmlベースでの過去ログが取得できない不具合が出ているようですが。
2ch.netでdat落ちしていても2ch.scで拾われてるケースが多いので、これをなんとかできないか
考えてみました。

最初、単に2ch.netでのURLを2ch.scのURLに読み替えればいいかと考えたのですが
鯖名（xxx.2ch.netのxxxの部分）が異なる場合もあるので単純には変換できない。
どうしたものかと考えたのですが、ふと気づいたのは
2ch.scに拾われてるということは、取得先を2ch.netから2ch.scに切り替えた「ログ速」でも
かなりの確率で拾われていると考えられます。

となるとhtmltodatにも出番がありそうです。「ログ速」からの変換は>>820
Jane系であればhtmltodat-convert2のスクリプトも使えます。
939：名無しさん：2016/03/18(金) 01:32:08: 頑張ってください！
940：名無しさん：2016/03/31(木) 02:40:07: >>938
お疲れ様です、いつも利用させてもらってます

>>820の方法で echo鯖（軍板）のdat落ちのログを変換して
jane style ver3.81 に落とし込むことができ
jane styleに表示は可能ですが、改行？がされておらず（横方向に長い）
非常に読みにくい表示になってます

この状況の改善は可能でしょうか、よろしくお願いします。
941：名無しさん：2016/03/31(木) 07:05:33: >>940
ログ速の？URLを貼ってください
942：名無しさん：2016/03/31(木) 11:28:42: 質問です
今は存在しない外部掲示板のdatを取得することは可能でしょうか？
ちなみに太陽板というなりきり掲示板でした
943： ◆/vmukiyuzw：2016/03/31(木) 21:50:29: >>940さん
>>941さんのおっしゃるとおりで、具体的なURLを示して頂かないと検証できません。
ただ、URLはログ速のものでなくても元スレ（2ch.netのもの）でもいいです。
（>>820のパラメータの中でURLを読み替えるようになっているので）

以下は推測にすぎないのですが。
改行がされていない？という状況だと、レス内の タグが何らかの理由で
削除されてしまっているのではないかと思います。
>>820をそのまま使用していた場合そんなことにはならないはずですが
以前、JaneでReplaceStr.txtを使用していた場合に
このスレの表示の一部が変更されてしまい、パラメータをコピペする際に
内容が変わってしまって不具合が起きたということがありました。
今回のケースもそれかもしれないという気がします・・・

>>820をJaneStyleからではなく、IE等の汎用ブラウザからコピペしても
同じ結果になるか試してみてください。
944：940：2016/03/31(木) 22:00:11: ご返事が遅くなり申し訳ありません

元スレのURL
民主党ですが他国の同類です
http://echo.2ch.net/test/read.cgi/army/1459050594/
（ログ速URL）
http://www.logsoku.com/r/2ch.sc/army/1459050594/

このURLでいいのかちょっと不安ですが、こちらの方でも自力で問題解決できるかやってみます
945： ◆/vmukiyuzw：2016/03/31(木) 22:04:22: >>942さん
なりきり太陽板については以前（>>516-517）扱ったことがあるのですが
2012年頃に閉鎖されたようですね。
元データがなければhtmltodatとしてはできることはないです。

webarchive等でたまたま拾われてるのを探すか、
有志の方が過去ログをまとめて保存してくれているサイトを探すか、
いずれにせよGoogle先生に頼まないと仕方ないですね。
（「なりきり太陽板」でぐぐってみるとそれらしきサイトはいくつか見かけましたけど）
946： ◆/vmukiyuzw：2016/03/31(木) 22:56:00: >>940,944さん
こちらでも現象再現しました。で原因も半分わかりました。
>>943で推測したのに近く、 タグが のままになっている
ことが改行がうまくいかなかった理由です。

しかし、 を に変換する処理は前処理に入れてるのですが
何故か効いていない。
他のdat落ちスレで試してみると効いているので
なぜこのスレだけが効かないのか・・・
で、この処理を後処理に移してみるとこれまた何故か効く。
・・・ということで根本原因は今のとこ分かってないです。

詳しくはこれから調べますが、当面お困りの問題の回避策としては
後処理（前処理ではない！）に

s# # #igk

を入れる、というのでいけるかと思います。
947：942：2016/04/01(金) 02:00:33: >>945
ありがとうございます
検索してみたところ唯一見つかったのが以下のURLでした
http://karinto.in/taiyoulog/comic/jamp/hxh.html
ここからdat取得は可能でしょうか？
948：940：2016/04/01(金) 09:02:00: >>946
忙しい中、素早い対応ありがとうございました。
私の方でも解決できました。
949： ◆/vmukiyuzw：2016/04/01(金) 20:47:37: >>942,947さん
そのサイトに関してだけいえば、htmlの形式が非常にクラシカル
（昔の2ch.netが吐いていたhtmlに近いという意味）で、
前処理だのなんだのは不要で単に正規表現「DAT2HTML0.26」で
dat変換できると思います。
950：942：2016/04/01(金) 22:02:06: >>949
成功しました。ありがとうございました！
951：名無しさん：2016/04/05(火) 10:00:52: すみません
自分も便乗します

閉鎖された外部板のスレのログを取りたいのですが
ぬこでも見ていたのでそっちの自分の履歴からは過去ログが保存されてます
これをhtmltodatで専ブラdat化できますか？
952： ◆/vmukiyuzw：2016/04/05(火) 21:18:50: >>951さん
まず私が「ぬこ」というのを全然知らなかったので調べてみました。
確認ですが、 http://n2ch.net/?guid=ON から行けるサービスのことでいいんですよね？
だとすると、
http://n2ch.net/r/-/xxxx/1000000000/?guid=ON
みたいな形式で得られるhtmlをdatに変換するには、という問題だと考えていいですかね？
953：951：2016/04/05(火) 22:14:35: >>952
レスありがとうございます

そうです
携帯2ｃｈブラウザサービスのぬこです
キチンと書き込んでいなくて申し訳ないです
形式もそれで問題ないと思います
954： ◆/vmukiyuzw：2016/04/06(水) 20:45:38: >>951,953さん
もともとガラケー向けのサービスみたいなので、通信量を減らすための工夫がいろいろされてるんですが
いざ専ブラ用datに変換しようとするとやっかいな点がいくつかあります。

１つは、いろいろ省略オプションが設けられてる点。
（名前欄が板のデフォルト名無しの場合に省略される、投稿日欄が一部省略される、等）
これらを省略せず表示させるには、ぬこ(n2ch.net)側の設定を変更する必要があります。

もう１つは、一度に表示できるレス数に上限がある点。
最大が127レスで、これは設定画面でも明記されてるので当面どうにもならないようです。
ということは、htmltodatで変換する場合、127レス以上のスレは複数回に分けて変換し
結果をテキストエディタ等でつなげ合わせないといけないということになります。

これらへの対処はちょっと長くなるので次レス以降で。
955： ◆/vmukiyuzw：2016/04/06(水) 21:04:01: >>954続き
まず、ぬこ(n2ch.net)の設定変更についてです。

設定の変更は、IE等の汎用ブラウザでn2ch.netでのスレッドを表示し
画面の下のほうにある「設」をクリックします。
「ﾕｰｻﾞ設定」画面が出てきて「ﾚｽ表示」のところで色々弄れるのですが、
ここで設定した内容はn2ch.netにアクセスするURLの一部に反映されるようになっています。
なので、私が設定してみた結果の値を書いておきます。

ブラウザでn2ch.netのスレッドを表示した後、
URLの n2ch.net/r/-/ の「-」の部分を「-tE--OKxI」に変更してください。
次に、レス番号（板名/スレッド番号/ の後の数字）には「1-」を入れてください。

例： http://n2ch.net/r/-tE--OKxI/software/1458254677/1-?guid=ON

これでブラウザには該当スレの先頭から127までのレスが表示されると思います。
（名前欄の省略等もなくなっているはず）
ここでブラウザのURL欄に表示されてるURLをhtmltodatのURL欄にコピペしてdat変換します。

次に、ブラウザ側でn2ch.netのスレッド画面下部の「次」をクリックします。
これでブラウザには該当スレの128以降のレスが表示されるはずです。
（URLを直接htmltodatに入力するのではなく一旦ブラウザを経由させるのは
この「次」機能を使いたいため。でないと自分で次のレス番号を計算しないといけない）
で、ブラウザのURL欄のURLを再びhtmltodatにコピペしてdat変換します。
※このとき、dat保存するファイル名は前回と同じになるはずなので重複しないように適当に変えてください。
※「変換警告」ウィンドウが出て「レス 0-128 の間が飛んでいます」等と出ると思いますが
　気にしなくていいです。

これをスレの最後まで繰り返して、得られたいくつかのdatファイルをテキストエディタ等で一つにつなげると。

とりあえずこんな手順で考えてみました。
かなり手間だしわかりにくい部分もあるかもしれませんがどうでしょう。

正規表現等は次レスで。
956： ◆/vmukiyuzw：2016/04/06(水) 21:29:20: >>954-955続き
正規表現等は以下。
前レスでの設定変更云々に時間がかかったのでテストが不十分かもしれません。

コメント：
# ぬこ(n2ch.net)の変換 2016/04/06

前処理：
# ぬこが独自につけるアンカータグを除去
s`<A HREF="\./.*?>(.*?)</A>`$1`g

変換結果式：
$2<>$3<>$4<>$5<>

後処理：
# ID後の(1/2)みたいな表示を取り除く
s`( ID:.*?)$[/\d]*$`$1`g

正規表現：
m`
(?# レスの区切り) <HR>
(?# レス番号) (\d+)
(?# レス番号の後の数字をスキップ) (?:.*?<FONT\ SIZE="-1">)?
(?# 名前) :\ (.*?)
(?# メール欄) \ \[(.*?)\]
(?# 投稿日・ID) \ (.*?) 
(?# レス内容) (.*?)
(?# 次のレス区切り$6)(<HR>)
`kx
957：951：2016/04/09(土) 01:02:50: ありがとうございました
無事ぬこから過去ログ取得できました
助かりました

ぬこ自体の鯖に残っていれば板やスレッドが消えても取得できるのは大変ありがたいです
958：名無しさん：2016/04/22(金) 09:45:16: お尋ねします
read.cgi7.00？で変換開始をすると、一行が長すぎるか、正規表現が正しくないようですとメッセージが表示されます
その他のタイプを選んでも同じようになります
http://shiba.2ch.net/test/read.cgi/akb/1460929521/ で現象が発生します
対処の仕方を教えて下さいますようよろしくお願い致します
959：名無しさん：2016/04/22(金) 17:41:14: >>958
>>934
960：名無しさん：2016/04/22(金) 22:19:23: >>959
何をどうすれば良いのか正直わかりません
961： ◆/vmukiyuzw：2016/04/22(金) 23:09:43: >>958,960さん
>>959さんのご指摘でわからないということは
推測ですがhtmltodatでprmファイルを使ったことがないのでは？

prmファイルとは何か、どう使うのかについては、
htmltodatのreadme.txtに書いてますので「prm」で検索して参照ください。
また、>>797のレス等も参照ください。

初期のhtmltodatでは、正規表現を一覧から選択または編集して変換すれば
良かったのですが、それだけでは済まないサイトが徐々に増えていき
前処理等の変換オプションが追加されていきました。
で、段々それらの管理・指定方法が面倒になってきたので
ひとまとめで指定できるようにしたのがprmファイルです。
現状では、正規表現だけを選択して変換できるケースのほうが稀で
prmファイルを使ってる方が多いのではと思います。

まあ、言葉でいうほど難しいことではないと思うので一度お試しください。
962：名無しさん：2016/04/23(土) 10:18:33: >>961
ｐｒｍ初めて聞きました。
何をどうすればわかりませんでしたので。
試してみてわかりませんでしたらまた相談させていただきます。
教えていただきありがとうございます。
963： ◆/vmukiyuzw：2017/03/31(金) 23:13:25: 最近Fiddlerのスクリプトにばかりかまけていてこちらのほうはほったらかしだったんですが
2ch.net および bbspink.com の read.cgi に仕様変更があったので
こちらにもそれを反映させておきます。
（現状 2ch.net や bbspink.com の過去ログを読むためにこのソフトを使っておられる方が
どれくらいおられるかわかりませんが）

まずは 2ch.net の read.cgi 06系。>>934に対する修正ということになります。

コメント：
# 2chのread.cgi 06系からの出力を変換-20170331
# 2chのcgi仕様変更（06系）に対応
# read.cgi側の細かい仕様変更にぼちぼち対応

URLの変換：
s#https?://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

前処理：
# メール欄にURLが貼られた時のとりあえず対応
s#(<a href="mailto:)([^<>]*?)(?:<a href[^>]*?>)?([^<]*?)(?:</a>)?([^>]*?)(">)#$1$2$3$4$5#ig

アンカー削除：
false

透明あぼーんを補う：
true

後処理：
# BE周りの処置
s#<img src=".*?//(img\.2ch\.net/.+?)">#sssp://$1#igk
s#</div><div class="be .*?><a href=".*?//be\.2ch\.net/user/(\d+).*?>\?(.*?)</a># BE:$1-$2#ig
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# お絵かき機能等のimgタグを除去
s#<img src=".*?(//.*?)">#sssp:$1#igk

正規表現：
m#<div\ class="number">([0-9]+).+?<div\ class="name">(?:<a\ href="mailto:(.*?)">)?(.*?)(?:</a>)?</div><div\ class="date">(.*?)</div><div\ class="message">(.*?)</div>#mi
964： ◆/vmukiyuzw：2017/03/31(金) 23:23:29: 続いて、bbspink.com の read.cgi への対応。
2017年3月上旬に仕様変更があり 2ch.net の read.cgi とはかなり異なるものとなりました。

コメント：
# bbspink.comのread.cgi からの出力を変換-20170331

URLの変換：
s#https?://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

前処理：
# メール欄にURLが貼られた時のとりあえず対応
s#(<a href="mailto:)([^<>]*?)(?:<a href[^>]*?>)?([^<]*?)(?:</a>)?([^>]*?)(">)#$1$2$3$4$5#ig

アンカー削除：
false

透明あぼーんを補う：
true

後処理：
# 名前欄のfontタグ除去
s#(.*?)#$1#igk
# BE周りの処理
s#<div class="be .*?><a href=".*?//be\.2ch\.net/user/(\d+).*?>\?(.*?)</a></div># BE:$1-$2#ig
# BE周り処理との絡みでゴミが残るので除去
s#<>#<>#ig,"<>")
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# お絵かき機能等のimgタグ削除
s#<img src=".*?(//.*?)">#sssp:$1#igk

正規表現：
m#<dl class="post".*?><dt class="">(\d+).*?(?:<a href="mailto:(.*?)">)?(.*?)(?:</a>)?(.*?)</dt><dd class="thread_in">(.*?)</dd></dl>#mi
965：名無しさん：2017/04/02(日) 10:43:25: >>963
> 過去ログを読むためにこのソフトを使って…

います、ここにいますー(´・ω・`)ﾉ
今回の仕様変更に伴って、ちょっと自分の力ではどうしようもなかったので
対応されたOnBeforeResponseの中から必要そうな部分を移植してどうにか使用しておりました…

このたびprmの形にしていただきまして大変助かりました
ありがとうございます
966：名無しさん：2017/04/03(月) 00:33:03: >>963
ここにもおります
ご対応いただきまして助かります
本当にありがとうございました
967：名無しさん：2017/04/03(月) 01:46:54: >>963
利用させてもらってます
有難うです
968：名無しさん：2017/04/07(金) 16:29:31: >>963-964
利用させてもらってます！
969：名無しさん：2017/04/17(月) 20:36:57: >>963
1時間ほど前に落ちたν速のとあるスレで動作確認しました。
ありがとうございます。
970：969：2017/04/24(月) 21:05:57: ν速の過去ログ取得できない(´；ω；｀)ﾌﾞﾜｯ
971： ◆/vmukiyuzw：2017/04/25(火) 01:04:09: >>970さん
ご存知の方も多いかもしれませんが、2chのread.cgiにバージョンアップ（07.0.0）があり
htmltodatByFiddlerのほうでその対応をしていました。
でとりあえず落ち着いたような気もするのでこちらにも反映しておきます。

コメント：
# 2chのread.cgi 07系からの出力を変換-20170424
# 2chのcgi仕様変更（07系）に対応

URLの変換：
s#https?://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

前処理：
# メール欄にURLが貼られた時のとりあえず対応
s#(<a href="mailto:)([^<>]*?)(?:<a href[^>]*?>)?([^<]*?)(?:</a>)?([^>]*?)(">)#$1$2$3$4$5#ig

アンカー削除：
false

透明あぼーんを補う：
true

後処理：
# BE周りの処置
s#<img src=".*?//(img\.2ch\.net/.+?)">#sssp://$1#igk
s#<a href=".*?//be\.2ch\.net/user/(\d+).*?>\?(.*?)</a># BE:$1-$2#ig
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# お絵かき機能等のimgタグを除去
s#<img src=".*?(//.*?)">#sssp:$1#igk

正規表現：
m#<span\ class="number">([0-9]+).+?<span\ class="name">(?:<a\ href="mailto:(.*?)">)?(.*?)(?:</a>)?<span\ class="date">(.*?)</div><div\ class="message"><span\ class="escaped">(.*?)</div>#mi
972： ◆/vmukiyuzw：2017/04/25(火) 01:43:04: >>971 補足
現状はまだ流動的で正確に把握しているわけではないのですが、
read.cgi 06系が動いているサーバもまだあると思われるので、
>>971 は　>>963 に対する修正というわけではないのでご注意ください。
（両方生かしておいて使い分ける必要がある）

さらには read.cgi 05系（>>936）が動いてるサーバも未だ存在しますし
bbspink はそれらとはまた異なり >>964 になります。
つまり現状4パターンを使い分ける必要があります。
htmltodatByFiddlerではどのパターンか自動判別して使い分けるようにしてますが
htmltodatでは申し訳ないですがユーザーが判断して使い分けるしか今のとこありません。

あと、htmltodatに昔からある正規表現一覧の中に
「read.cgi7.00？」というのがあるのですが、
これは今回の2ch側のバージョンアップ read.cgi 07.0.0 とは別物なので
混同しないようにしてください。
（管理している人が変わっていつのまにか元のバージョン番号に戻ってしまった感じ？）
973：970：2017/04/25(火) 06:09:49: >>972
ありがとうございます。無事取得できました。
974：名無しさん：2017/04/26(水) 00:11:43: いつもお世話になります。私も変換できました。
ありがとうございます
975：名無しさん：2017/04/30(日) 04:59:32: 色々探しまくってこのスレにたどり着きました
過去ログが何故かgoogleとかで検索すると読めるけど
何故かjaneで見ると読めなくて困ってました
>>971　を試したら出来ました
ありがとです
976： ◆/vmukiyuzw：2017/05/05(金) 23:49:20: 2chのread.cgi 07系にバージョンアップ（07.0.1）があったので
対応したものを反映しておきます。
>>971への修正ということになります。

コメント：
# 2chのread.cgi 07系からの出力を変換-20170505
# 2chのcgi仕様変更（07.0.1）に対応

URLの変換：
s#https?://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

前処理：
# メール欄にURLが貼られた時のとりあえず対応
s#(<a href="mailto:)([^<>]*?)(?:<a href[^>]*?>)?([^<]*?)(?:</a>)?([^>]*?)(">)#$1$2$3$4$5#ig

アンカー削除：
false

透明あぼーんを補う：
true

後処理：
# BE周りの処置
s#<img src=".*?//(img\.2ch\.net/.+?)">#sssp://$1#igk
s#<a href=".*?//be\.2ch\.net/user/(\d+).*?>\?(.*?)</a># BE:$1-$2#ig
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# お絵かき機能等のimgタグを除去
s#<img src=".*?(//.*?)">#sssp:$1#igk
# IDの前に付くようになった不要なタグを除去
s## #igk

正規表現：
m#<span\ class="number">([0-9]+).+?<span\ class="name">(?:<a\ href="mailto:(.*?)">)?(.*?)(?:</a>)?<span\ class="date">(.*?)</div><div\ class="message"><span\ class="escaped">(.*?)</div>#mi
977：名無しさん：2017/05/06(土) 15:38:22: いつもありがとうございます
非常に助かっております
978：名無しさん：2017/05/06(土) 17:42:50: 日がだいぶ長くなった夕方～…ｗ
979：名無しさん：2017/07/05(水) 10:11:06: また1行が長すぎるか正規表現が正しくないようですって出て
変換できなくなりました
980：名無しさん：2017/07/05(水) 10:12:42: やっぱり昔の使ったら出来ました
すみませんでした
981： ◆/vmukiyuzw：2017/07/05(水) 22:14:25: 状況説明がほぼないので推測にすぎないですが
2chのread.cgiが07系にバージョンアップしていた鯖が
鯖移転により06系に戻ってるケースが多く見られるようですので
その関係ですかね。
まあread.cgi 07系はいろいろ問題があってそれが改善されないまま今に至るんで
個人的には「07系の不具合を直せないんなら06系に戻すべき」と思います。
982：名無しさん：2017/07/06(木) 15:33:16: いつもありがとうございます(`Д´)ゞ
983：名無しさん：2017/08/21(月) 17:06:29: いつも利用させていただいてます
ありがたい

最近知ったのですが
dat保存ボタンを押してファイルダイアログボックスが表示したとき、
Alt+↑キーで上の階層に素早く移動できる
984：名無しさん：2017/10/02(月) 17:00:19: 過去ログが5chになってhttpsになって、そのまま入力してもみつかりませんでしたになっちゃうね
しょうがないから5chのログ落としてローカルhtmlファイルとして食わせてdat変換できるようになった
985：名無しさん：2017/10/02(月) 20:38:11: 久しぶりに"htmltodat.exe"を起動した～
986： ◆/vmukiyuzw：2017/10/03(火) 00:16:04: >>984さん
すみません。
http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038409548/
のほうがちょっと大変でまだいろいろありそうなので・・・
最近では向こうでいろいろやってうまくいった結果をこっちにフィードバックしてる形なので
向こうが落ち着くまで並行してこちらをサポートするのは難しい感じです。