テストその２ - 1038409548 - したらば掲示板

1：名無しさん：2002/11/28(木) 00:05: テストその２
262：名無しさん：2015/04/19(日) 21:56:19: 多分CloudFlare側の対応で、read.cgi経由でftp://が表示出来るようになったよ。
263：名無しさん：2015/04/19(日) 21:57:58: おお、本当だ
264： ◆/vmukiyuzw：2015/04/19(日) 22:20:59: >>262さん
CloudFlare側の対応というより、read.cgiの修正（というか多分バージョンダウン）で直ったんだと思います。
汎用ブラウザでスレを見ると、書き込みのところの「お絵かきLOAD」のボタンがなくなってますので
・お絵かき機能を追加するバージョンアップのときにバグを仕込んでしまった
・問題が発生していない元のバージョンに戻した
てところではないかと。
ただ、MANGO板を含むmaguro鯖ではまだエラー出るようですね。
まあちょっと特殊な鯖みたいなんであまり気にすることはないかな。

http://jbbs.shitaraba.net/bbs/read.cgi/computer/1929/1038588508/884
の結果を受けて、Fiddlerのスクリプトにびんたんからの取得を検討していたところだったんですが、
とりあえず無駄な作業になっちゃう前に何とかなってよかった。
265：名無しさん：2015/04/20(月) 01:50:53: >>264
read.cgiの対処なら、↓の表記が全く変わらないのも何だかなって感じだね。
バグってたときと同じver.＆日付だし。

read.cgi ver 05.02.02 2014/06/23 Mango Mangüé ★
266：名無しさん：2015/05/28(木) 00:24:43: こういうのってhtmltodatByFiddler2.02で大丈夫なんですか？

730 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/05/27(水) 15:13:18.45 ID:4WQWcUci0
「提督業も忙しい！」にセキュリティ問題、警察庁も注意喚起
http://www.itmedia.co.jp/enterprise/articles/1505/27/news061.html
[FiddlerCore] Startup() のオプションの話
http://www.cat-ears.net/?p=39957

専用ブラウザを助けるプロクシ作らね？10串目 [転載禁止]©2ch.net
http://anago.2ch.net/test/read.cgi/software/1428850227/730
http://anago.2ch.net/test/read.cgi/software/1428850227/737
http://anago.2ch.net/test/read.cgi/software/1428850227/743
267： ◆/vmukiyuzw：2015/05/28(木) 00:54:34: >>266さん
FIddlerCore.dllを使ったアプリでは、デフォルトでは
外部からのプロキシ接続を受け付ける設定になってて
このセキュリティ問題になってるようですね。
Fiddler.exeのデフォルトでは
Options - Connections - Allow remote computers to connect
がオフになってるので、まあそれを信用するなら大丈夫なんじゃないでしょうか。
そもそもルータ等でいらんポートを塞いでれば問題ない気もしますが。
268： ◆/vmukiyuzw：2015/05/28(木) 21:16:01: ちょっと説明が雑だったかもしれないので補足。

FiddlerCoreっていうのは、Fiddlerの機能からUIの部分を取っ払って
プロキシサーバ機能のみを提供するもので、
プログラマがアプリを作るのにプロキシ機能を使いたい、てときに利用できるものです。
（自分で１からプロキシ機能作るのは作るのは大変なので）

で、FiddlerそのものとFiddlerCoreには「外部からのプロキシ接続を受け付けるか否か」
のオプションがあるんですが、これが（デフォルト状態では）
　Fiddlerはオフ、FiddlerCoreはオン
なようです。
FiddlerCoreのほうのオプションはプログラマが適切に設定しなければなりませんが
Fiddlerのオプションはユーザが操作でき、かつ、特殊な目的でもなければ
わざわざオンにする人もいないと思われるので
特に問題はないのではないかと思います。
269：名無しさん：2015/05/29(金) 02:45:48: >>267-268
おお、問題ないのですね
ありがとうございました
270：名無しさん：2015/09/03(木) 12:34:39: 一部の鯖でエラー出るread.cgi復活してるみたいね
271：名無しさん：2015/09/03(木) 20:02:16: あ、そういうことなん？
何か数日前くらいから読み込めないスレがちらほら出始めたんだよね
272：名無しさん：2015/11/13(金) 23:40:01: potato.2ch.netのread.cgiが吐き出す出力は構造が大きく変わった
273：名無しさん：2015/11/14(土) 10:16:01: >>272
http://anago.2ch.net/test/read.cgi/software/1437650830/796
ここのレスが修正のヒントになるよ
274： ◆/vmukiyuzw：2015/11/15(日) 06:50:49: htmltodatByFiddlerを更新しました。（ver 2.03）
　・2ch側で特定のサーバでread.cgiの仕様が変更されHTMLの形式が変わったため
　　それに対応。

変更されたread.cgiに対応した正規表現はさほど難しくなかったのですが
当面（いつまで？）新旧のread.cgiが共存すると思われるため、
どっちのcgiにも対応できるにはどうするかちょっと悩みました。

また、今回もdat変換処理に修正が入っているため、
前のバージョンを使って取得済みのログを更新しようとするとログ破損状態に
なってしまう可能性があります。申し訳ないですが再取得してください。

それと、ver 1.xx系列を合わせて保守するのはちょっとしんどいなと思えてきたので
今後はver 2xx系列だけでいかせていただけないかと思います。
275：名無しさん：2015/11/15(日) 08:33:12: >>274
お絵描きのimgタグ除去は、新cgi関係なく共通なんだけど。
276： ◆/vmukiyuzw：2015/11/15(日) 22:50:30: >>275
ご指摘ありがとうございます。修正しました。（ver 2.04）
　・お絵かき機能のimgタグの除去処理の場所を修正
277：名無しさん：2015/11/16(月) 01:59:29: >>276
乙
助かったよ、ありがとう！
278：名無しさん：2015/11/16(月) 12:38:12: >>276
今のところ順調に動いてます
ありがとう
279：名無しさん：2015/11/17(火) 13:44:42: こっちの問題じゃないんですが
read.cgi ver 06.0.0 には ttp: から始まるリンクに対しておかしなアンカーを生成するバグがある模様
真正の dat とバイト数が大幅に合わなくなる原因になるので一応書いておきます
280：279：2015/11/19(木) 09:01:16: jump.2ch.net を呼ぶようになったので特別な対策は要らなくなりました
read.cgi が安定するにはしばらく時間がかかりそう
281：名無しさん：2015/11/19(木) 23:47:05: >>244が再発してますね
282： ◆/vmukiyuzw：2015/11/20(金) 22:56:43: >>281さん
ご指摘ありがとうございます。修正しました。（ver 2.05）
　・「datが存在しません」のレスポンスが返ってきたときの判定を修正

read.cgi 06系では「datが存在しません」の場合に
どういうレスポンスが返るのかよくわからなかったので
判定条件を適当に修正しちゃってバグを仕込んでしまいました。
とりあえず当面のread.cgi 06系の吐くHTMLでは
元の判定条件で大丈夫だと確認しましたので修正（というか元に戻す）しました。
（>>243-247あたりも参照）
283：名無しさん：2015/11/20(金) 23:48:44: >>282
対応ありがとうございます
バグは直りましたが今度はread.cgi 06が404になってしまい読めなくなっています
284： ◆/vmukiyuzw：2015/11/21(土) 00:30:43: >>283さん
失礼しました。テストが不十分でした。
一応修正したつもりのバージョン。（ver 2.06）

まだまだread.cgi 06系の仕様が読み切れてないので試行錯誤中です
285：名無しさん：2015/11/21(土) 00:56:15: >>284
読めるようになりました
どうもありがとうございました！
286：名無しさん：2015/11/30(月) 20:05:41: >>284
何か最近読めないページが出てきたな・・・
と思ってたら2.06でいけるようになりました。ありがとう
287：名無しさん：2015/12/04(金) 23:33:54: なんか新着レスのとこで「ここ壊れてます」になります。
新スレ取得でもなぜかレスの2が壊れます。
多分、これだと思います。

対処よろしくお願いします。

119 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/12/04(金) 19:14:30.15 ID:q3g2YXGo0
まぐろ鯖のread.cgiで>>1に<br><br><div class="banner">から始まる広告が入った

専用ブラウザを助けるプロクシ作らね？15串目
http://potato.2ch.net/test/read.cgi/software/1448272459/119
288： ◆/vmukiyuzw：2015/12/05(土) 01:09:44: >>287さん
とりあえず修正してみました。（ver 2.07）
今回の対処は広告バナーを除去するようにしただけです。

若干説明したいことがあるのですがもう眠いのと
明日から用事が立て込んでるのでまた改めて。
289：名無しさん：2015/12/08(火) 13:05:21: 俺環かもですが例のレス内広告、BBSPINKではところどころ改行されててうまく取得できないようです
よく見ればすべてタグで括られてるので

replace(/<br><br>\n(?:<[^>]*?>\n?)*?<dt>/g,"<br><br>\n<dt>")

に変更したところ問題なくなりました
再検証のうえで修正版をお願いします
290：名無しさん：2015/12/08(火) 16:39:30: >>288
いつもありがとうございます

>>289
replace(/<div class="banner"[\s\S]*?<\/div><br><br>/,"")

俺はこうしたけど正規表現はあまり詳しくありませぬ
291： ◆/vmukiyuzw：2015/12/08(火) 21:12:46: 修正しました。（ver 2.08）

>>289さん、>>290さんご指摘ありがとうございます。
今回は、前バージョンからの修正が少なく互換性の検証が容易だった
>>290さん案を取り入れさせていただきました。
292：名無しさん：2015/12/08(火) 21:50:51: >>290
そっちの方がシンプルですね

>>291
修正ありがとうございます

正規表現、俺もようわからん
｢.*｣も｢[\s\S]*｣もマッチするのは基本的に同じはずだけど
とりあえずサクラエディタ上でテストしたら｢.｣、｢[\s\S]｣と一文字だけを指す場合は前者は改行文字にはマッチしなかった

これ以上はスレチになるので退散
293：名無しさん：2015/12/11(金) 09:59:26: 新 read.cgi でも広告入るようになった
294：名無しさん：2015/12/11(金) 16:43:27: >>293
05用の広告カットの定義を06用定義のところにコピペして

replace(/<div id="banner"[\s\S]*?<\/div><\/div><\/div>/,"")

に変更すればおk

ザックリ大雑把に言えばhtml上ではclassがidになり<br>が</div>になっただけ
295：名無しさん：2015/12/11(金) 16:47:24: >>293
すまん294訂正。</div>が1つ多かった

replace(/<div id="banner"[\s\S]*?<\/div><\/div>/,"")
296：名無しさん：2015/12/11(金) 17:11:22: >>293
すまん、もう1度修正

replace(/<div id="banner"[\s\S]*?(?:<div class="push"><\/div><\/div>)+/,"")

ザックリしすぎた……orz
297：名無しさん：2015/12/11(金) 20:08:38: お絵描き画像のリンクが
　sssp://o.8ch.net/xxxxx.png
じゃ無く
　http://o.8ch.net/xxxxx.png
になってるな。
298：297：2015/12/11(金) 20:32:47: あと、差分取得だが、

専ブラによっては差分取得が働かず、必ず全件取得になってしまう。
原因は、GETレスポンスのヘッダ情報に最終更新日時の"Last-Modified"ヘッダが無いから。
よって、GETリクエストのヘッダ情報に差分取得用の"Range"ヘッダが付加されないため、
BeforeResponse()内の差分取得処理がスルーされる。

また、新着無しの304を返す判定条件だが、
　if (sbyte == bodylength) {
だと、sbyte（"Range"ヘッダの値）よりbodylength（dat生成後のバイト数）が必ず+1に
なるため、常にイコールにならない。
よって、新着無しの場合、304ではなく差分1バイトの206が返ってきてしまう。
299： ◆/vmukiyuzw：2015/12/11(金) 21:23:25: 修正しました。（ver 2.09）

>>294-296さん
フォローありがとうございます。
結果は>>296のものと同じなんですが

replace(/<div id="banner"[\s\S]*?(?=<div class="post")/,"")

のようにしました。

>>296さん
ご指摘ありがとうございます。sssp:になるよう修正しました。
300： ◆/vmukiyuzw：2015/12/11(金) 22:12:09: >>299
> >>296さんご指摘ありがとうございます　は
>>297さんの間違いでした。

>>298さん
> 原因は、GETレスポンスのヘッダ情報に最終更新日時の"Last-Modified"ヘッダが無いから。
> よって、GETリクエストのヘッダ情報に差分取得用の"Range"ヘッダが付加されないため、
> BeforeResponse()内の差分取得処理がスルーされる。

うーん、なんか違うような・・・
GETリクエストのRangeヘッダはわざわざ削除してるんですけど。
（htmlベースでは差分取得するのが難しいので全部取得して内部で差分を取る前提）
専ブラから送られたRangeヘッダは削除前にOnBeforeReqest()でoSessionオブジェクトに保存して
OnBeforeResponse()に引き継いでるので差分取得処理でスルーされることはないはずです。

あと、専ブラによっては差分取得時に取得済みのdatサイズの続きではなく
あえて-1をRangeリクエストするものがあります。
（返ってきたデータの先頭が改行でなければ破損ログとみなす判定のため）
私の知る限りではかちゅ～しゃ、V2C、ギコナビ等がこの方式を取っていたと思います。
これらのブラウザでは新着レスがなくても304ではなく206が返るのが正常なレスポンスです。

お使いの専ブラではなにか不都合が出てるのでしょうか？
できたら専ブラの種類を教えていただきたく。
301：298：2015/12/11(金) 23:13:04: >>300
使ってる専ブラは「禁断の壷」というWebベースのものです。

「GETリクエストに"Range"ヘッダを付加しない」のは専ブラ側の方です。
よって、OnBeforeReqest()での"Range"ヘッダ削除処理自体が行われません。
なので、必ずステータス=200で全件取得となってしまいます。

あと、304の件ですが、他の専ブラの仕様でそうなっているのは了解しました。
302： ◆/vmukiyuzw：2015/12/12(土) 00:16:26: >>301さん
「禁断の壺」ですか。
かつては2ch公式ブラウザと言われたものですね。
動作を確認しようと検索したのですが元々の配布サイトが消滅していて
（検索不足かもですか）今どこにあるのか確認できず。
Rangeヘッダを出力せずどうやって差分取得を行っていたのか・・・
現時点では確認しようがなくお手上げです。
303：298：2015/12/12(土) 02:06:57: >>302
何かずっと誤解されてますが、
"Last-Modified"ヘッダがあれば、専ブラ側でその更新日時を元に"Range"ヘッダを付加して
差分取得を行います。
が、htmltodatByFiddlerでは"Last-Modified"ヘッダを付加して返してこないために、
専ブラが"Range"ヘッダを付加せず、結果差分取得が行われないのですよ。
304： ◆/vmukiyuzw：2015/12/12(土) 02:41:02: >>303
> "Last-Modified"ヘッダがあれば、専ブラ側でその更新日時を元に"Range"ヘッダを付加して
> 差分取得を行います。

それは「禁断の壺」独自の仕様では？
私の知ってる限りLast-ModifiedヘッダがなければRangeヘッダを返さないなんて専ブラは
聞いたことがありません。
それに、FiddlerのInspectorsタブ等で見ていただけるといいのですが
read.cgiからのレスポンスにLast-Modifiedヘッダはそもそも存在しません。
なので

> が、htmltodatByFiddlerでは"Last-Modified"ヘッダを付加して返してこないために、

そもそも付加しようがないと思います。

ですので、もし解決できるとするならご自分でLast-Modifiedを捏造して付加する
コードを書いていただくしかないのではないかと思います。
現時点で私には仕様が確認できないので何もできません。
305：名無しさん：2015/12/12(土) 04:47:04: もしかして｢壺｣は更新の有無(Last-Modified)だけをまず確認して、それをもとに本丸の取得判定を行ってるのか？
昔のネット環境を考えればそういう挙動も理解できる
で、現在の2ch.netは更新の有無にかかわらず都度html生成するからLast-Modifiedは当てにならないんだなぁこれが

とりあえず、自分用に仕込んでたものだがOnBeforeResponse処理の適当なタイミングに以下を追記すればいいよ

// Last-Modifiedが空っぽの場合Dateを代入
if (!oSession.oResponse["Last-Modified"])
oSession.oResponse["Last-Modified"] = oSession.oResponse["Date"];
306：298：2015/12/12(土) 11:21:31: >>304
過去にも、"Last-Modified"ヘッダについて遣り取りがあったみたいですね。
そこでは、、"Last-Modified"ヘッダは付けない方向との見解でしたので、
今回も同じ見解という事で、これで終わりにしたいと思います。

>>305
わざわざ、ご教示ありがとう御座います。
「禁断の壷」は、ローカル保存のDATに、"Last-Modified"ヘッダの更新日時を
保持しており、スレの新規取得時に、"Last-Modified"ヘッダの値も保存します。
で、DATに"Last-Modified"ヘッダの値が無いと本来の差分取得を行わずに、
新規取得と同様に全件取得を行う仕様のようです。

なお、"Last-Modified"ヘッダの値ですが、2chAPIの方の動作を確認しますと、
最終レスの日付情報と同じ値の様です。
でも、「禁断の壷」では"Date"ヘッダの値でも問題無く、"Last-Modified"ヘッダ
が付加されていれば、差分取得が行われるようになりました。
307： ◆/vmukiyuzw：2015/12/12(土) 21:23:28: >>306さん
>>251-254 あたりでのやりとりですね。つい最近なのにすっかり失念してました。

>>305さんはもしかしてその時ご意見下さった方かな？
フォローありがとうございます。
>>305のコードを取り入れて他の専ブラに影響が出ないかもう少し検証したいですが
問題なさそうであれば取り入れたいと考えています。
308：名無しさん：2015/12/17(木) 23:50:03: read.cgi 05
まだ変わりそうだけどとりあえず消す
oBody.replace(/<div id="js--banners--thread" class="banner" style="width:100%;"><\/div>/,"")

read.cgi 06
httpsがhttpになってたのがhttpsになったので要再読み込み
関係ないけどブラウザでお絵描き表示されるのがssspだけに
309： ◆/vmukiyuzw：2015/12/18(金) 00:30:50: >>308さんご指摘ありがとうございます。
修正しました。（ver 2.10）

read.cgi 05系の広告の入り方に変更があったので対応しました。
あと、ちょっと上で話が上がっていたLast-Modifiedヘッダについても
付加するようにしました。

> read.cgi 06
> httpsがhttpになってたのがhttpsになったので要再読み込み

なんか破損するスレがあるけど破損しないスレもあるのはなぜだろう
と思ってたらそういうことだったんですね。
これに関しては対応は難しそう・・・再読み込みしていただくしかないような。
310：名無しさん：2015/12/21(月) 23:24:30: お疲れ様です
bbspinkでここ壊れてますになって気付いたんですが
FiddlerのTextviewを見るとレス数が1だけだとマッチせずに広告が残ってます
今は
bbspink read.cgi 05は>>290
2ch read.cgi 06は>>296
2ch read.cgi 05は>>308
を追加して消してます
311： ◆/vmukiyuzw：2015/12/22(火) 00:39:10: >>310さんご指摘ありがとうございます。
修正しました（ver 2.11）

レス数が1だけだと広告除去の条件がうまく効いていませんでした。
レス数1だけのスレというのは板によっては結構出会うことが難しいんで
テスト不足でした。
312：名無しさん：2015/12/22(火) 02:04:35: >>311
対応ありがとうございます
313：名無しさん：2015/12/25(金) 21:12:13: > //oBody = oBody.replace(/<a href="http:\/\/jump\.2ch\.net.*?>(.*?)<\/a>/ig,"$1"); //これは必要か？後で検討

これを有効にしないとこのスレ(read.cgi 06)の>>1の一部(2ch外へのリンク等)が消えてしまうようです
http://potato.2ch.net/test/read.cgi/software/1422462757/
314： ◆/vmukiyuzw：2015/12/25(金) 23:52:25: >>313さんご指摘ありがとうございます。
修正しました（ver 2.12）

ご指摘いただいた行（jump.2ch.netを外す）ではなく、その直下の
// レスアンカーに対するフルパスを相対パスに変換～
のとこがよくなかったようです。
現状のread.cgi 06ではレスアンカーに対するパスはいつのまにか05同様相対パスになっているようなので
この変換処理は不要であると考えコメントアウトするようにしました。
315：名無しさん：2015/12/26(土) 00:56:05: >>314
ありがとうございます
316：名無しさん：2016/01/11(月) 17:24:30: 以下のスレで指摘された新read.cgiのバグへの対応お願いします

専用ブラウザを助けるプロクシ作らね？15串目
http://potato.2ch.net/test/read.cgi/software/1448272459/809

以下のように修正したら上手く動きました
(?:<a href="mailto:(.*?)">)?
↓
(?:<a href="mailto:(?:<a[^>]+>)?(.+?)(?:<\/a>)?">)?
317：名無しさん：2016/01/11(月) 20:36:04: >>316の件ですがこの修正の仕方は決め打ち過ぎるので訂正します

以下のスレでいくつかのテストを重ねてみました
http://potato.2ch.net/test/read.cgi/software/1449192043/404-410

結果としてはdat形式への変換は元のまま、その前に名前・メール欄内だけ以下の変換を行なうことで問題がなくなりました

//名前・メール欄内の余計なAタグ除去（前処理）
oBody = oBody.replace(/(<b><a href="mailto:)(.+?)(<\/a><\/b>)/g, function(aStr, aTag1, aMailName, aTag2) {
var mailname = aMailName.replace(/<\/?a[^>]*?>/g, '');
return aTag1 + mailname + aTag2;
});

以上を踏まえ修正お願いします
318： ◆/vmukiyuzw：2016/01/11(月) 22:36:17: >>316-317さん　ご指摘ありがとうございます。
htmltodatByFiddlerを修正しました（ver 2.13）

正直、>>316を読んだ直後には
「メール欄にURLとともににsageとか入力されたらどうなるんだろう」
「メール欄だけじゃなく名前欄にも影響ありそうな」
と懸念を抱きどうしたもんかと思ったのですが
>>317で検証いただいたようでありがたいです。

# 実はreplaceメソッドの引数にこういう形で関数を指定できるのを
# 知らなかったので勉強になりました

read.cgi 05系ではこの現象は発生しないことは確認したのですが
念のため05系、06系両方に適用するようにしてます。
319：名無しさん：2016/01/11(月) 23:44:26: 修正乙でした
320：＜削除＞：＜削除＞: ＜削除＞
321：＜削除＞：＜削除＞: ＜削除＞
322：名無しさん：2016/03/10(木) 10:49:40: 溶接工とか言う寿命削る仕事
http://bit.ly/1XshYYl
323：名無しさん：2016/03/10(木) 17:57:41: >>320-322
324：名無しさん：2016/03/15(火) 05:31:40: 【絶望】ふらつくから病院行ってみたらｗｗｗｗｗｗｗｗｗｗｗｗ
http://bit.ly/1R5AiRC
325：名無しさん：2016/03/26(土) 13:23:07: bbspink.com(2ch.netでも見た気がするが覚えてない)で最終レス末尾に広告枠が追加されたようなので

oBody = oBody.replace(/<\/div><\/div><\/div><div><div class="js--ad--bottom"[\s\S]*$/,"</div></div>\n");

バナー広告削除処理の辺りに入れてください
テストらしいテストはしてませんが……
326： ◆/vmukiyuzw：2016/03/26(土) 22:07:09: >>325さん　ご指摘ありがとうございます。
htmltodatByFiddlerを修正しました（ver 2.14）

意味的にはほぼ同じなのですが以下のようにしました。

oBody = oBody.replace(/<\/div><div><div class="js--ad--bottom"[\s\S]*$/,"");
327：名無しさん：2016/04/09(土) 09:52:53: 【悲報】サメ映画、もはやなんでもあり【画像あり】
http://bit.ly/1R5A4tS
328：名無しさん：2016/04/10(日) 19:38:57: 彼女がディズニーランド行きたいって言うことで大喧嘩になった
http://bit.ly/1R5A6lu
329：名無しさん：2016/04/20(水) 15:32:11: 本当に出会える出会い系ランキング
ttp://bit.ly/1OgYRt7
330：名無しさん：2016/05/08(日) 11:21:49: 本当に出会える出会い系ランキング！
ttp://deai.erosoku.top/ranking/type2
331：名無しさん：2017/03/07(火) 23:35:13: bbspinkのreadcgiが更新されたので対応願います
自分用に修正した点からヒントは

readcgi06の派生である
div構造からdl、dt、dd、span構造へ変更
レス1とレス2間に広告があるのは変わらないがsectionタグで解りやすくしてある
最終レスの広告はない
一部のclass名が変更されてる

というところでしょうか
332： ◆/vmukiyuzw：2017/03/08(水) 01:58:26: >>331さん　ご指摘ありがとうございます。
htmltodatByFiddlerを修正しました（ver 2.15）

ちょっとやっつけ作業ぽいのですがとりあえずbbspinkでは動くと思います。
このread.cgiが2ch.netにも導入されるようだとまた考えないといけないかもしれません。
333：名無しさん：2017/03/08(水) 14:55:47: >>332
更新どうもです
申し訳ないですが再修正を願います

beID周り処理が抜け落ちてます
ageレス時(だけかな？)の名前欄にfontタグが追加されていた
バナー削除の処理で若干ゴミが残る可能性があるので以下のようにするといいと思います
<\/section>.*?<\/div><\/div> → <\/section>.*?(?=<dl class="post")
334：333：2017/03/08(水) 16:10:33: fontタグに関して

通常のageレスもしくは一部の★持ち(運営)のレス場合タグ付加
通常のageレスはcolor="green"、★持ちは個々人で違う色を指定してる

除去するのであれば前者のケースのみで
335： ◆/vmukiyuzw：2017/03/08(水) 18:16:48: >>333-334さん、ご指摘ありがとうございます。

まずbeID周りですが、beIDの入ったスレを私のほうで探すことができず
（bbspinkには疎いもので）、2ch.netのbeID周りと形式が同じかどうか
わからなかったので、入れてませんでした。
beIDが入ったスレ、および★持ちさんのレスが入ったスレのURLを
いくつか教えていただけると助かります。

あと多分もっと重大な問題として、（板によるかもしれませんが）
透明あぼーんが頻発するスレが散見され、（http://mercury.bbspink.com/hnews/等）
これがブラウザによってはスレが壊れる原因となっていると思われます。
（壊れないブラウザでもどのみちレス番がずれることになるので問題なのですが）

この問題は実は前から認識はしていたのですが結構大きな修正になってしまいそうなので
先送りにしてました。が、あまりレアケースでもなくなっているようなので
今回合わせて対応しようと思います。ちょっと時間かかるかもしれません。
336：333：2017/03/08(水) 22:28:19: >>335
板だとここ
http://phoebe.bbspink.com/meow/
その中でも両方同時に確認できるのはこのスレですね
http://phoebe.bbspink.com/test/read.cgi/meow/1461076454/l25

このにゃあ板はpinkで一番エロくないおとなしい板で実験板も兼ねています

pinkでスレが壊れるのは仕方ないことですよ
自動あぼーんが機能してるんで宣伝レス等があればほどなく発動、｢うふ～ん｣に置き換えられます
また2chより板が少ない分に削除人が動いてくれてます
なのであまり気にする必要ないかと思います

これまでのreadcgiならスレサイズが下部に記載されてたのでそれである程度あぼーん判定の補完ができたんですが
337： ◆/vmukiyuzw：2017/03/09(木) 00:01:25: htmltodatByFiddlerを修正しました（ver 2.16）

>>333さんにご指摘いただいた部分を修正しました。
また、透明あぼーんがあった場合にスレが壊れたりレス番がずれる
問題に対処しました。
（透明あぼーんがあった場合それを補う「透明あぼーん」レスが
追加されます。なので汎用ブラウザで見た時には存在しないレスが
表示されることになります）

>>333=336さん
いろいろご指摘・情報提供いただきありがとうございます。
bbspinkでスレが壊れる事情は多分仕方ないのでしょうが
>>335で挙げていただいたスレをAPIを使う専ブラで見るとレス番10や16が
「うふ～ん」で表示されるのですが
新しいread.cgiが吐くHTMLだと透明あぼーんになってしまうようなのです。
（以前のread.cgiではどうだったのか知らないので新read.cgiでそうなったのか
どうかはわからないんですが）

ともあれ透明あぼーんがあるとdatデータの構造上専ブラではレス番がずれちゃう
状況はやはりまずいと思い、対応することにしました。
338：名無しさん：2017/03/09(木) 00:55:12: >>337
更新お疲れ様です

透明あぼーんの件、こっちの理解不足でした
と同時に以前のreadcgiで自分でも対処しようとしたけど、結局放置してたのを思い出しましたf^_^;)

以前のものは透明あぼーんがある場合レス0番が存在してました
レス0がどういった内容だったかは覚えてませんが
339： ◆/vmukiyuzw：2017/03/12(日) 00:19:23: htmltodatByFiddlerを修正しました（ver 2.17）

>>338さんにご指摘を受けた「レス番0」の件ですが
一応認識はしていて、対策もしたつもりでいたんですが
http://potato.2ch.net/test/read.cgi/software/1488358985/51
で挙げられたスレを見てバグに気付きました。

レス番0は読み飛ばすようにしたのでこれで問題ないと思ったのですが
その前にレス1（これはレス番を見ていない単に最初のレス）に
スレタイを付加する処理を入れていたので
レス番0が存在した場合スレタイも消えてしまうというアホな事態になってしまってました。

スレタイを付加するタイミングを後にずらしたので多分問題解消したと思います。
340： ◆/vmukiyuzw：2017/03/25(土) 03:05:47: なんか差分取得で壊れるスレがあるなあと思ったら、
read.cgiが若干仕様変更された模様。
一応問題点はわかったのですが
今から修正するのは時間的にしんどいんで明日の夜やります。
341： ◆/vmukiyuzw：2017/03/25(土) 22:20:26: htmltodatByFiddlerを修正しました（ver 2.18）

read.cgiの仕様が若干変更され（今のところ2ch.netの06系だけのようですが）
BeアイコンやEmoticonやお絵描き機能の画像など、html上では <img src="～"> で表される
（dat上では sssp://～となる）要素について、http: が省略されるようになったため
対応しました。
342： ◆/vmukiyuzw：2017/03/25(土) 22:28:24: >>341
おっとこのレスはブラウザによっては化けてしまうかも

> （dat上ではｓｓｓｐ://～となる）要素について、
　　　　　　　　　↑実際は半角

です。
343： ◆/vmukiyuzw：2017/04/09(日) 00:57:27: htmltodatByFiddler、と呼ぶのは長くて面倒になってきたので
勝手ながらこのスレでは今後 hBF と略して呼ぶことにします（鉛筆の濃さみたいですが＾＾；）

で、ｈBFを修正しました（ver 2.19）

・itest.2ch.net/xxx/～へのリクエストがあったら xxx.2ch.net/～に飛ばすよう修正
　（itest.bbspink.com についても同様）
・https://～へのリクエストがあった場合への対応

今回は OnBeforeResponse.txt だけでなく OnBeforeRequest.txt も更新してますのでご注意ください。
補足があるのですが長くなるかもなので次レス以降で。
344： ◆/vmukiyuzw：2017/04/09(日) 01:14:52: >>343 補足１
まずitestへのリクエストの変換ですが。
最近 itest.2ch.net へのリンクが貼られることが多くなってきたと思うのですが、
専ブラにとっては（というより itest 以外の全ての閲覧環境にとっては、かもしれませんが）
面倒だと思ったので、本来の 2ch.net のURLに変換するようにしてみました。

ただ一つ考慮事項として、専ブラの側で itest.2ch.net へのリクエストを
2ch.net へのリクエストとして認識してくれないと、このリクエストの変換は行われないです。
専ブラによっては「このURLは自分の仕事じゃない」と
汎用ブラウザ等に投げてしまうものもあるようです（となると当然ｈBFの処理も通らないので
どうしようもない）。

この話はいろいろ膨らむ要素がありそうですがとりあえずこの辺にしておきます。
345： ◆/vmukiyuzw：2017/04/09(日) 02:05:53: >>343 補足２
https: へのリクエストについてですが。

Fiddler自体は元から https: に対応しているのですが
現存する専ブラでは https://xxx.2ch.net/ ～のようなリクエストがあっても
プロキシに https: のまま投げてくるものはないようなので、
当面あまり意味はないです。
「もし対応したものが出てきたらこうしとかないとまずいかも」
という点を直しただけです。
今後対応してくるものもでてくるでしょうからそのときまた考えます。
346：名無しさん：2017/04/10(月) 21:25:36: https対応は2ch鯖－Fiddler間で対応しないとマズイのでは？
現にegg鯖がhttpsがデフォになったし。
347： ◆/vmukiyuzw：2017/04/10(月) 23:45:43: >>346さん
すみません、「2ch鯖－Fiddler間で対応しないとマズイ」とはどういう意味ですかね？
もしかして「これからは https: がデフォになるから普通の http: での通信も https: にしないとマズイ」という意味？

>>345にもちょっと書いてますがFiddler自体は元から https: には対応してますし
専ブラではない別のクライアントで https: のリクエストをシミュレートして
「もし専ブラが https: へのリクエストを投げてきたら」も確認してます。
だが実際のところ https://xxx.2ch.net/test/read.cgi/ ～のリクエストを
そのままプロキシに投げてくる専ブラは私はまだお目にかかったことないので
それから考えようと思ってます。
そういうことではなくマズイと思われる点があればご指摘いただけるとありがたいです。
348：名無しさん：2017/04/13(木) 16:16:30: >>347
2ch(CF)側がhttpsのみに対応した場合、httpしか対応してない専ブラが通信出来なく
なるかも知れないので、現在APIモード対応の串がやってる

専ブラ(http)<->(http)Fiddler(https)<->(https)2ch(CF)

という通信にも対応しておく必要がある。って意味です。
349： ◆/vmukiyuzw：2017/04/13(木) 23:30:40: >>348
なるほど、専ブラの対応に関わらず
Fiddler - 2ch 間のやり取りは今から https にしておいた方が良いということですね。
それは納得しました。

ただ、現在のところhBFでは read.cgi とのやり取りにしか介入してないのですが
> 2ch(CF)側がhttpsのみに対応した場合、
という状況を考えると、他にも bbs.cgi とか subject.txt とかとのやり取りも
考慮しないといけなくなるように思います。
この辺は今まであまり気にしていなかった部分なので、ちょっといろいろ
確認してみます。
350：名無しさん：2017/04/15(土) 22:23:30: FiddlerのSSL対応のデフォはOS依存のようで
7以降は証明書生成にCertEnrollAPIとやらを利用出来るから何の問題もない
XPの場合はご存知かと思うが原則SHA1まで、SP3ならSHA256に一部対応してるそうだがFiddlerでは使えない
Vistaは分からないけど現状問題ないだろう
Fiddler拡張としてOpenSSL等利用するラッパー作ればいいらしいけど覚えることがたくさんだろうね
351： ◆/vmukiyuzw：2017/04/22(土) 07:27:29: https対応はまだのんびりでいいかと思ってたんですが
なんかread.cgiの変更があったようですね。まだ一部サーバのみ？
今日ちょっと用事が立て込んでるんで対応は遅くなるかもです。
352： ◆/vmukiyuzw：2017/04/22(土) 23:12:12: hBFを修正しました（ver 2.20）

　・2chの一部のサーバでread.cgiがバージョンアップ（07.0.0）されたので対応

今のところagree鯖だけですかね？
対象の鯖で既得済みのログを更新しようとするとログ破損状態になる可能性があります。
353： ◆/vmukiyuzw：2017/04/23(日) 07:18:22: hBFを修正しました（ver 2.21）

前バージョンにバグがあり変換結果のdatにゴミが入ってしまっていました。
（ read.cgi 07系のみ）
申し訳ありませんが差し替えてください。
354：名無しさん：2017/04/23(日) 13:19:30: 2.10だったのですがecho鯖へのアクセスで
（･∀･）ﾅﾝｶｴﾗｰﾀﾞｯﾃ HTTP/1.1 404 Fiddledだったので
2.21にした所正常になりました。ありがとうございます
355：名無しさん：2017/04/24(月) 08:02:52: ありがとうございます！
356：名無しさん：2017/04/25(火) 23:10:00: 取得済みのスレに新着があった場合や更新チェックした場合の新着レスが
スレを閉じると消えてしまうのですが何が原因か分かりませんか？
最初に読み込んだ所までは残ります。
2.21を入れてすぐはこのような症状はなかったと思うのですが
どうしてこうなったか見当がつきません。
無関係でしたらすみません。
357：名無しさん：2017/04/26(水) 00:49:14: 今日から？下のログに
(；ﾟДﾟ)サイズが合わない･･･
と表示されるようになりましたね
でもレスは更新されてるからとりあえずおｋかなｗ
358： ◆/vmukiyuzw：2017/04/26(水) 01:36:11: >>356さん、>>357さん
・どの板、どのスレで発生したのか（具体的なURL）
・どのブラウザ（できればバージョンも）で発生したのか
少なくともこの辺の情報がないと確認できないです。
問題なのかどうかすらわからないのでできれば詳細を再報告願います。
359：357：2017/04/26(水) 01:52:19: URL制限あるぽいですね
360：名無しさん：2017/04/26(水) 01:53:22: ブラウザ：JaneDoe View α ( build date: 1507130036 )
出る
http://mint.2ch.net/test/read.cgi/pav/1466221276/
http://echo.2ch.net/test/read.cgi/av/1492956696/
出ない
http://egg.2ch.net/test/read.cgi/jisaku/1487581901/
http://egg.2ch.net/test/read.cgi/smartphone/1492258777/
361：名無しさん：2017/04/26(水) 01:55:12: >>360は>>357です。
それほど大きな問題ではない（と思っている）ので時間がある時にでも・・・