テストその２ - 1038409548 - したらば掲示板

1：名無しさん：2002/11/28(木) 00:05: テストその２
282： ◆/vmukiyuzw：2015/11/20(金) 22:56:43: >>281さん
ご指摘ありがとうございます。修正しました。（ver 2.05）
　・「datが存在しません」のレスポンスが返ってきたときの判定を修正

read.cgi 06系では「datが存在しません」の場合に
どういうレスポンスが返るのかよくわからなかったので
判定条件を適当に修正しちゃってバグを仕込んでしまいました。
とりあえず当面のread.cgi 06系の吐くHTMLでは
元の判定条件で大丈夫だと確認しましたので修正（というか元に戻す）しました。
（>>243-247あたりも参照）
283：名無しさん：2015/11/20(金) 23:48:44: >>282
対応ありがとうございます
バグは直りましたが今度はread.cgi 06が404になってしまい読めなくなっています
284： ◆/vmukiyuzw：2015/11/21(土) 00:30:43: >>283さん
失礼しました。テストが不十分でした。
一応修正したつもりのバージョン。（ver 2.06）

まだまだread.cgi 06系の仕様が読み切れてないので試行錯誤中です
285：名無しさん：2015/11/21(土) 00:56:15: >>284
読めるようになりました
どうもありがとうございました！
286：名無しさん：2015/11/30(月) 20:05:41: >>284
何か最近読めないページが出てきたな・・・
と思ってたら2.06でいけるようになりました。ありがとう
287：名無しさん：2015/12/04(金) 23:33:54: なんか新着レスのとこで「ここ壊れてます」になります。
新スレ取得でもなぜかレスの2が壊れます。
多分、これだと思います。

対処よろしくお願いします。

119 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2015/12/04(金) 19:14:30.15 ID:q3g2YXGo0
まぐろ鯖のread.cgiで>>1に<br><br><div class="banner">から始まる広告が入った

専用ブラウザを助けるプロクシ作らね？15串目
http://potato.2ch.net/test/read.cgi/software/1448272459/119
288： ◆/vmukiyuzw：2015/12/05(土) 01:09:44: >>287さん
とりあえず修正してみました。（ver 2.07）
今回の対処は広告バナーを除去するようにしただけです。

若干説明したいことがあるのですがもう眠いのと
明日から用事が立て込んでるのでまた改めて。
289：名無しさん：2015/12/08(火) 13:05:21: 俺環かもですが例のレス内広告、BBSPINKではところどころ改行されててうまく取得できないようです
よく見ればすべてタグで括られてるので

replace(/<br><br>\n(?:<[^>]*?>\n?)*?<dt>/g,"<br><br>\n<dt>")

に変更したところ問題なくなりました
再検証のうえで修正版をお願いします
290：名無しさん：2015/12/08(火) 16:39:30: >>288
いつもありがとうございます

>>289
replace(/<div class="banner"[\s\S]*?<\/div><br><br>/,"")

俺はこうしたけど正規表現はあまり詳しくありませぬ
291： ◆/vmukiyuzw：2015/12/08(火) 21:12:46: 修正しました。（ver 2.08）

>>289さん、>>290さんご指摘ありがとうございます。
今回は、前バージョンからの修正が少なく互換性の検証が容易だった
>>290さん案を取り入れさせていただきました。
292：名無しさん：2015/12/08(火) 21:50:51: >>290
そっちの方がシンプルですね

>>291
修正ありがとうございます

正規表現、俺もようわからん
｢.*｣も｢[\s\S]*｣もマッチするのは基本的に同じはずだけど
とりあえずサクラエディタ上でテストしたら｢.｣、｢[\s\S]｣と一文字だけを指す場合は前者は改行文字にはマッチしなかった

これ以上はスレチになるので退散
293：名無しさん：2015/12/11(金) 09:59:26: 新 read.cgi でも広告入るようになった
294：名無しさん：2015/12/11(金) 16:43:27: >>293
05用の広告カットの定義を06用定義のところにコピペして

replace(/<div id="banner"[\s\S]*?<\/div><\/div><\/div>/,"")

に変更すればおk

ザックリ大雑把に言えばhtml上ではclassがidになり<br>が</div>になっただけ
295：名無しさん：2015/12/11(金) 16:47:24: >>293
すまん294訂正。</div>が1つ多かった

replace(/<div id="banner"[\s\S]*?<\/div><\/div>/,"")
296：名無しさん：2015/12/11(金) 17:11:22: >>293
すまん、もう1度修正

replace(/<div id="banner"[\s\S]*?(?:<div class="push"><\/div><\/div>)+/,"")

ザックリしすぎた……orz
297：名無しさん：2015/12/11(金) 20:08:38: お絵描き画像のリンクが
　sssp://o.8ch.net/xxxxx.png
じゃ無く
　http://o.8ch.net/xxxxx.png
になってるな。
298：297：2015/12/11(金) 20:32:47: あと、差分取得だが、

専ブラによっては差分取得が働かず、必ず全件取得になってしまう。
原因は、GETレスポンスのヘッダ情報に最終更新日時の"Last-Modified"ヘッダが無いから。
よって、GETリクエストのヘッダ情報に差分取得用の"Range"ヘッダが付加されないため、
BeforeResponse()内の差分取得処理がスルーされる。

また、新着無しの304を返す判定条件だが、
　if (sbyte == bodylength) {
だと、sbyte（"Range"ヘッダの値）よりbodylength（dat生成後のバイト数）が必ず+1に
なるため、常にイコールにならない。
よって、新着無しの場合、304ではなく差分1バイトの206が返ってきてしまう。
299： ◆/vmukiyuzw：2015/12/11(金) 21:23:25: 修正しました。（ver 2.09）

>>294-296さん
フォローありがとうございます。
結果は>>296のものと同じなんですが

replace(/<div id="banner"[\s\S]*?(?=<div class="post")/,"")

のようにしました。

>>296さん
ご指摘ありがとうございます。sssp:になるよう修正しました。
300： ◆/vmukiyuzw：2015/12/11(金) 22:12:09: >>299
> >>296さんご指摘ありがとうございます　は
>>297さんの間違いでした。

>>298さん
> 原因は、GETレスポンスのヘッダ情報に最終更新日時の"Last-Modified"ヘッダが無いから。
> よって、GETリクエストのヘッダ情報に差分取得用の"Range"ヘッダが付加されないため、
> BeforeResponse()内の差分取得処理がスルーされる。

うーん、なんか違うような・・・
GETリクエストのRangeヘッダはわざわざ削除してるんですけど。
（htmlベースでは差分取得するのが難しいので全部取得して内部で差分を取る前提）
専ブラから送られたRangeヘッダは削除前にOnBeforeReqest()でoSessionオブジェクトに保存して
OnBeforeResponse()に引き継いでるので差分取得処理でスルーされることはないはずです。

あと、専ブラによっては差分取得時に取得済みのdatサイズの続きではなく
あえて-1をRangeリクエストするものがあります。
（返ってきたデータの先頭が改行でなければ破損ログとみなす判定のため）
私の知る限りではかちゅ～しゃ、V2C、ギコナビ等がこの方式を取っていたと思います。
これらのブラウザでは新着レスがなくても304ではなく206が返るのが正常なレスポンスです。

お使いの専ブラではなにか不都合が出てるのでしょうか？
できたら専ブラの種類を教えていただきたく。
301：298：2015/12/11(金) 23:13:04: >>300
使ってる専ブラは「禁断の壷」というWebベースのものです。

「GETリクエストに"Range"ヘッダを付加しない」のは専ブラ側の方です。
よって、OnBeforeReqest()での"Range"ヘッダ削除処理自体が行われません。
なので、必ずステータス=200で全件取得となってしまいます。

あと、304の件ですが、他の専ブラの仕様でそうなっているのは了解しました。
302： ◆/vmukiyuzw：2015/12/12(土) 00:16:26: >>301さん
「禁断の壺」ですか。
かつては2ch公式ブラウザと言われたものですね。
動作を確認しようと検索したのですが元々の配布サイトが消滅していて
（検索不足かもですか）今どこにあるのか確認できず。
Rangeヘッダを出力せずどうやって差分取得を行っていたのか・・・
現時点では確認しようがなくお手上げです。
303：298：2015/12/12(土) 02:06:57: >>302
何かずっと誤解されてますが、
"Last-Modified"ヘッダがあれば、専ブラ側でその更新日時を元に"Range"ヘッダを付加して
差分取得を行います。
が、htmltodatByFiddlerでは"Last-Modified"ヘッダを付加して返してこないために、
専ブラが"Range"ヘッダを付加せず、結果差分取得が行われないのですよ。
304： ◆/vmukiyuzw：2015/12/12(土) 02:41:02: >>303
> "Last-Modified"ヘッダがあれば、専ブラ側でその更新日時を元に"Range"ヘッダを付加して
> 差分取得を行います。

それは「禁断の壺」独自の仕様では？
私の知ってる限りLast-ModifiedヘッダがなければRangeヘッダを返さないなんて専ブラは
聞いたことがありません。
それに、FiddlerのInspectorsタブ等で見ていただけるといいのですが
read.cgiからのレスポンスにLast-Modifiedヘッダはそもそも存在しません。
なので

> が、htmltodatByFiddlerでは"Last-Modified"ヘッダを付加して返してこないために、

そもそも付加しようがないと思います。

ですので、もし解決できるとするならご自分でLast-Modifiedを捏造して付加する
コードを書いていただくしかないのではないかと思います。
現時点で私には仕様が確認できないので何もできません。
305：名無しさん：2015/12/12(土) 04:47:04: もしかして｢壺｣は更新の有無(Last-Modified)だけをまず確認して、それをもとに本丸の取得判定を行ってるのか？
昔のネット環境を考えればそういう挙動も理解できる
で、現在の2ch.netは更新の有無にかかわらず都度html生成するからLast-Modifiedは当てにならないんだなぁこれが

とりあえず、自分用に仕込んでたものだがOnBeforeResponse処理の適当なタイミングに以下を追記すればいいよ

// Last-Modifiedが空っぽの場合Dateを代入
if (!oSession.oResponse["Last-Modified"])
oSession.oResponse["Last-Modified"] = oSession.oResponse["Date"];
306：298：2015/12/12(土) 11:21:31: >>304
過去にも、"Last-Modified"ヘッダについて遣り取りがあったみたいですね。
そこでは、、"Last-Modified"ヘッダは付けない方向との見解でしたので、
今回も同じ見解という事で、これで終わりにしたいと思います。

>>305
わざわざ、ご教示ありがとう御座います。
「禁断の壷」は、ローカル保存のDATに、"Last-Modified"ヘッダの更新日時を
保持しており、スレの新規取得時に、"Last-Modified"ヘッダの値も保存します。
で、DATに"Last-Modified"ヘッダの値が無いと本来の差分取得を行わずに、
新規取得と同様に全件取得を行う仕様のようです。

なお、"Last-Modified"ヘッダの値ですが、2chAPIの方の動作を確認しますと、
最終レスの日付情報と同じ値の様です。
でも、「禁断の壷」では"Date"ヘッダの値でも問題無く、"Last-Modified"ヘッダ
が付加されていれば、差分取得が行われるようになりました。
307： ◆/vmukiyuzw：2015/12/12(土) 21:23:28: >>306さん
>>251-254 あたりでのやりとりですね。つい最近なのにすっかり失念してました。

>>305さんはもしかしてその時ご意見下さった方かな？
フォローありがとうございます。
>>305のコードを取り入れて他の専ブラに影響が出ないかもう少し検証したいですが
問題なさそうであれば取り入れたいと考えています。
308：名無しさん：2015/12/17(木) 23:50:03: read.cgi 05
まだ変わりそうだけどとりあえず消す
oBody.replace(/<div id="js--banners--thread" class="banner" style="width:100%;"><\/div>/,"")

read.cgi 06
httpsがhttpになってたのがhttpsになったので要再読み込み
関係ないけどブラウザでお絵描き表示されるのがssspだけに
309： ◆/vmukiyuzw：2015/12/18(金) 00:30:50: >>308さんご指摘ありがとうございます。
修正しました。（ver 2.10）

read.cgi 05系の広告の入り方に変更があったので対応しました。
あと、ちょっと上で話が上がっていたLast-Modifiedヘッダについても
付加するようにしました。

> read.cgi 06
> httpsがhttpになってたのがhttpsになったので要再読み込み

なんか破損するスレがあるけど破損しないスレもあるのはなぜだろう
と思ってたらそういうことだったんですね。
これに関しては対応は難しそう・・・再読み込みしていただくしかないような。
310：名無しさん：2015/12/21(月) 23:24:30: お疲れ様です
bbspinkでここ壊れてますになって気付いたんですが
FiddlerのTextviewを見るとレス数が1だけだとマッチせずに広告が残ってます
今は
bbspink read.cgi 05は>>290
2ch read.cgi 06は>>296
2ch read.cgi 05は>>308
を追加して消してます
311： ◆/vmukiyuzw：2015/12/22(火) 00:39:10: >>310さんご指摘ありがとうございます。
修正しました（ver 2.11）

レス数が1だけだと広告除去の条件がうまく効いていませんでした。
レス数1だけのスレというのは板によっては結構出会うことが難しいんで
テスト不足でした。
312：名無しさん：2015/12/22(火) 02:04:35: >>311
対応ありがとうございます
313：名無しさん：2015/12/25(金) 21:12:13: > //oBody = oBody.replace(/<a href="http:\/\/jump\.2ch\.net.*?>(.*?)<\/a>/ig,"$1"); //これは必要か？後で検討

これを有効にしないとこのスレ(read.cgi 06)の>>1の一部(2ch外へのリンク等)が消えてしまうようです
http://potato.2ch.net/test/read.cgi/software/1422462757/
314： ◆/vmukiyuzw：2015/12/25(金) 23:52:25: >>313さんご指摘ありがとうございます。
修正しました（ver 2.12）

ご指摘いただいた行（jump.2ch.netを外す）ではなく、その直下の
// レスアンカーに対するフルパスを相対パスに変換～
のとこがよくなかったようです。
現状のread.cgi 06ではレスアンカーに対するパスはいつのまにか05同様相対パスになっているようなので
この変換処理は不要であると考えコメントアウトするようにしました。
315：名無しさん：2015/12/26(土) 00:56:05: >>314
ありがとうございます
316：名無しさん：2016/01/11(月) 17:24:30: 以下のスレで指摘された新read.cgiのバグへの対応お願いします

専用ブラウザを助けるプロクシ作らね？15串目
http://potato.2ch.net/test/read.cgi/software/1448272459/809

以下のように修正したら上手く動きました
(?:<a href="mailto:(.*?)">)?
↓
(?:<a href="mailto:(?:<a[^>]+>)?(.+?)(?:<\/a>)?">)?
317：名無しさん：2016/01/11(月) 20:36:04: >>316の件ですがこの修正の仕方は決め打ち過ぎるので訂正します

以下のスレでいくつかのテストを重ねてみました
http://potato.2ch.net/test/read.cgi/software/1449192043/404-410

結果としてはdat形式への変換は元のまま、その前に名前・メール欄内だけ以下の変換を行なうことで問題がなくなりました

//名前・メール欄内の余計なAタグ除去（前処理）
oBody = oBody.replace(/(<b><a href="mailto:)(.+?)(<\/a><\/b>)/g, function(aStr, aTag1, aMailName, aTag2) {
var mailname = aMailName.replace(/<\/?a[^>]*?>/g, '');
return aTag1 + mailname + aTag2;
});

以上を踏まえ修正お願いします
318： ◆/vmukiyuzw：2016/01/11(月) 22:36:17: >>316-317さん　ご指摘ありがとうございます。
htmltodatByFiddlerを修正しました（ver 2.13）

正直、>>316を読んだ直後には
「メール欄にURLとともににsageとか入力されたらどうなるんだろう」
「メール欄だけじゃなく名前欄にも影響ありそうな」
と懸念を抱きどうしたもんかと思ったのですが
>>317で検証いただいたようでありがたいです。

# 実はreplaceメソッドの引数にこういう形で関数を指定できるのを
# 知らなかったので勉強になりました

read.cgi 05系ではこの現象は発生しないことは確認したのですが
念のため05系、06系両方に適用するようにしてます。
319：名無しさん：2016/01/11(月) 23:44:26: 修正乙でした
320：＜削除＞：＜削除＞: ＜削除＞
321：＜削除＞：＜削除＞: ＜削除＞
322：名無しさん：2016/03/10(木) 10:49:40: 溶接工とか言う寿命削る仕事
http://bit.ly/1XshYYl
323：名無しさん：2016/03/10(木) 17:57:41: >>320-322
324：名無しさん：2016/03/15(火) 05:31:40: 【絶望】ふらつくから病院行ってみたらｗｗｗｗｗｗｗｗｗｗｗｗ
http://bit.ly/1R5AiRC
325：名無しさん：2016/03/26(土) 13:23:07: bbspink.com(2ch.netでも見た気がするが覚えてない)で最終レス末尾に広告枠が追加されたようなので

oBody = oBody.replace(/<\/div><\/div><\/div><div><div class="js--ad--bottom"[\s\S]*$/,"</div></div>\n");

バナー広告削除処理の辺りに入れてください
テストらしいテストはしてませんが……
326： ◆/vmukiyuzw：2016/03/26(土) 22:07:09: >>325さん　ご指摘ありがとうございます。
htmltodatByFiddlerを修正しました（ver 2.14）

意味的にはほぼ同じなのですが以下のようにしました。

oBody = oBody.replace(/<\/div><div><div class="js--ad--bottom"[\s\S]*$/,"");
327：名無しさん：2016/04/09(土) 09:52:53: 【悲報】サメ映画、もはやなんでもあり【画像あり】
http://bit.ly/1R5A4tS
328：名無しさん：2016/04/10(日) 19:38:57: 彼女がディズニーランド行きたいって言うことで大喧嘩になった
http://bit.ly/1R5A6lu
329：名無しさん：2016/04/20(水) 15:32:11: 本当に出会える出会い系ランキング
ttp://bit.ly/1OgYRt7
330：名無しさん：2016/05/08(日) 11:21:49: 本当に出会える出会い系ランキング！
ttp://deai.erosoku.top/ranking/type2
331：名無しさん：2017/03/07(火) 23:35:13: bbspinkのreadcgiが更新されたので対応願います
自分用に修正した点からヒントは

readcgi06の派生である
div構造からdl、dt、dd、span構造へ変更
レス1とレス2間に広告があるのは変わらないがsectionタグで解りやすくしてある
最終レスの広告はない
一部のclass名が変更されてる

というところでしょうか
332： ◆/vmukiyuzw：2017/03/08(水) 01:58:26: >>331さん　ご指摘ありがとうございます。
htmltodatByFiddlerを修正しました（ver 2.15）

ちょっとやっつけ作業ぽいのですがとりあえずbbspinkでは動くと思います。
このread.cgiが2ch.netにも導入されるようだとまた考えないといけないかもしれません。
333：名無しさん：2017/03/08(水) 14:55:47: >>332
更新どうもです
申し訳ないですが再修正を願います

beID周り処理が抜け落ちてます
ageレス時(だけかな？)の名前欄にfontタグが追加されていた
バナー削除の処理で若干ゴミが残る可能性があるので以下のようにするといいと思います
<\/section>.*?<\/div><\/div> → <\/section>.*?(?=<dl class="post")
334：333：2017/03/08(水) 16:10:33: fontタグに関して

通常のageレスもしくは一部の★持ち(運営)のレス場合タグ付加
通常のageレスはcolor="green"、★持ちは個々人で違う色を指定してる

除去するのであれば前者のケースのみで
335： ◆/vmukiyuzw：2017/03/08(水) 18:16:48: >>333-334さん、ご指摘ありがとうございます。

まずbeID周りですが、beIDの入ったスレを私のほうで探すことができず
（bbspinkには疎いもので）、2ch.netのbeID周りと形式が同じかどうか
わからなかったので、入れてませんでした。
beIDが入ったスレ、および★持ちさんのレスが入ったスレのURLを
いくつか教えていただけると助かります。

あと多分もっと重大な問題として、（板によるかもしれませんが）
透明あぼーんが頻発するスレが散見され、（http://mercury.bbspink.com/hnews/等）
これがブラウザによってはスレが壊れる原因となっていると思われます。
（壊れないブラウザでもどのみちレス番がずれることになるので問題なのですが）

この問題は実は前から認識はしていたのですが結構大きな修正になってしまいそうなので
先送りにしてました。が、あまりレアケースでもなくなっているようなので
今回合わせて対応しようと思います。ちょっと時間かかるかもしれません。
336：333：2017/03/08(水) 22:28:19: >>335
板だとここ
http://phoebe.bbspink.com/meow/
その中でも両方同時に確認できるのはこのスレですね
http://phoebe.bbspink.com/test/read.cgi/meow/1461076454/l25

このにゃあ板はpinkで一番エロくないおとなしい板で実験板も兼ねています

pinkでスレが壊れるのは仕方ないことですよ
自動あぼーんが機能してるんで宣伝レス等があればほどなく発動、｢うふ～ん｣に置き換えられます
また2chより板が少ない分に削除人が動いてくれてます
なのであまり気にする必要ないかと思います

これまでのreadcgiならスレサイズが下部に記載されてたのでそれである程度あぼーん判定の補完ができたんですが
337： ◆/vmukiyuzw：2017/03/09(木) 00:01:25: htmltodatByFiddlerを修正しました（ver 2.16）

>>333さんにご指摘いただいた部分を修正しました。
また、透明あぼーんがあった場合にスレが壊れたりレス番がずれる
問題に対処しました。
（透明あぼーんがあった場合それを補う「透明あぼーん」レスが
追加されます。なので汎用ブラウザで見た時には存在しないレスが
表示されることになります）

>>333=336さん
いろいろご指摘・情報提供いただきありがとうございます。
bbspinkでスレが壊れる事情は多分仕方ないのでしょうが
>>335で挙げていただいたスレをAPIを使う専ブラで見るとレス番10や16が
「うふ～ん」で表示されるのですが
新しいread.cgiが吐くHTMLだと透明あぼーんになってしまうようなのです。
（以前のread.cgiではどうだったのか知らないので新read.cgiでそうなったのか
どうかはわからないんですが）

ともあれ透明あぼーんがあるとdatデータの構造上専ブラではレス番がずれちゃう
状況はやはりまずいと思い、対応することにしました。
338：名無しさん：2017/03/09(木) 00:55:12: >>337
更新お疲れ様です

透明あぼーんの件、こっちの理解不足でした
と同時に以前のreadcgiで自分でも対処しようとしたけど、結局放置してたのを思い出しましたf^_^;)

以前のものは透明あぼーんがある場合レス0番が存在してました
レス0がどういった内容だったかは覚えてませんが
339： ◆/vmukiyuzw：2017/03/12(日) 00:19:23: htmltodatByFiddlerを修正しました（ver 2.17）

>>338さんにご指摘を受けた「レス番0」の件ですが
一応認識はしていて、対策もしたつもりでいたんですが
http://potato.2ch.net/test/read.cgi/software/1488358985/51
で挙げられたスレを見てバグに気付きました。

レス番0は読み飛ばすようにしたのでこれで問題ないと思ったのですが
その前にレス1（これはレス番を見ていない単に最初のレス）に
スレタイを付加する処理を入れていたので
レス番0が存在した場合スレタイも消えてしまうというアホな事態になってしまってました。

スレタイを付加するタイミングを後にずらしたので多分問題解消したと思います。
340： ◆/vmukiyuzw：2017/03/25(土) 03:05:47: なんか差分取得で壊れるスレがあるなあと思ったら、
read.cgiが若干仕様変更された模様。
一応問題点はわかったのですが
今から修正するのは時間的にしんどいんで明日の夜やります。
341： ◆/vmukiyuzw：2017/03/25(土) 22:20:26: htmltodatByFiddlerを修正しました（ver 2.18）

read.cgiの仕様が若干変更され（今のところ2ch.netの06系だけのようですが）
BeアイコンやEmoticonやお絵描き機能の画像など、html上では <img src="～"> で表される
（dat上では sssp://～となる）要素について、http: が省略されるようになったため
対応しました。
342： ◆/vmukiyuzw：2017/03/25(土) 22:28:24: >>341
おっとこのレスはブラウザによっては化けてしまうかも

> （dat上ではｓｓｓｐ://～となる）要素について、
　　　　　　　　　↑実際は半角

です。
343： ◆/vmukiyuzw：2017/04/09(日) 00:57:27: htmltodatByFiddler、と呼ぶのは長くて面倒になってきたので
勝手ながらこのスレでは今後 hBF と略して呼ぶことにします（鉛筆の濃さみたいですが＾＾；）

で、ｈBFを修正しました（ver 2.19）

・itest.2ch.net/xxx/～へのリクエストがあったら xxx.2ch.net/～に飛ばすよう修正
　（itest.bbspink.com についても同様）
・https://～へのリクエストがあった場合への対応

今回は OnBeforeResponse.txt だけでなく OnBeforeRequest.txt も更新してますのでご注意ください。
補足があるのですが長くなるかもなので次レス以降で。
344： ◆/vmukiyuzw：2017/04/09(日) 01:14:52: >>343 補足１
まずitestへのリクエストの変換ですが。
最近 itest.2ch.net へのリンクが貼られることが多くなってきたと思うのですが、
専ブラにとっては（というより itest 以外の全ての閲覧環境にとっては、かもしれませんが）
面倒だと思ったので、本来の 2ch.net のURLに変換するようにしてみました。

ただ一つ考慮事項として、専ブラの側で itest.2ch.net へのリクエストを
2ch.net へのリクエストとして認識してくれないと、このリクエストの変換は行われないです。
専ブラによっては「このURLは自分の仕事じゃない」と
汎用ブラウザ等に投げてしまうものもあるようです（となると当然ｈBFの処理も通らないので
どうしようもない）。

この話はいろいろ膨らむ要素がありそうですがとりあえずこの辺にしておきます。
345： ◆/vmukiyuzw：2017/04/09(日) 02:05:53: >>343 補足２
https: へのリクエストについてですが。

Fiddler自体は元から https: に対応しているのですが
現存する専ブラでは https://xxx.2ch.net/ ～のようなリクエストがあっても
プロキシに https: のまま投げてくるものはないようなので、
当面あまり意味はないです。
「もし対応したものが出てきたらこうしとかないとまずいかも」
という点を直しただけです。
今後対応してくるものもでてくるでしょうからそのときまた考えます。
346：名無しさん：2017/04/10(月) 21:25:36: https対応は2ch鯖－Fiddler間で対応しないとマズイのでは？
現にegg鯖がhttpsがデフォになったし。
347： ◆/vmukiyuzw：2017/04/10(月) 23:45:43: >>346さん
すみません、「2ch鯖－Fiddler間で対応しないとマズイ」とはどういう意味ですかね？
もしかして「これからは https: がデフォになるから普通の http: での通信も https: にしないとマズイ」という意味？

>>345にもちょっと書いてますがFiddler自体は元から https: には対応してますし
専ブラではない別のクライアントで https: のリクエストをシミュレートして
「もし専ブラが https: へのリクエストを投げてきたら」も確認してます。
だが実際のところ https://xxx.2ch.net/test/read.cgi/ ～のリクエストを
そのままプロキシに投げてくる専ブラは私はまだお目にかかったことないので
それから考えようと思ってます。
そういうことではなくマズイと思われる点があればご指摘いただけるとありがたいです。
348：名無しさん：2017/04/13(木) 16:16:30: >>347
2ch(CF)側がhttpsのみに対応した場合、httpしか対応してない専ブラが通信出来なく
なるかも知れないので、現在APIモード対応の串がやってる

専ブラ(http)<->(http)Fiddler(https)<->(https)2ch(CF)

という通信にも対応しておく必要がある。って意味です。
349： ◆/vmukiyuzw：2017/04/13(木) 23:30:40: >>348
なるほど、専ブラの対応に関わらず
Fiddler - 2ch 間のやり取りは今から https にしておいた方が良いということですね。
それは納得しました。

ただ、現在のところhBFでは read.cgi とのやり取りにしか介入してないのですが
> 2ch(CF)側がhttpsのみに対応した場合、
という状況を考えると、他にも bbs.cgi とか subject.txt とかとのやり取りも
考慮しないといけなくなるように思います。
この辺は今まであまり気にしていなかった部分なので、ちょっといろいろ
確認してみます。
350：名無しさん：2017/04/15(土) 22:23:30: FiddlerのSSL対応のデフォはOS依存のようで
7以降は証明書生成にCertEnrollAPIとやらを利用出来るから何の問題もない
XPの場合はご存知かと思うが原則SHA1まで、SP3ならSHA256に一部対応してるそうだがFiddlerでは使えない
Vistaは分からないけど現状問題ないだろう
Fiddler拡張としてOpenSSL等利用するラッパー作ればいいらしいけど覚えることがたくさんだろうね
351： ◆/vmukiyuzw：2017/04/22(土) 07:27:29: https対応はまだのんびりでいいかと思ってたんですが
なんかread.cgiの変更があったようですね。まだ一部サーバのみ？
今日ちょっと用事が立て込んでるんで対応は遅くなるかもです。
352： ◆/vmukiyuzw：2017/04/22(土) 23:12:12: hBFを修正しました（ver 2.20）

　・2chの一部のサーバでread.cgiがバージョンアップ（07.0.0）されたので対応

今のところagree鯖だけですかね？
対象の鯖で既得済みのログを更新しようとするとログ破損状態になる可能性があります。
353： ◆/vmukiyuzw：2017/04/23(日) 07:18:22: hBFを修正しました（ver 2.21）

前バージョンにバグがあり変換結果のdatにゴミが入ってしまっていました。
（ read.cgi 07系のみ）
申し訳ありませんが差し替えてください。
354：名無しさん：2017/04/23(日) 13:19:30: 2.10だったのですがecho鯖へのアクセスで
（･∀･）ﾅﾝｶｴﾗｰﾀﾞｯﾃ HTTP/1.1 404 Fiddledだったので
2.21にした所正常になりました。ありがとうございます
355：名無しさん：2017/04/24(月) 08:02:52: ありがとうございます！
356：名無しさん：2017/04/25(火) 23:10:00: 取得済みのスレに新着があった場合や更新チェックした場合の新着レスが
スレを閉じると消えてしまうのですが何が原因か分かりませんか？
最初に読み込んだ所までは残ります。
2.21を入れてすぐはこのような症状はなかったと思うのですが
どうしてこうなったか見当がつきません。
無関係でしたらすみません。
357：名無しさん：2017/04/26(水) 00:49:14: 今日から？下のログに
(；ﾟДﾟ)サイズが合わない･･･
と表示されるようになりましたね
でもレスは更新されてるからとりあえずおｋかなｗ
358： ◆/vmukiyuzw：2017/04/26(水) 01:36:11: >>356さん、>>357さん
・どの板、どのスレで発生したのか（具体的なURL）
・どのブラウザ（できればバージョンも）で発生したのか
少なくともこの辺の情報がないと確認できないです。
問題なのかどうかすらわからないのでできれば詳細を再報告願います。
359：357：2017/04/26(水) 01:52:19: URL制限あるぽいですね
360：名無しさん：2017/04/26(水) 01:53:22: ブラウザ：JaneDoe View α ( build date: 1507130036 )
出る
http://mint.2ch.net/test/read.cgi/pav/1466221276/
http://echo.2ch.net/test/read.cgi/av/1492956696/
出ない
http://egg.2ch.net/test/read.cgi/jisaku/1487581901/
http://egg.2ch.net/test/read.cgi/smartphone/1492258777/
361：名無しさん：2017/04/26(水) 01:55:12: >>360は>>357です。
それほど大きな問題ではない（と思っている）ので時間がある時にでも・・・
362： ◆/vmukiyuzw：2017/04/26(水) 02:37:13: 確かに read.cgi 07.0.0 の出力形式が微妙に変更されているようですね。
（わかりにくいから 07.0.1 とかにしろよ！と文句言いたいですが＾＾；）
>>360 の「出ない」のほうの2スレは 06系なので影響ないようです。

ちょっと時間も遅いので本格的にはもう少し確認・様子見の上で明日対応しますが
お急ぎの方は OnBeforeResponse.txt の 80行目（07系の後ろの不要な部分をカットしているところ）を

oBody = oBody.replace(/(<br>)?(<\/div><div class="push">)?<\/div><div class="pagestats">(.|\s)*$/,""); //後ろの不要な部分をカット

にして反映してください。
363：357：2017/04/26(水) 02:50:02: >>362
反映した所正常になりました
遅くにありがとうございます
364： ◆/vmukiyuzw：2017/04/26(水) 02:50:19: >>362
あーこれ取り消します、正規表現のほうを変えないとダメだ

oBody = oBody.replace(/<div class="post".*?><div class="meta"><span class="number">(\d+).*?<\/span><span class="name"><b>(?:<a href="mailto:(.*?)">)?(.*?)(?:<\/a>)?<\/b><\/span><span class="date">(.*?)<\/span><\/div><div class="message"><span class="escaped">(.*?)<\/span><\/div><\/div><br>/ig,"$1<>$3<>$2<>$4<>$5<>\n");

眠いんであんま自信ないです・・・明日ちゃんとやります
365：名無しさん：2017/04/26(水) 02:51:26: >>364
あら？ｗ
はいゆっくりで大丈夫ですのでお休み下さい
366：356：2017/04/26(水) 03:05:40: 事情を説明しようと拙い文章をまとめていたのですが遅れてしまってすみません。
代わりに要点をまとめてくれた357さんにもお礼を言っておきます。
原因を特定していただけたようで助かりました。
急ぎでなくても問題ないので時間のあるときにお願いします。
本当にありがとうございました。
367： ◆/vmukiyuzw：2017/04/27(木) 00:00:05: hBFを修正しました（ver 2.22）

　・read.cgi 07系に仕様変更があったので対応

>>357さんからご指摘があり>>364で暫定対応を考えたものの正式反映です。
内容としてはレスの間に<br>タグが入ることになったことへの対応だけです。
なんかいろんなところの情報見てるとかなり無理やりというか場当たり的？な
変更みたいですね。
read.cgi 07.0.0 についてはかなり不満の声も上がってるみたいなんで
まだまだ変更はあるかもしれませんね。

ところで>>356さんのご報告はこれとは別件のように最初感じたのですが
同じ原因ということで本当に良かったのでしょうか。
368：356：2017/04/27(木) 01:19:12: うまく説明できるか分からないのですが。
昨日の症状は例えば700番までレスがついたスレを開いた後
更新して新着レスがあった場合に、スレを開いている間は新着が表示されますが
一度閉じて再度開くと新着部分が消えてしまうという現象でした。
（表示されるのは最初に取得した700番までということです。）
自分の使っているブラウザはJaneXeno 161205です。
すべての板ではなく特定の板でのみ起きることを後から気づいたのですが
どの板でおきるのか調べたり説明が難しかったりして報告が出遅れてしまいました。

2.22にしてから上記の現象は起こらなくなりましたので
同じ原因だったのだと思います。
対応していただきありがとうございました。
369： ◆/vmukiyuzw：2017/05/04(木) 02:57:35: read.cgi 07.0.1 が出てるようですね。例によってagree鯖で実験中？
汎ブラでの見た目はあんま変わらないようですが、レス番のゼロサプレスはやめたみたいですね。
ｈBFとして影響あるのはIDの前に </span><span class="uid"> が入るようになったとこくらいか。
もう少し調べてから対応します。もし他にお気づきの点があればご報告いただけると有り難いです。
370：名無しさん：2017/05/04(木) 14:10:20: そこを事前に半角スペースに置き換えるだけで問題なさそう
371： ◆/vmukiyuzw：2017/05/04(木) 20:29:24: hBFを修正しました（ver 2.23）

　・read.cgiがバージョンアップ（07.0.1）されたので対応

修正箇所は>>369で書いた追加されたタグの除去のみです。
また修正したのは OnBeforeResponse.txt のみです。OnBeforeRequest.txt は修正してませんので
ご自分でUA等修正されてる方は上書きしないようご注意ください。

今のread.cgi 07.0.1 にはまだいろいろ不具合あるようなので近いうちにまた修正されると思われます。
私の把握してるものでは

・IDの代わりにリモホが出る板（シベリア）で投稿日・IDが「NG NG」と表示される
・嫌儲で特定のBEの投稿日・IDが「NG NG」と表示される

うーむ・・・read.cgi修正してる人、頑張れ＾＾；
372： ◆/vmukiyuzw：2017/10/02(月) 05:44:29: 5chてのはなんなんだ？
背景を知りたいとこですがとりあえず急ぎ対処が必要でしょうね。
今日中には何とかしたいな・・・。
373： ◆/vmukiyuzw：2017/10/02(月) 23:53:22: ｈBFを修正しました（ver 2.24）

一応 5ch.net への暫定対応ということになりますが本当に暫定でしかないです。
"2ch.net"とハードコーディングしていた部分を"[25]ch.net"として
どちらが来ても一応対応できるようにしただけです。

今後、読みも書きも 5ch.net に移っていくことになると思われるのですが
まだ現状では書き込みは 2ch.net に対してはできるようですし
読み込みはAPI経由では 2ch.net に対してもできるようです。
（read.cgi での 2ch.net の読み込みはもう無理みたいですが）

であれば、専ブラとしてはまだ 2ch.net にアクセスしてるつもりで
（板一覧はまだ 5ch.net に対応してないものを使う、Replace.str等で5chを2chに読み替える）
hBFとしては読み込みだけ 5ch.net にすり替える手が当面使えるかもしれません。
そのための処理をコメントにしてますが一行仕込んでます。
現状私はこの形でXenoで読み書きできるようにしました。

もう一つ、読み込みは 5ch.net に対して行うとしても
書き込みは 2ch.net に対して行うという手も当面使えるかもしれません。
JaneXenoとかはクッキーの問題で 5ch.net には書き込めないけど
2ch.net には書き込める（書き込むスレの実体は同じ）ことがあるようで
このための処理もコメントにしてますが一行仕込んでます。

いずれにせよ明日にでもはしごを外されても不思議はない状況かなと思います。
正直言うと専ブラ側で何らかの対処がないと今後厳しいかなと思います。
（"2ch.net"をハードコーディングしてる部分は山ほどあるでしょうから）
374：名無しさん：2017/10/03(火) 00:42:10: JaneDoe View α ( build date: 1507130036 )
の環境で2.24を試してみましたが、下記のログが出てNGでした
Doe Viewはさすがにもうダメかなぁ…　上手く出来てる人いるかな？

（･∀･∀･）
（･∀･）ｻﾃｵｼｺﾞﾄ　ε三三（; ･∀･）鯖ﾏﾃﾞｵﾂｶｲ
HTTP/1.1 302 Moved Temporarily
HTTP/1.1 302 Moved Temporarily
HTTP/1.1 302 Moved Temporarily
HTTP/1.1 302 Moved Temporarily
（･∀･）（･∀･）ｵﾂｶｲｵﾜﾘ　三三３
（･∀･∀･）
（･∀･）ﾅﾝｶｴﾗｰﾀﾞｯﾃ HTTP/1.1 302 Moved Temporarily
（･∀･）ｶﾝﾘｮｳ!!
375：名無しさん：2017/10/03(火) 00:43:52: Fiddlerのログでは下記のように感じです

http://egg.2ch.net/test/read.cgi/jisaku/1487585295
http://egg.2ch.net/test/read.cgi/jisaku/1487585295
http://egg.2ch.net/test/read.cgi/jisaku/1487585295
http://egg.2ch.net/test/offlaw2.so?shiro=kuma&bbs=jisaku&key=1487585295&sid=sid
376：374：2017/10/03(火) 00:53:31: すいません、いつものようにお気に入りから開こうとしたのがまずかったです
ボード一覧取得URLを5chに変えて、板一覧の更新をして
それから新規に板とスレを取得に行ったらOKでした

作者さんありがとう
377：名無しさん：2017/10/03(火) 21:34:06: すりかえ行のコメントを外したら2chのままで取得できてます
ありがとう
378： ◆/vmukiyuzw：2017/10/12(木) 21:42:07: 5chのread.cgi 7系のバージョンが上がったようで
差分取得時にログ破損が発生するケースが出ているようです。
まだ詳しくは調査中ですが、とりあえず<title>タグでのスレタイトルの表現が
若干変わっているようなので、当面以下の様なのでしのげると思います。

//スレのタイトルを取得
↑
このコメントを検索
その下の一行を

var title = oBody.match(/<title.*?>(.*?)\n?<\/title>/mi);
↓
var title = oBody.match(/<title.*?>(.*?)\s*?<\/title>/mi);

に書き換える。
379：名無しさん：2017/10/12(木) 22:27:05: しのげるようになりました㌧クス
380： ◆/vmukiyuzw：2017/10/14(土) 22:40:34: ｈBFを修正しました（ver 2.25）

今回は>>378の分の反映のみです。
なので自力で書き換えて対応済みの方は取り込む必要はないと思います。
381： ◆/vmukiyuzw：2018/02/13(火) 21:55:30: bbspink.com の一部鯖（今のとこmercuryのみ？）が 5ch.net の read.cgi 07系に変わったようですが

read.cgi ver 07.2.0 2018/01 Walang Kapalit ★
Cipher Simian ★

と独自のバージョンアップがされているようで、専ブラによってはログ破損するケースが出ているようです。
もう少しテストしてから修正版をリリースします。