bbs2chreader/chaika ツールスレ - 1426689484

1：名無しさん：2015/03/18(水) 23:38:04 ID:DNwkbf0I0: bbs2chreader/chaikaを使いやすくするツールに関する情報交換を行うスレ
2：名無しさん：2015/03/18(水) 23:44:14 ID:BnVExCCk0: proxy2chをchaikaで使いたいが設定の仕方がさっぱりわからん
3：名無しさん：2015/03/18(水) 23:51:04 ID:lmWKslDw0: 独自拡張スレとはどういう住み分けなのここ
4：名無しさん：2015/03/19(木) 00:04:01 ID:ZFSx3D0Q0: bbs2chreader/chaika 避難所
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/958

958 名前：名無しさん[sage] 投稿日：2015/03/18(水) 12:10:14 ID:2yWThRRI0
ttp://codepad.org/QHPFRjLf

・no support, no claim, as is
・上位プロキシ設定追加
　多くの専ブラでプロキシが設定できるということは、この設定にもそれなりの需要があるのでしょう
　>>183-185でのご教示に感謝。ぶっちゃけ二度と上げまいとも思ってたけど、それではID:qIh3Xrok0さんへの不義理が過ぎますから
　実際の実装はご教示いただいたものとttp://lab.hde.co.jp/python/twisted/のまるまるコピー、設定の変更は変数upstreamProxyHostとupstreamProxyPortを書き換えてください。このどちらかが空なら上位プロキシ無し
　httpsプロキシについては碌にテストしていません
・APIへのアクセスにhttpsを使わない機能実装
　ベンチマークはとってませんが、体感ではなんとなく早くなったような気がします(プラシーボの可能性大)
　上位プロキシがhttpsを透過しないこともあるでしょうから、そういう場合には有意義かもしれません
　ただし偽装を2ch運営側に見破られる確率が上がるかもしれません
　変数apiSchemeを適当に書き換えてください
・書き込み以外の2chへのアクセス時にはCookieを送信しない
　もちろん、>>85や>>851のように、「dat以外へのアクセスはプロキシを通さない」設定だったりすると無意味です
　http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1426425387/49のパクリです
・dat以外の2chアクセスでUAを詐称
　そもそも運営が偽装チェックをやってるかどうかは知りませんが、詐称できた方が精神衛生にプラシーボ効果があるので
　変数fakeUAを適当にいじってください

主な変更点はほとんどDatProxyRequestクラスです。それなりに真面目にコメントを入れているので、何かの参考になれば
各Key類が既に無効な設定になってるのはわざとです。クレクレ君や教えて君へのささやかな嫌がらせです

ではまた冬眠
5：名無しさん：2015/03/19(木) 00:04:07 ID:47GsuaLk0: >>1が想定してるツールって何だろうね？
>使いやすくするツール
FoxAge2chやスキンも該当しそうだが、、、
6：名無しさん：2015/03/19(木) 00:06:05 ID:FUctbxIM0: 廃棄するかchaika｢でも｣使えるツールのスレとして利用するか
7：名無しさん：2015/03/19(木) 00:06:38 ID:ZFSx3D0Q0: >>4
167行目を修正
if not re.search(r'/test/bbs\.cgi\?guid=ON$', self.uri):
↓
if not re.search(r'/test/bbs\.cgi', self.uri):
8：名無しさん：2015/03/19(木) 00:21:53 ID:9HMRxpAw0: >>5

http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/976+984
976 名前：名無しさん[sage] 投稿日：2015/03/18(水) 21:11:33 ID:DNwkbf0I0
このスレもそろそろ次スレとなるんですけども当スレから支援ツールスレ（仮称です。当面Python串の話題を想定）を分離の方向でしょうか
支援ツールスレは、いわゆる周辺拡張を含むのか含まないのか
どうしましょう

984 名前：名無しさん[sage] 投稿日：2015/03/18(水) 23:41:48 ID:DNwkbf0I0
とりあえず建てました

bbs2chreader/chaika ツールスレ
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1426689484/

Python串等の話題は分離で
9：名無しさん：2015/03/19(木) 00:30:42 ID:47GsuaLk0: >>8
㌧
要するに串スレね
了解
10：名無しさん：2015/03/19(木) 03:32:42 ID:9tJF9tV.0: ひとまずここは串などの話題に限って、スキンやFA2といっしょにすべきじゃないな
11：名無しさん：2015/03/19(木) 05:15:25 ID:21KmoK2o0: で、>>4の作者はこっちに移ってくるのかね
まあ冬眠とかいいつつスレは毎日チェックしてそうな性格だとは思うが
12：名無しさん：2015/03/19(木) 08:18:03 ID:yJYVs.6U0: めも urllib2でhttpsプロキシに繋ぐレシピ
ttp://code.activestate.com/recipes/456195/
このくらいの処理が入ってないとあかんらしいんで
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/965
は当然そうなるってことだな
13：名無しさん：2015/03/19(木) 12:33:58 ID:gvign73Q0: offlaw2で過去ログ取れなくなったからFiddler導入したけど、これブラウザ拡張付きだったんだな。
初期設定とCustomRule.jsの修正した後は必要になった時にアイコンクリックだけで済む。
終了はFiddler側でやらなきゃだけど。
14：名無しさん：2015/03/19(木) 17:13:51 ID:9HMRxpAw0: >>4
このPython串を過去ログdat取得対応させるための手順

1、def authenticate(): の values = { 'ID' : '', 'PW' : '', 'KY' : AppKey, 'CT' : CT, 'HB' : HB } に浪人IDとパスワードを埋め込む
　※.pyファイルに浪人IDとパスワードを平文で書くことになり勧められません

2、class DatProxyRequest(proxy.ProxyRequest):を書換
m = re.match(r'http://(\w+)\.(2ch\.net|bbspink\.com)(:80){0,1}/(\w+)/dat/(\d+)\.dat$', self.uri)
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　↓
m = re.match(r'http://(\w+)\.(2ch\.net|bbspink\.com)(:80){0,1}/(\w+)/(?:dat|kako\/\d+\/\d+)\/(\d+)\.dat$', self.uri)

以上

検証環境
chaika
JaneXeno
15：名無しさん：2015/03/20(金) 14:09:18 ID:O7Sbtcgc0: python串、最新のに入れ替えたらクッキー確認の画面→書き込めないの無限ループだわ
同じ症状の人いないかな
16：名無しさん：2015/03/20(金) 14:20:32 ID:NCjMzpUw0: >>15
>>7
17：名無しさん：2015/03/20(金) 14:21:54 ID:DxY4TLss0: >>15
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/958-
のやつのことなら、そのすぐ下のレスに対処法が書いてある
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/962
18：名無しさん：2015/03/20(金) 14:46:23 ID:O7Sbtcgc0: >>16-17
書けた～マジ助かった！さんきゅ！！
19：名無しさん：2015/03/20(金) 15:23:13 ID:TLxl/0fw0: >>14
過去ログのURIには
http://piza2.2ch.net/mona/kako/981/981316230.dat と
http://aa.2ch.net:80/aastory/kako/1033/10338/1033819502.dat の
2パターンあるんでその分を加えて、ついでに余計なバックスラッシュを削って後方参照の番号を整理して

m = re.match(r'http://(\w+)\.(?:2ch.net|bbspink.com)(?::80){0,1}/(\w+)/(?:dat|kako(?:/\d+){1,2})/(\d+)\.dat$', self.uri)
res = getDAT(m.group(1), m.group(2), m.group(3), self.getHeader('Range'))

でどの場合もいけそう(文字列としては試したけどアカウント持ってないんで実際の浪人では試してない)
20：名無しさん：2015/03/21(土) 02:54:27 ID:xxZb8ebo0: python串の書き込み時のfakeUA実験　（JaneXeno + 浪人）

fakeUA = 'Monazilla/1.00 (JaneStyle/3.80)' #その他偽装User-Agent
↓
fakeUA = 'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko' #その他偽装User-Agent

結果
--------------------
書込み中・・・
--------------------
ＥＲＲＯＲ！
ＥＲＲＯＲ：ブラウザ変ですよん。http://anago.2ch.net/software/
浪人して書くことができます
ホストhoge.ne.jp

このためfakeUAをちょいと変更して再テスト
fakeUA = 'Monazilla/1.00 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko' #その他偽装User-Agent

結果
書き込めたよ！
21：名無しさん：2015/03/21(土) 04:21:03 ID:xxZb8ebo0: >>19
その変更で試してみましたが概ね良好です（chaikaとJaneXeno）

ただAPI + 浪人の過去ログdat取得時の404には困ることが少々ありまして
スレが削除されたりして鯖に残ってない場合の404（ブラウザで見ても、datが存在しません。削除されたかURL間違ってますよ。という表示）
api.2ch.net/v1/からdat取れず404（ブラウザで見るとログが残っており、専ブラが何度か取得を試みれば200となり過去ログdatが取得できる）

こんな感じです
ありがとうございました
22：名無しさん：2015/03/21(土) 04:24:33 ID:TIlCyHJY0: 専ブラが何度か取得を試みれば　というのはCloudFlareのキャッシュのせい？
23：名無しさん：2015/03/21(土) 04:49:38 ID:xxZb8ebo0: その辺どうなんでしょうか

webブラウザや串無しのAPI非対応専ブラで過去ログが読めてもAPI + 浪人で過去ログ読めない時がありますのでapi.2ch.net/v1/の具合がよろしくなさそう
api.2ch.net/v1/とCloudFlareとの間がどうなってるかはわからないです
HTTP/1.1 522 Origin Connection Time-out じゃなくて404が返ってくるんです
24：名無しさん：2015/03/21(土) 07:50:32 ID:DK1lxIsg0: 昨日の夕方はbbspink絡みであれこれいじってたみたいだし
まだしばらくはapi.2ch.netとCloudFlare周りは不安定だったりコロコロ仕様が変わったりしそう
ぶっちゃけ「せいぜい数回のリロードすればなんとかなる」うちは、プログラムに手を入れるより
様子見しながら情報収集するだけでいいような気が
25：名無しさん：2015/03/21(土) 16:20:56 ID:/2BCSXE.0: >>12
手元のボロPCサルベージ中にBlackJumboDogが入ってるのみつけたんで
上位プロキシに指定してみたらサクッとhttpsも通った
相性とかごちゃごちゃありそう
26：名無しさん：2015/03/22(日) 18:03:16 ID:ZNFV1G3.0: >>19
過去ログの取得時に.gzが付く専ブラへの対応
m = re.match(r'http://(\w+)\.(?:2ch.net|bbspink.com)(?::80){0,1}/(\w+)/(?:dat|kako(?:/\d+){1,2})/(\d+)\.(?:dat$|dat.gz$)', self.uri)
27：名無しさん：2015/03/22(日) 23:19:21 ID:m.sBIjd20: python串の何が悪いのかは分からんがHTTP/1.0でGETすると破損するらしくdatを読めなかった
この現象は新規に読み込むときに発生するようで差分読み込みのときは何の問題もなくいける
該当する人がそうそういるかわからないが一応報告

原因探しと解決に丸一日かかってしまった
もしSquid2.7から多重プロキシやってて困ってる人がいたらSquid3に移行するといいよ
28：名無しさん：2015/03/23(月) 04:17:39 ID:VbrbVxxo0: python串のclass DatProxyRequest(proxy.ProxyRequest):の#レスポンスコードに関するアドホック対応において
printlogする前にself.setResponseCode(code)してるのでprintlogで表示されるres.getcode()と手加減くわえたcodeが同じものになってる風味