bbs2chreader/chaika ツールスレ - 1426689484

1：名無しさん：2015/03/18(水) 23:38:04 ID:DNwkbf0I0: bbs2chreader/chaikaを使いやすくするツールに関する情報交換を行うスレ
2：名無しさん：2015/03/18(水) 23:44:14 ID:BnVExCCk0: proxy2chをchaikaで使いたいが設定の仕方がさっぱりわからん
3：名無しさん：2015/03/18(水) 23:51:04 ID:lmWKslDw0: 独自拡張スレとはどういう住み分けなのここ
4：名無しさん：2015/03/19(木) 00:04:01 ID:ZFSx3D0Q0: bbs2chreader/chaika 避難所
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/958

958 名前：名無しさん[sage] 投稿日：2015/03/18(水) 12:10:14 ID:2yWThRRI0
ttp://codepad.org/QHPFRjLf

・no support, no claim, as is
・上位プロキシ設定追加
　多くの専ブラでプロキシが設定できるということは、この設定にもそれなりの需要があるのでしょう
　>>183-185でのご教示に感謝。ぶっちゃけ二度と上げまいとも思ってたけど、それではID:qIh3Xrok0さんへの不義理が過ぎますから
　実際の実装はご教示いただいたものとttp://lab.hde.co.jp/python/twisted/のまるまるコピー、設定の変更は変数upstreamProxyHostとupstreamProxyPortを書き換えてください。このどちらかが空なら上位プロキシ無し
　httpsプロキシについては碌にテストしていません
・APIへのアクセスにhttpsを使わない機能実装
　ベンチマークはとってませんが、体感ではなんとなく早くなったような気がします(プラシーボの可能性大)
　上位プロキシがhttpsを透過しないこともあるでしょうから、そういう場合には有意義かもしれません
　ただし偽装を2ch運営側に見破られる確率が上がるかもしれません
　変数apiSchemeを適当に書き換えてください
・書き込み以外の2chへのアクセス時にはCookieを送信しない
　もちろん、>>85や>>851のように、「dat以外へのアクセスはプロキシを通さない」設定だったりすると無意味です
　http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1426425387/49のパクリです
・dat以外の2chアクセスでUAを詐称
　そもそも運営が偽装チェックをやってるかどうかは知りませんが、詐称できた方が精神衛生にプラシーボ効果があるので
　変数fakeUAを適当にいじってください

主な変更点はほとんどDatProxyRequestクラスです。それなりに真面目にコメントを入れているので、何かの参考になれば
各Key類が既に無効な設定になってるのはわざとです。クレクレ君や教えて君へのささやかな嫌がらせです

ではまた冬眠
5：名無しさん：2015/03/19(木) 00:04:07 ID:47GsuaLk0: >>1が想定してるツールって何だろうね？
>使いやすくするツール
FoxAge2chやスキンも該当しそうだが、、、
6：名無しさん：2015/03/19(木) 00:06:05 ID:FUctbxIM0: 廃棄するかchaika｢でも｣使えるツールのスレとして利用するか
7：名無しさん：2015/03/19(木) 00:06:38 ID:ZFSx3D0Q0: >>4
167行目を修正
if not re.search(r'/test/bbs\.cgi\?guid=ON$', self.uri):
↓
if not re.search(r'/test/bbs\.cgi', self.uri):
8：名無しさん：2015/03/19(木) 00:21:53 ID:9HMRxpAw0: >>5

http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/976+984
976 名前：名無しさん[sage] 投稿日：2015/03/18(水) 21:11:33 ID:DNwkbf0I0
このスレもそろそろ次スレとなるんですけども当スレから支援ツールスレ（仮称です。当面Python串の話題を想定）を分離の方向でしょうか
支援ツールスレは、いわゆる周辺拡張を含むのか含まないのか
どうしましょう

984 名前：名無しさん[sage] 投稿日：2015/03/18(水) 23:41:48 ID:DNwkbf0I0
とりあえず建てました

bbs2chreader/chaika ツールスレ
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1426689484/

Python串等の話題は分離で
9：名無しさん：2015/03/19(木) 00:30:42 ID:47GsuaLk0: >>8
㌧
要するに串スレね
了解
10：名無しさん：2015/03/19(木) 03:32:42 ID:9tJF9tV.0: ひとまずここは串などの話題に限って、スキンやFA2といっしょにすべきじゃないな
11：名無しさん：2015/03/19(木) 05:15:25 ID:21KmoK2o0: で、>>4の作者はこっちに移ってくるのかね
まあ冬眠とかいいつつスレは毎日チェックしてそうな性格だとは思うが
12：名無しさん：2015/03/19(木) 08:18:03 ID:yJYVs.6U0: めも urllib2でhttpsプロキシに繋ぐレシピ
ttp://code.activestate.com/recipes/456195/
このくらいの処理が入ってないとあかんらしいんで
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/965
は当然そうなるってことだな
13：名無しさん：2015/03/19(木) 12:33:58 ID:gvign73Q0: offlaw2で過去ログ取れなくなったからFiddler導入したけど、これブラウザ拡張付きだったんだな。
初期設定とCustomRule.jsの修正した後は必要になった時にアイコンクリックだけで済む。
終了はFiddler側でやらなきゃだけど。
14：名無しさん：2015/03/19(木) 17:13:51 ID:9HMRxpAw0: >>4
このPython串を過去ログdat取得対応させるための手順

1、def authenticate(): の values = { 'ID' : '', 'PW' : '', 'KY' : AppKey, 'CT' : CT, 'HB' : HB } に浪人IDとパスワードを埋め込む
　※.pyファイルに浪人IDとパスワードを平文で書くことになり勧められません

2、class DatProxyRequest(proxy.ProxyRequest):を書換
m = re.match(r'http://(\w+)\.(2ch\.net|bbspink\.com)(:80){0,1}/(\w+)/dat/(\d+)\.dat$', self.uri)
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　↓
m = re.match(r'http://(\w+)\.(2ch\.net|bbspink\.com)(:80){0,1}/(\w+)/(?:dat|kako\/\d+\/\d+)\/(\d+)\.dat$', self.uri)

以上

検証環境
chaika
JaneXeno
15：名無しさん：2015/03/20(金) 14:09:18 ID:O7Sbtcgc0: python串、最新のに入れ替えたらクッキー確認の画面→書き込めないの無限ループだわ
同じ症状の人いないかな
16：名無しさん：2015/03/20(金) 14:20:32 ID:NCjMzpUw0: >>15
>>7
17：名無しさん：2015/03/20(金) 14:21:54 ID:DxY4TLss0: >>15
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/958-
のやつのことなら、そのすぐ下のレスに対処法が書いてある
http://jbbs.shitaraba.net/bbs/read.cgi/computer/44179/1411987125/962
18：名無しさん：2015/03/20(金) 14:46:23 ID:O7Sbtcgc0: >>16-17
書けた～マジ助かった！さんきゅ！！
19：名無しさん：2015/03/20(金) 15:23:13 ID:TLxl/0fw0: >>14
過去ログのURIには
http://piza2.2ch.net/mona/kako/981/981316230.dat と
http://aa.2ch.net:80/aastory/kako/1033/10338/1033819502.dat の
2パターンあるんでその分を加えて、ついでに余計なバックスラッシュを削って後方参照の番号を整理して

m = re.match(r'http://(\w+)\.(?:2ch.net|bbspink.com)(?::80){0,1}/(\w+)/(?:dat|kako(?:/\d+){1,2})/(\d+)\.dat$', self.uri)
res = getDAT(m.group(1), m.group(2), m.group(3), self.getHeader('Range'))

でどの場合もいけそう(文字列としては試したけどアカウント持ってないんで実際の浪人では試してない)
20：名無しさん：2015/03/21(土) 02:54:27 ID:xxZb8ebo0: python串の書き込み時のfakeUA実験　（JaneXeno + 浪人）

fakeUA = 'Monazilla/1.00 (JaneStyle/3.80)' #その他偽装User-Agent
↓
fakeUA = 'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko' #その他偽装User-Agent

結果
--------------------
書込み中・・・
--------------------
ＥＲＲＯＲ！
ＥＲＲＯＲ：ブラウザ変ですよん。http://anago.2ch.net/software/
浪人して書くことができます
ホストhoge.ne.jp

このためfakeUAをちょいと変更して再テスト
fakeUA = 'Monazilla/1.00 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko' #その他偽装User-Agent

結果
書き込めたよ！
21：名無しさん：2015/03/21(土) 04:21:03 ID:xxZb8ebo0: >>19
その変更で試してみましたが概ね良好です（chaikaとJaneXeno）

ただAPI + 浪人の過去ログdat取得時の404には困ることが少々ありまして
スレが削除されたりして鯖に残ってない場合の404（ブラウザで見ても、datが存在しません。削除されたかURL間違ってますよ。という表示）
api.2ch.net/v1/からdat取れず404（ブラウザで見るとログが残っており、専ブラが何度か取得を試みれば200となり過去ログdatが取得できる）

こんな感じです
ありがとうございました
22：名無しさん：2015/03/21(土) 04:24:33 ID:TIlCyHJY0: 専ブラが何度か取得を試みれば　というのはCloudFlareのキャッシュのせい？
23：名無しさん：2015/03/21(土) 04:49:38 ID:xxZb8ebo0: その辺どうなんでしょうか

webブラウザや串無しのAPI非対応専ブラで過去ログが読めてもAPI + 浪人で過去ログ読めない時がありますのでapi.2ch.net/v1/の具合がよろしくなさそう
api.2ch.net/v1/とCloudFlareとの間がどうなってるかはわからないです
HTTP/1.1 522 Origin Connection Time-out じゃなくて404が返ってくるんです
24：名無しさん：2015/03/21(土) 07:50:32 ID:DK1lxIsg0: 昨日の夕方はbbspink絡みであれこれいじってたみたいだし
まだしばらくはapi.2ch.netとCloudFlare周りは不安定だったりコロコロ仕様が変わったりしそう
ぶっちゃけ「せいぜい数回のリロードすればなんとかなる」うちは、プログラムに手を入れるより
様子見しながら情報収集するだけでいいような気が
25：名無しさん：2015/03/21(土) 16:20:56 ID:/2BCSXE.0: >>12
手元のボロPCサルベージ中にBlackJumboDogが入ってるのみつけたんで
上位プロキシに指定してみたらサクッとhttpsも通った
相性とかごちゃごちゃありそう
26：名無しさん：2015/03/22(日) 18:03:16 ID:ZNFV1G3.0: >>19
過去ログの取得時に.gzが付く専ブラへの対応
m = re.match(r'http://(\w+)\.(?:2ch.net|bbspink.com)(?::80){0,1}/(\w+)/(?:dat|kako(?:/\d+){1,2})/(\d+)\.(?:dat$|dat.gz$)', self.uri)
27：名無しさん：2015/03/22(日) 23:19:21 ID:m.sBIjd20: python串の何が悪いのかは分からんがHTTP/1.0でGETすると破損するらしくdatを読めなかった
この現象は新規に読み込むときに発生するようで差分読み込みのときは何の問題もなくいける
該当する人がそうそういるかわからないが一応報告

原因探しと解決に丸一日かかってしまった
もしSquid2.7から多重プロキシやってて困ってる人がいたらSquid3に移行するといいよ
28：名無しさん：2015/03/23(月) 04:17:39 ID:VbrbVxxo0: python串のclass DatProxyRequest(proxy.ProxyRequest):の#レスポンスコードに関するアドホック対応において
printlogする前にself.setResponseCode(code)してるのでprintlogで表示されるres.getcode()と手加減くわえたcodeが同じものになってる風味
29：名無しさん：2015/03/23(月) 08:55:42 ID:tcdcld/w0: api for chaikaより串使ってる人の方が多いのかな
30：名無しさん：2015/03/24(火) 17:25:15 ID:voaPeyzs0: 上で出てる正規表現で ’?’ じゃなくてあえて ’{0,1}’ を使う理由って何？
31：名無しさん：2015/03/24(火) 19:57:03 ID:9saDMOpE0: >>22-23
先ほどpython串でdat取得中にapi.2ch.net | 522: Connection timed outというタイトルのhtmlがbodyに返ってきました

Error 522 Ray ID:foobar

Connection timed out

You
Browser
Working
Tokyo
CloudFlare
Working
api.2ch.net
Host
Error

What happened?

The initial connection between CloudFlare's network and the origin web server timed out. As a result, the web page can not be displayed.

What can I do?

If you're a visitor of this website:

Please try again in a few minutes.

If you're the owner of this website:

Contact your hosting provider letting them know your web server is not completing requests.
An Error 522 means that the request was able to connect to your web server, but that the request didn't finish.
The most likely cause is that something on your server is hogging resources.
Additional troubleshooting information here.
https://support.cloudflare.com/hc/en-us/articles/200171906-Error-522

CloudFlare Ray ID: foobar Your IP:hoge Performance & security by CloudFlare
32：名無しさん：2015/03/24(火) 20:05:54 ID:w9tN2.hk0: 2chMate 0.8.7.7/Foxconn International Holdings Limited/DG-D07SGP/4.2.2/LR
でも出たから調べたけどただのサーバー不調だったっぽい
33：名無しさん：2015/03/24(火) 20:07:50 ID:w9tN2.hk0: ああ、APIのコード切り替えもあったらしいよ
34：名無しさん：2015/03/25(水) 01:34:41 ID:rju2EejE0: 0時回ってすぐの頃、自作PC板のとあるスレで（ときどきあることだけど）レス番が重複しちゃって
たいていは再読み込みするだけで直るのだけどダメでdatファイルをエディタで開いて調べたけど？？

そういやPython串動かしっぱなしだから再起動しとくかとCtrl+Cしたが1回では止まらずなんかハングしてたっぽい
気を取り直してPython串を再起動し、chaikaからログ削除行って再読み込み・・・！？
今度は問題の箇所から 1, 2, 3... とレス番が・・・なんでだろう？・・・あ

エディタで開きっぱなしでロックされていたのでログ削除できていなかったんだよね
ふう焦ったぜー
35：名無しさん：2015/03/25(水) 06:30:45 ID:dX48vo7Q0: >>30
理論的には「書いた人の趣味」以上の意味はないと思う。今どきの言語処理系なら、?と{0,1}で効率が
変わるような温い最適化ってことはあるまい。
URI中のパラメーター指定とか正規表現の拡張記法とかでもクエスチョンマークがいくつも出てきて
紛らわしかったり読みにくかったりするから、とかかな。
36：名無しさん：2015/03/25(水) 07:01:51 ID:dX48vo7Q0: >>31
ちゃんと理由までそのコピペした中に書いてあるやん。「クラウドフレアと大元のサーバ(この場合はapi.2ch.net)との接続がタイムアウトした」って。
英語が苦手なら、とりあえずこれだけは覚えておくべき。

「500番台のエラーが返ってきたらサーバー側に問題」
37：名無しさん：2015/03/25(水) 08:50:28 ID:ulXRJHZ20: next2ch.netまで( ｰωｰ)「新着なし」の真っ白画面になっててワロス
38：名無しさん：2015/03/25(水) 12:45:28 ID:EvrmpvHA0: API対応専ブラやAPI串の利用者が500番台受け取って分るのはCloudFlareは生きてるがCloudFlareとapi.2ch.netとの間がまずいってこと

API対応専ブラやAPI串の利用者が404受け取って分るのはCloudFlareとapi.2ch.netは生きてるがapi.2ch.netがanago.2ch.net等の鯖からdat取れなかったということ
（ログが無くてanago.2ch.net等の鯖から404返るときもあればanago.2ch.net等の鯖が応答しなくてapi.2ch.netが404を返してるときもある、、、のではないか？）
39：名無しさん：2015/03/25(水) 15:03:06 ID:M.bSCOi.0: 522の画像うｐしてみました
http://fast-uploader.com/transfer/6982814285450.png
http://fast-uploader.com/transfer/6982814331393.png
40：名無しさん：2015/03/25(水) 15:22:17 ID:yBNVzciE0: ここまでのレスを読んで、その上でそれをupして、いったい何が言いたいんだ?
まさか、「串制作者は、CDN～2chの通信状態がどうあろうともdatを自分が取得できるようにすべき」
とでも要求したいのか?
ここのPython串に続き、今度は2chの「作らね」スレでWiki更新者が投げ出したようだが
ほんとクレクレ君や教えて君達は、貢献者に厳しいなぁ
41：名無しさん：2015/03/25(水) 16:16:36 ID:M.bSCOi.0: >>40
いや、英語読めなくても画像見たら522の原因が分かりやすいでしょ
それだけ
42：名無しさん：2015/03/25(水) 16:44:20 ID:nS84.btg0: わざわざ説明してくれてる親切な人に失礼だよ
43：名無しさん：2015/03/25(水) 17:17:53 ID:yBNVzciE0: >>41
邪推したのは悪かった
しかし>>39からどうやってその意図を酌み取れと?
44：名無しさん：2015/03/25(水) 17:30:19 ID:y42ck3Ac0: 逆にあんたが何を言いたいのかわからん
45：名無しさん：2015/03/25(水) 18:19:56 ID:nS84.btg0: 「俺以外の馬鹿共はスレに書き込むな」かな？
46：名無しさん：2015/03/25(水) 19:05:57 ID:2KXO4SbU0: 「馬鹿な俺にも解るようにきちんと説明してくれよ」じゃね
47：名無しさん：2015/03/25(水) 20:06:00 ID:rju2EejE0: 教えて君やコミュ障のせいでコミュニティはいともたやすく崩壊するのだよ
相手のことを考えて言葉は使おう
48：名無しさん：2015/03/25(水) 20:08:05 ID:EvrmpvHA0: 先ほどError 524: A timeout occurredが返ってきました
https://support.cloudflare.com/hc/en-us/articles/200171926-Error-524

api.2ch.netにしっかりしてもらわないとAPI串あってもdat取れない
49：名無しさん：2015/03/26(木) 09:51:18 ID:l92.jlZk0: 2chMateだけどこないだ 522 Origin Conection Time-out かえしてきた