レス数が1スレッドの最大レス数(1000件)を超えています。残念ながら投稿することができません。
不具合報告スレ
-
不具合と思われた挙動をした時はこちらに書き込んでください。
報告用テンプレ
-----------------------------------------
Narou.rb のバージョン：
OS のバージョン：
その他環境情報（任意）：
何が起きたのか：
再現方法（何をやったら起こったのか詳細に）：
-----------------------------------------
エラーメッセージは再現方法に併記。
その際は --backtrace オプションをつけること。
-
ハーメルンだけと言うか、各サイト別にインターバル調整できると便利かな
手間も相手を判別して、それぞれのインターバルパラメータを適用する処理に変えるだけだから、手間かからないし
一時的と言えばそれまでの方法だけど
-
各種クローラの類がサーバに負荷かけまくるのが問題なので、
ウエイトかけるのが基本にして王道なのでしょうね。
各社とも、広告の問題もあって愉快には思ってないけど、迷惑かけないなら見逃してやらんことも無いって精神でしょうし。
自前サーバだと増強はとても面倒ですし、クラウド系なら追加料金かかる。
負荷かけちゃ駄目っす、中の人泣いちゃう。
-
ハーメルン一段と厳しくなった感じがします
-
と思ったらサーバーダウンしてる模様
ニコニコの件といい最近ひどいですね
-
ハーメルン、今度はIP関係なく403になってる感じ？
-
ハーメルンはロボットではありませんのチェックが必要になった？
-
ハーメルンの403の件
>>964と>>969の設定変更を試してみましたが効果なし
どうしましょ
-
>>975
サイトは復旧してる気が。
cloudflareの人間チェックって前から入ってたっけ。
-
ブラウザで人間チェック通してから取得してもダメ？
あとは、自分のブラウザと、環境設定のエージェント合わせるとか。
-
>>979
ブラウザ3種試してそこらへんやったけどだめだね
-
恒久的に導入されるとなるともう使えないっぽい？
-
なろうも１週間以上、
「[ERROR] 何らかの理由により目次が取得できませんでした(403 Forbidden)」
が出続けて更新できてません。
narou.rb3.9.0をgcp上のDebianで動かしてます。
一応、下記は試した。
・User-agent設定を変更
・IPアドレスを変更
・ウェイトの設定
もしかして、gpcが蹴られてるのかな・・・
-
>>982
なろうは6/21に問題なく取得に成功してるよ。
こっちはWin10、narou.rb3.9.0、Java8_401
-
ハーメルン公式の
>特定の挙動のアクセス元についてはサイト負荷軽減のため403エラーが返るように設定されているのでご留意ください。
>（例：クローラー等）
に引っかかる影響で、IP丸ごとはじかれているようですね
特定のサイトでウェイト設定とかしないと、しばらくハーメルンは更新できなさそう
-
>>984
追加情報。
ハーメルンでウェイトとか完全にデフォルトで更新を実行したところ、
長編のDLで154話分ダウンロードしたところで403エラーが発生しております
何話ずつでのウェイト無し、1話ごと0.7秒ウェイトがデフォルトのはずなので、
2分半ほど連続アクセスするのがダメっぽい？
-
>>984
私はアップ＆ダウンインターバル5.0、ウェイト5で今の所問題なく行けてます
-
ハーメルンで挿絵のURL体系が近日中に変わる模様
ttps://twitter.com/hameln_tukuru/status/1806315824355172671
-
>>983
gcpからローカルのraspberry pi環境に移動したところ、「なろう」も問題なくDLできるようになりました。
Ruby、Javaのバージョン等はすべて同じ
異なるのはCPUとIPアドレスなので、IPアドレスの問題なのかな、と。
一応ご報告まで。
-
うちみたいに古いディストロ使ってなきゃ関係ないとは思うんだけども、httpsの暗号化認証絡み等で繋がらないサイトが最近あるから、
CPUの違いによるリリース日の前後等で一部のライブラリバージョンだけが異なっていたり、
導入されてる証明書とか無効設定とかの違いで挙動が変わる可能性はあるかも？
wgetだとその辺別のを使うのか、あるいはリクエストヘッダの違いが影響するのか、
UA揃えてもrubyと挙動が違ってくる不可解なサイトは見かけたことがあるな
-
実際問題として、narou.rbってまあまあサーバに負担かけるんですよね。
なろうの月間PVを30億と仮定すると、平均1160ページ/s(2019年で20億PV/月)
narou.rbは0.5〜1ページ/s位のアクセス頻度なんで、何千人も同時に使われるとキツいと思う。
素人が適当に計算したんで、キャッシュがどうこうとか、CloudFlareで良い感じにする仕組みとかは考慮してないです。
目くじら立てて潰しにかかるまでは行かないけど、あんまり酷いIP/IP帯だとブロックして403とかにするんですかね。
延々とクロールして、自動翻訳してるサイトとか海外にありそう。めっちゃ稼げそうだし。
-
>>990
ttps://blog.syosetu.com/article/view/article_id/4717/
既出かもしれませんが7/2より規約改定により自動ダウンローダ関連は
明確にすべて禁止になったようです。なろうデベロッパの提供するAPIを利用する方法以外の〜
とありますが、なろうデベロッパのページに行くとAPIを用いた機械的な本文取得は禁止とあるので
アクセスの速度調整などしてもダメということなのかと
-
負荷制限だったら以前からの500番台？のエラーの方が明解だと思うんですけどね
まあ目次の変更がもしブラウザの先読み機能対策だったとすれば、目次分のページ読んだら一旦（エラー）終了して
以降の読み込みは再起動時にレジューム対応するとかが無難だったりするのだろうか？
-
ハーメルンUAもIPも最新版のに変えたのに更新出来なくなってる。
ブラウザからは人間チェックとか無しで見れるからRefererとかも見るようになったのか?
なろうの方は問題なく更新できるし
-
ハーメルンのエラーはUA変更したら更新された
-
UA変えたりウェイト長くしたりで機嫌取りながらやるしかないか
-
Chromeは厳密UA廃止してUser-Agent Client Hintsに切り替わったみたいだから、Chrome系はもう厳密UAだと通らないようになったのかも
-
文系です。UA変更ってブラウザを変更した、という意味で合っておりますか？
chromeで見てますが、お勧めブラウザってありますでしょうか（汗）？
-
>>997
あってません。narou.rbを開くブラウザの問題じゃないので過去スレよく読んで頑張って
-
UAの設定次第でハーメルンはDL可能な模様。
×Mozilla
×Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/125.0.0.0 Safari/537.36
〇Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)
あとdownload.intervalとdownload.wait-stepsは5秒にしたほうが安全かも
-
>>998
この板読んで頑張ります（泣）
|
|
掲示板管理者へ連絡
無料レンタル掲示板
