htmltodatサポートスレッド

1116：名無しさん：2025/08/17(日) 11:43:04: datを紛失してるおーぷん2chのスレのhtmlを変換しようとしたところ「HTTP/1.1403 Forbidden」で返されてしまいます

対象のURL
https://wktk.open2ch.net/test/read.cgi/aimasu/1536494026/

作成した正規表現は以下ですがうまくいきません
m#<dt.*?>\s*<a.*?>.*?<font.*?>(?:.*?([^<]+))?.*?</a>.*?<font.*?>(.*?)ID:([A-Za-z0-9\-\+\./]{8}) .*?.*?<dd.*?>(.*?) #mik

御助力お願いします
1117： ◆/vmukiyuzw：2025/08/20(水) 01:24:35: >>1116さん
対象のURLを汎用ブラウザ(chrome）で開こうとしてみたのですが
なんか最初だけ「あなたはロボットですか？」みたいなメッセージが
出て別に何もしなくてもしばらくするとスレッドが表示されたのですが
クロール除けなのか何なのか直接のアクセスに制限をかけてるようですね。

多分一回接続に成功したらcookieで以降のアクセスを許可するように
なってると思われますががhtmltodatにはそれに対応する仕組みはないので
多分403を回避するのは難しいと思います。
ブラウザで表示された内容をHTMLソース表示してhymltodatにコピペして
変換できんかと試みたのですが、この方式では（htmltodatの作りの
せいですが）「前処理」が使用できないのでうまいこといかなくなってます。

今は一旦htmlをローカルにダウンロードしていろいろやってますが
意外に難物で…時間かかってしまうかもしれません。
1118： ◆/vmukiyuzw：2025/08/20(水) 02:48:27: てか、おーぷん2chて今存在するサイトであり
アクセスできる専ブラもありますよね？
こちらで扱うべき案件なのかなという気もしています…

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板