htmltodatサポートスレッド - 1038588508

1113： ◆/vmukiyuzw：2024/10/27(日) 04:23:27: 続いて、5ch過去ログ（現行サーバ・板でdat落ちしたもの）用です。
やってることは、read.cgiへのリクエストを過去ログへのdatへの
リクエストに変換してるだけです。
（5chのお知らせからの引用ですが
/板名/oyster/スレッドキー上位4桁の数字/スレッドキー.dat
例： https://agree.5ch.net/operate/oyster/1684/1684064837.dat）

5chがJaneと手を切ってから解放されてる方法で、対応してる
専ブラも多いと思います。
htmltodatとしてはURLを変換して取得結果をそのまま出力しているだけなので
HTML→dat変換処理は通っていません。なのでプレビューは出ないです。

コメント：
# 5chのdatをread.cgiを介せずそのまま取得-2024/10/27
# 5chの過去ログ（現行サーバでdat落ちしたもの）用
#

URLの変換：
s#https?://(.*?)/test/read\.cgi/(.*?)/(\d{4})(\d+).*#http://$1/$2/oyster/$3/$3$4.dat#

dat変換をしない（前処理のみ行う）：
true

アンカー削除：
false
1114： ◆/vmukiyuzw：2024/10/27(日) 04:25:24: あと、一応5ch現行ログからdatへの変換用です。
大抵の専ブラはこんなのなくても読めるはずなので特にニーズはなさそうですがｗ

コメント：
# 5chのdatをread.cgiを介せずそのまま取得-2024/10/27
# 5chの現行ログ用
#

URLの変換：
s#https?://(.*?)/test/read\.cgi/(.*?)/(\d+).*#http://$1/$2/dat/$3.dat#

dat変換をしない（前処理のみ行う）：
true

アンカー削除：
false
1115：名無しさん：2024/11/01(金) 02:17:24: 過去ログに関しては2ch.scとそれ以前のログはみみずんに随分助けられてますね
みみずんに関しては最近のブラウザではhttpsに強制されるせいで
httpでしか見れないみみずんが見れなくなったと思ってる人も多そうで
1116：名無しさん：2025/08/17(日) 11:43:04: datを紛失してるおーぷん2chのスレのhtmlを変換しようとしたところ「HTTP/1.1403 Forbidden」で返されてしまいます

対象のURL
https://wktk.open2ch.net/test/read.cgi/aimasu/1536494026/

作成した正規表現は以下ですがうまくいきません
m#<dt.*?>\s*<a.*?>.*?<font.*?>(?:.*?([^<]+))?.*?</a>.*?<font.*?>(.*?)ID:([A-Za-z0-9\-\+\./]{8}) .*?.*?<dd.*?>(.*?) #mik

御助力お願いします
1117： ◆/vmukiyuzw：2025/08/20(水) 01:24:35: >>1116さん
対象のURLを汎用ブラウザ(chrome）で開こうとしてみたのですが
なんか最初だけ「あなたはロボットですか？」みたいなメッセージが
出て別に何もしなくてもしばらくするとスレッドが表示されたのですが
クロール除けなのか何なのか直接のアクセスに制限をかけてるようですね。

多分一回接続に成功したらcookieで以降のアクセスを許可するように
なってると思われますががhtmltodatにはそれに対応する仕組みはないので
多分403を回避するのは難しいと思います。
ブラウザで表示された内容をHTMLソース表示してhymltodatにコピペして
変換できんかと試みたのですが、この方式では（htmltodatの作りの
せいですが）「前処理」が使用できないのでうまいこといかなくなってます。

今は一旦htmlをローカルにダウンロードしていろいろやってますが
意外に難物で…時間かかってしまうかもしれません。
1118： ◆/vmukiyuzw：2025/08/20(水) 02:48:27: てか、おーぷん2chて今存在するサイトであり
アクセスできる専ブラもありますよね？
こちらで扱うべき案件なのかなという気もしています…
1119：名無しさん：2025/08/20(水) 23:01:31: お返事ありがとうございます

おーぷんでの専ブラの件ですが
人間の証明フィルタがかかってる状態では基本的にスレを取得できないのと
https://wktk.open2ch.net/test/read.cgi/aimasu/1536494026/

の

https://wktk.open2ch.net/aimasu/dat/1536494026.dat

の様にdatそのものが消えてしまっているスレはフィルタ以前にも専ブラで取得できない為
htmlから何とかdat化と専ブラでの読み込みが出来ないかと試みていた次第です

こちらでもブラウザでHTMLを保存しhtmltodatでローカルファイル読み込みなど試みてますが
ハング状態に陥ったりと上手くいきません
1120： ◆/vmukiyuzw：2025/08/21(木) 03:37:31: >>1119さん
申し訳ないです。
確かに現状「人間の証明フィルタ」？（クロール除けなのでしょうが）の
おかげで専ブラではアクセスできないようですね。
引き続き取り組んでみますが時間かかるかもしれません。ご容赦ください。

（白内障とやらで視力が低下してPC扱うのも割と難儀な事になってます＾＾；
手術が必要なのですが多分数日はお風呂に入れないことになるので
夏の間は見送ろうと思ってます＾＾；）