htmltodatサポートスレッド - 1038588508

1：（L44UP/ps）：2002/11/30(土) 01:48: QA・要望等受け付けるかもしれない（？）スレッドです。
作者にスキルがないのでできないことが多いかとは思います。
821： ◆/vmukiyuzw：2015/01/24(土) 01:28:00: バージョンアップしました（0.11.3）
　・2chのCloudFlare採用によるメール欄の難読化をデコードするよう修正。
　・Ver0.11.0で削除したコントロールのうち
　　「一括変換」「subject.txt作成」を復活。

一点目は>>819で書いたことに関連してなのですが
対応策をいろいろ検討した結果、htmltodat内部に
デコード処理を取り込むのが当面いいかなと考え
そのように修正しました。
それ以外のエンコードロジックが出てきたらどうするんだとか
汎用性の面で問題はあるのですが、これに汎用的に
対処しようと思うとなかなか難しい面があって・・・
まあ当面対処すべきなのは１パターンだけですし
汎用性が要求されるケースが発生したらその時考えます。

で、若干の考慮事項があるのですが次スレで。

二点目は、>>805で「一括変換は使う」という方がいらっしゃったので
確かにまだニーズはありそうだなと復活させてみました。
「subject.txt作成」は「一括変換」を使う人には必要かもと思い
一緒に復活させました。
822： ◆/vmukiyuzw：2015/01/24(土) 01:36:20: >>821の関しての考慮事項です。
（バージョン番号間違えた。0.11.4です）

この変更は、>>819に書いたように

> <a href="mailto:sage">
> みたいな形式でメール欄が表現されていたのが
> <a href="/cdn-cgi/l/email-protection#abd8caccce">
> みたいになります。

となってしまうのを、元の"mailto:sage"に戻すためのものなわけです。

ところで、エンコードされた形式の
/cdn-cgi/l/の部分をハードコードするには気持ち悪かったのと、
内部処理的に、<a href="mailto:email-protection#abd8caccce">
みたいにmailtoの内容として表現されていると処理しやすい
というのがあったんで、前処理で変換してくださいという仕様にしました。
（形式が変わっても"mailto:email-protection#～"の形式にすれば変換可能ということ）

これを含んでのread.cgiの変換prmは以下のように。

コメント：
# 2chのread.cgiからの出力を変換-20150124
# 元datに近づけるためアンカー削除はオフにし
# 後処理で不要なもののみ削除する。
# メール欄デコード処理対応を反映

URLの変換：
s#http://(.+?)/test/read\.cgi/(.+?)/(\d+)/?.*#http://$1/test/read.cgi/$2/$3/#

前処理：
# メール欄デコードの前処理
s#(<a href=)"/cdn-cgi/l/(email-protection\#.*?">)#$1"mailto:$2#ikg

アンカー削除：
false

プレビューを表示しない：
true

後処理：
# アンカータグ削除（レスアンカーに対するタグは削除しない）
s#<a href="http.*?>(.*?)</a>#$1#igk
# BE周りの処置
s#<img src="http://(img\.2ch\.net/.+?)">#sssp://$1#igk
# 以下はhtmltodatの内部処理に組み込まれているので不要
#s#<a href=.?javascript:be$(\d+)(?:,\d+)?$.*?>\?(.*?)</a>#BE:$1-$2#igk

正規表現：
m#<dt.*?>([0-9]+).+?(?:"mailto:(.+?)">)?(.+?)(?:|</a>) ?：(.*?)<dd>(.*?) (<dt.*?>|</dl>)#mi