メールを元にspam条件の表示 - 秀丸メール・バグ関係 - スレッド11216, 2004/11/11

メールを元にspam条件の表示

SBNB さん　04/11/11 20:57

スパムフィルタの実装をありがとうございます。じ～っと待っておりました。spamで
はないメールがスパムになったり、スパムになって欲しいものがスパムになっていな
かったりするわけですが、

私の理解が悪いのでどうしてそうなったのか、どの条件が効いているのか、どうすれ
ば該当させ、どうすれば解除できるのか分かりません。

もちろん作者様でもこのような話が出てくることは想定済みだと思いますが、1つの
メールを選択した状態で、そのメールに関してどの条件が効いているか、またどうい
うキーワードなどで引っ掛けるのが有効であるかとか、そういうアドバイスしてくれ
る機能があると助かります。

しちめんどくさい要望で申し訳ないですけど、今のところ参考程度に見ているだけな
ので全く急ぎはしませんが、手出しもできないなと見ているだけのような状態です。

RE:11216 メールを元にspam条件の表示

アルビレオ さん　04/11/11 21:29

鶴亀ユーザーのアルビレオです。

>私の理解が悪いのでどうしてそうなったのか、どの条件が効いているのか、どうすれ
>ば該当させ、どうすれば解除できるのか分かりません。

X-TuruKame-Filterヘッダを見れば、どの条件にヒットしたかを確認することが
できます。
まずは目を通してみると意図したとおりにならない原因をある程度絞り込めるで
しょう。

RE:11217 メールを元にspam条件の表示

SBNB さん　04/11/11 22:12

アルビレオさん

>X-TuruKame-Filterヘッダを見れば、どの条件にヒットしたかを確認することができ
>ます。

ヘッダとヘルプをじっくり見ると確かにありました。
そしてなんとなくコツが分かってきました。ありがとうございました。

RE:11219 メールを元にspam条件の表示

秀まるお さん　04/11/12 12:29

　一応、迷惑じゃないはずのメールが迷惑メール扱いになることは絶対無いよう
にしたつもりですが、もしそういうケースがあれば、例えばそのメールのX-
TuruKame-Filter:ヘッダを見てどういうことなのか教えて欲しいです。

RE:11222 メールを元にspam条件の表示

SBNB さん　04/11/12 17:37

>　一応、迷惑じゃないはずのメールが迷惑メール扱いになることは絶対無いよう
>にしたつもりですが、

すいませんが、「うまく設定すれば」と言う意味でしょうか。それとも「設定通りに
ならないことは無いつもり」でしょうか。後者であれば、これは自分でがんばります。
前者であれば情報として書いておきます。

それと、先に1つ簡単な要望ですが、ヘルプの「フィルターの詳細ダイアログボック
ス」のページを[迷惑メールフィルタのヘルプ]から見られるようになると助かります。

もしそういうケースがあれば、例えばそのメールのX-
>TuruKame-Filter:ヘッダを見てどういうことなのか教えて欲しいです。

このようになるのはいずれもhtmlメールの場合のようです。

From: 社会人メルマ！ <xxx@melma.com>
X-TuruKame-Filter: spam (html plain mismatch)

From: "☆チャンスマスター☆"<mail@chance-master.com>
X-TuruKame-Filter: spam (html plain mismatch)

From: " ポイントメール " <xxxxxxxxxxxxxx@gmo.jp>
X-TuruKame-Filter: spam (empty link)

とりあえずこんな感じです。
チャンスマスターについては、チェックを回避すると、
X-TuruKame-Filter: spam (html plain mismatch)
X-TuruKame-Filter: spam (super small font)
X-TuruKame-Filter: spam (unknown charset)
順次引っかかります。spamまがいなメールを出しているってことですよね(笑）

1つ問題があって、AVGのFree を使ってます。これが書き出すメッセージと比較してh
tmlとtxtが違うよと言うエラーになっているようにも感じますし、必ずしもそうでは
ない感じもします。

別件なのかもしれないですが、鶴亀のログを見ると
charset=iso-2022-jp これをAVGが
charset=iso-2022-jp (original=iso-8859-2) または、
charset=iso-8859-2
こう勝手に書き換えているような感じです3番目に書き換えられると題名が文字化け
します。本文は正常です。2番目に書き換えられたときに、(unknown charset)になっ
ているんだろうと思います。

こういうチェック項目は外したくはないですが、嫌なら外すか、信頼できるメールア
ドレスに追加すると言うことになりますか。

RE:11223 メールを元にspam条件の表示

秀まるお さん　04/11/12 17:57

　情報ありがとうございます。

　html plain mismatch、empty link、super small font、unknown charst、こ
れら全部、迷惑メール以外ではありえないと思っていたことなので、それが一般
のHTMLメールで使われてるならば、デフォルトOFFにせざるを得ないです。

　アンチウィルスソフトがメールを改変するケースも想定してませんでしたが、
実際にいろいろHTMLメールマガジンに入会するなどして調べてみます。

> 別件なのかもしれないですが、鶴亀のログを見ると
> charset=iso-2022-jp これをAVGが
> charset=iso-2022-jp (original=iso-8859-2) または、
> charset=iso-8859-2

　「iso-8859-2」ってのは中央ヨーロッパ言語ということのようです。一般の日
本語メールがこのような文字コードのはずは無いし、アンチウィルスソフトがこ
のような文字コードをメールに埋め込むはずも無いです。なので、元のメールに
こういう文字コード指定が入っているんだと思います。その辺も調べてみます。

　もしかして、ちゃんと承諾されて配信されるはずの広告メールであっても、迷
惑メールフィルターをすり抜けるためのテクニックを駆使してるのかもしれませ
ん。

RE:11224 メールを元にspam条件の表示

SBNB さん　04/11/12 18:21

なるほど奥が深くて面倒な問題ですね。個人的には停止できるのに好んで受信してい
るメールなので、どうでもいいのですが、発信者からすれば「何で俺のをスパム扱い
するんだ!」ってことになるかもしれませんし、頭がいたい気がします。

あと、charsetに関しては、本文中のcharsetは無視したらどうかと思います。と言う
のは、ここの書き込みで送られてくるメールで、私の先ほどの文と、この元となるま
るお様の書き込みがspamになってます。(笑）

RE:11223 メールを元にspam条件の表示

アルビレオ さん　04/11/12 18:28

アルビレオです。

>htmlとtxtが違うよと言うエラーになっているようにも感じますし、必ずしもそうで
>はない感じもします。

ヘルプで「詳細」の「怪しいtext/palinパートを含むHTMLメールを迷惑メール扱
いとする」として
>HTMLメールの場合で、text/htmlパートとtext/plainパートが
>全然食い違ってるようなケースを迷惑メール扱いとします。
とその通りのことが書かれていますね。

>charset=iso-2022-jp これをAVGが
>charset=iso-2022-jp (original=iso-8859-2) または、
>charset=iso-8859-2
>こう勝手に書き換えているような感じです3番目に書き換えられると題名が文字化け
>します。本文は正常です。2番目に書き換えられたときに、(unknown charset)になっ
>ているんだろうと思います。
>
>こういうチェック項目は外したくはないですが、嫌なら外すか、信頼できるメールア
>ドレスに追加すると言うことになりますか。

こちらは(unknown charset)の判定は「外国語メールの扱い」の「日本語と英語
以外の外国語メールを迷惑メール扱いとする」でON/OFFできます。
あるいはメールマガジンなら送信元は限定されているので、信頼できるアドレス
に登録するのもありでしょう。

それより気になったのがフォーラムのメッセージをメールで受け取る設定にして
いるんですが、SBNBさんの#11223のメールが(unknown charset)と判定されてし
まいました。
どうやら本文中の「charset=...」に引っかかってしまったようですが、本文中
の「charset=...」にはヒットしないように…するのは難しいのかもしれません
ねぇ。

RE:11225 メールを元にspam条件の表示

SBNB さん　04/11/12 18:38

追記です。
受信ログのほうはエディタで見るとcharsetはiso-2022-jpになっています。デコード
されたメールがヨーロッパになっています。と言うことはAVGか鶴亀がやっていると
言うことになりそうなのです。それで、AVGが日本語環境を知らずに勝手にやってい
るのだろうと予想しているのですけど、どうなんでしょう。鶴亀がやっていたらほか
の方もみんな気づくはずですし。

RE:11226 メールを元にspam条件の表示

秀まるお さん　04/11/12 18:42

> どうやら本文中の「charset=...」に引っかかってしまったようですが、

　すみません。それはバグです。ソースコードを今見直してバグと分かりました。

　直します。

RE:11226 メールを元にspam条件の表示

SBNB さん　04/11/12 18:46

すみません、私のせいできれいだったここから送られてくるメールがspamになって汚
れてしまってまして。

＞「怪しいtext/palinパートを含むHTMLメールを迷惑メール扱
いとする」

この怪しいと言うところをうまく調整すれば、調整具合も難しいし作者様は面倒だと
は思いますが、回避できそうです。

＞日本語と英語以外の外国語メールを迷惑メール扱いとする

これが実はごくたまに異国からの問い合わせもありまして、アラビア語なんかはない
ですが、ONにして良いやら良く分かりません。

＞信頼できるアドレスに登録するのもありでしょう。
先ほどからちょっと気になっていたのですが、送信元詐称のspamが来たら、すり抜け
ちゃいますね。ウイルスのときも結局これがネックでした。spam→ごみ箱直行と言
うのを将来的にやるとして、これなら問題ですが、spamを通常メールだと判断させて
残るから、それはそれでOKと思うしかないかもしれませんね。

RE:11227 メールを元にspam条件の表示

秀まるお さん　04/11/12 19:08

　受信ログ上でcharset=iso-2022-jpとなっているなら、AVGがヨーロッパ言語に
書き換えてることは無いはずでして、たぶんですが、鶴亀メールが書き換えてる
ことになります。そもそも、「original=XXXXX」って書き換えるのは鶴亀メール
の独特のやり方です。

　はて？、

　受信ログ上で「charset=iso-8859-2」となっているメールが、デコード後に
「charset=iso-2022-jp (original=iso-8859-2)」となるのなら、それはそれで
鶴亀メールがよくやることです。ただし、こういうメールは迷惑メールフィル
ター上では、現状、迷惑メール扱いになります。

RE:11229 メールを元にspam条件の表示

秀まるお さん　04/11/12 19:11

> 先ほどからちょっと気になっていたのですが、送信元詐称のspamが来たら、すり抜け
> ちゃいますね。

　送信元詐称であっても、見ず知らずの人を語ってるだけなら関係ないはずでし
て…。

　「信頼できる差出人」に登録した人とたまたま同じだったらたしかにすり抜け
ますが、そういうケースが多いのですかね？。だとしたら、仮に「信頼できる差
出人」だったとしても、内容をチェックして場合によっては迷惑メール扱いとし
ないといけないのかもしれませんが。

RE:11229 メールを元にspam条件の表示

アルビレオ さん　04/11/12 20:15

アルビレオです。

>＞「怪しいtext/palinパートを含むHTMLメールを迷惑メール扱
>いとする」
>
>この怪しいと言うところをうまく調整すれば、調整具合も難しいし作者様は面倒だと
>は思いますが、回避できそうです。

その調整をするには、(html plain mismatch)と判定されたメールを秀まるおさ
んに送って内容を見てもらう必要がありますね。
ただ、テキストパートの内容が「ブラウザでみてね」のようなものだったら調整
でどうにかなるレベルではないのでOFFにするしかありませんが。

>＞信頼できるアドレスに登録するのもありでしょう。
>先ほどからちょっと気になっていたのですが、送信元詐称のspamが来たら、すり抜け
>ちゃいますね。ウイルスのときも結局これがネックでした。spam→ごみ箱直行と言
>うのを将来的にやるとして、これなら問題ですが、spamを通常メールだと判断させて
>残るから、それはそれでOKと思うしかないかもしれませんね。

メルマガのアドレスは送信用専用になっている場合が多く、そのためmailto:や
アドレス帳に記載されていることはあまりないので送信元詐称される可能性は比
較的少ないです。
とりあえず信頼できるアドレスに登録しておいて、詐称メールが来たら他の対応
を考えるというのがベストではないでしょうか。

「完璧な迷惑メールフィルタ」を期待するのは無理な話なので、実際に自分のと
ころに届くメールに合わせて少しずつ調整する必要があるのはしかたないと思い
ます。

RE:11230 メールを元にspam条件の表示

SBNB さん　04/11/12 21:07

鶴亀が原因なんですか? これには驚きました。実際にAVGをやめてリモートメールで
該当のメールだけダウンロードすると無事に受信できるのです。

とにかく例を1つだけでもお送りしようと受信メール全文を送る手はずをしていて原
因を発見しました。

AVGは、メールの最後に、
＞--=======AVGMAIL-419464410E6A=======
＞Content-Type: text/plain; x-avg=cert; charset=iso-8859-2
＞Content-Transfer-Encoding: 8bit
＞Content-Disposition: inline
＞Content-Description: "AVG certification"
＞
＞- + - + - + - +
＞Checked by AVG anti-virus system (http://www.grisoft.com).
＞Version: 6.0.789 / Virus Database: 534 - Release Date: 2004/11/10
＞
＞--=======AVGMAIL-419464410E6A=======--

なんてものを付加するようです。AVGは書き換えているんじゃなくて、こうなんじゃ
ないの?って解析結果を付加しているんではなかろうかと思います。それを鶴亀のほ
うで、最後のものを有効としてしまうと言うことらしいです。この解析結果は鶴亀の
エディタでは表示されません。添付ファイルのパート以降はcharsetを無視すると言
う方法で回避できそうです。

この掲示板を受信した人みんなが誤動作してしまうかもしれないので、「＞」記号は
便宜的につけました。実際は存在しません。念のため、元のメールを直接送ってみま
す。

RE:11231 メールを元にspam条件の表示

SBNB さん　04/11/12 21:29

>　「信頼できる差出人」に登録した人とたまたま同じだったらたしかにすり抜け
>ますが、そういうケースが多いのですかね？。

考えてみると仰るとおりの気がしてきました。逆に「信頼できないメールアドレス」
で詐称を集めていくと、いつ来るかもしれない本物と連絡が取れなくなりますが、こ
れの逆で捨てられるわけではないし、あまりありえないかと思います。

まだ現実にはありませんが、そのうちに「あなたのところのお子さんが誘拐されまし
た」なんて、見ず知らずの方からメールが来る時代になるかもしれません。そのとき
にそのメールを自動で蹴ってしまうのはとんでもないので、その用心で気にしていま
したが、逆でSPAMにしないのですからOKだと思います。(こういうデマメールが来る
とまたそれで困りますし、デマであって欲しいものです）

RE:11232 メールを元にspam条件の表示

SBNB さん　04/11/12 21:42

>その調整をするには、(html plain mismatch)と判定されたメールを秀まるおさ
>んに送って内容を見てもらう必要がありますね。

そうですね。見せられないメールではないので送るのはできます。送ったほうが手っ
取り早いと思いますが、送りましょうか。＞作者様

>ただ、テキストパートの内容が「ブラウザでみてね」のようなものだったら調整
>でどうにかなるレベルではないのでOFFにするしかありませんが。

うまくロジックはできないものかと思いつつ、textが空白だったらどうなるんでしょ
う。難しいような気もしますし、OFFにするしかないかもしれないですね。本物のSPA
Mがどの程度このエラーにひかっかっているか様子を見ようと思います。

>メルマガのアドレスは送信用専用になっている場合が多く、そのためmailto:や
>アドレス帳に記載されていることはあまりないので送信元詐称される可能性は比
>較的少ないです。
>とりあえず信頼できるアドレスに登録しておいて、詐称メールが来たら他の対応
>を考えるというのがベストではないでしょうか。

ベータテストで問題点が整理されたら、とりあえずそれでやってみるのが私も良いと
思います。完璧はもちろん無理だとは思いますが、取りあえず使ってみて数日で分か
るようなものは、出来ればデフォルトにしておいたほうが良いかもしれないです。

RE:11235 メールを元にspam条件の表示

秀まるお さん　04/11/12 22:14

　メルマ！、☆チャンスマスター☆、ポイントメール

　については、僕が実際に入会して当分テストさせていただきます。

　それよりも、AVGを通ってcharset=の指定がおかしくなったと思わしきメール
を送って欲しいです。

　そのメールの受信ログをエディタで開き、「ファイル・名前を付けて保
存...」で適当なテキストファイルに保存して、それか、出来ればそれをlzh形式
に圧縮して送って欲しいです。

maruo@mitene.or.jp 宛に送って欲しいです。

RE:11236 メールを元にspam条件の表示

SBNB さん　04/11/12 22:29

> maruo@mitene.or.jp 宛に送って欲しいです。

すみません、PEHのほうのアドレスに発信済みでした。指定のほうへ再度送っておき
ました。1通だけですがほかにもいくつかありますので請求いただければ送ります。

RE:11237 メールを元にspam条件の表示

秀まるお さん　04/11/12 22:52

　わざわざ送っていただいてありがとうございます。

　今回のケースは、鶴亀メール側でのこのメールの解釈が間違っていることが根
本的な原因のようです。つまり、AVGが付加した

Content-Type: text/plain; x-avg=cert; charset=iso-8859-2
Content-Transfer-Encoding: 8bit
Content-Disposition: inline
Content-Description: "AVG certification"

　のパートを、あたかもメール本文のパートであるかのように扱ってるのがいけ
ないようです。

　ここは無視するか、せめてHTMLメールの最後にくっつける程度に扱うのが正解
のようです。

　ということで、さっそくそこを修正させていただきます。結果として、迷惑
メールフィルターの誤作動も直ると思います。

RE:11238 メールを元にspam条件の表示

秀まるお さん　04/11/12 23:37

　ついでに迷惑メールフィルターのバグも１つ見つかりました。

　<a name="...."></a>

　ってやつを、「spam (empty link)」と解釈してました。これまたバグでした。

　大変有意義なHTMLメールです。