重複受信 - 秀丸メール情報交換会議室 - スレッド36839, 2009/08/14

touche さん　09/08/14 17:35

はじめまして。
秀丸メール(Ver5.20)ですでに受信済みのメールが未読メールとして再受信されるこ
とが度々あります。過去のバージョンでも起こっていました。再受信されるメールの
数はその時によって異なり、1～千以上でばらついています。再受信が起こった直後
にもう一度受信してみると、再度同じメール群が受信されます。そのあともう一度受
信を実行しても再受信は起こりません。
その後、数分後だったり数日後だったり、数週間後だったりするのですが、同じ現象
が再発します。11個のアカウント(nifty、yahoo、gmail)で利用しているのですが、
この現象が起こるアカウントは決まっていません。
解決策がありましたらお教え下さい。よろしくお願い申し上げます。

RE:36839 重複受信

秀まるお2 さん　09/08/14 22:20

　僕が持ってるYahoo!メールのアカウントの１つに、メールボックスに7800通程
度のメールがたまってるアカウントがあるんですが、ここでは重複受信は今のと
ころ起きてないです。

　gmailでは、重複受信というか、ものすごーく過去に受信して、一度メール
サーバー上から削除したはずのメールがまた復活することがありました。どうい
う時に復活するのかその辺の仕組みはよくわかりませんけども、とにかく一度は
完全にメールボックスを空っぽにしたはずなのに、古いメールがまたメールボッ
クス上に現れるということがありました。

　@niftyに関しては、そもそもメールボックスの容量的に、ものすごく過去の
メールがメールボックスに残っているということは起きないはずだと思いますけ
ども…。

------------------------------------------------
　とりあえず、メールサーバーが原因でメールを重複受信するというケースがあ
ります。メールボックスが原因かどうか調べる作戦として、「アカウント毎の設
定・メールサーバー・トラブル対策」の「UIDL文字列をX-TuruKame-UIDL:ヘッダ
を使って保存する」というオプションをONにする作戦があります。

　ちなみにUIDLというのは、メール１つ１つにメールサーバーが割り当てるID文
字列のことでして、たとえば特定のメールに割り当てられるべきUIDL文字列が、
ある日突然変わってしまうということがあります。そうすると秀丸メールはその
メールをまた受信してしまいます。

　そうなってるかどうかは、そうやって重複受信したメールのX-TuruKame-UIDL:
ヘッダを見るとわかります。もしもまったく同じUIDLのメールをまた受信したと
したら、それは秀丸メールのバグかもしれません。もしもUIDL文字列が変わって
いたとしたら、メールサーバーのトラブルによって、UIDLが勝手に変わってしま
ったということになります。

　ということで様子見していただくということでどうでしょ？

　あと他に確認する手段として、秀丸メールのアカウント用フォルダに
「UIDL.bin」というファイルがありまして、これを見ると、どのUIDLのメールを
いつ受信したのかがずっと記録されています。ただし、たとえばサーバーにメー
ルを残す期間が１０日と指定してあったとすると、UIDL.binに保存する期間も１
０日程度になります。

RE:36841 重複受信

touche さん　09/08/14 23:41

お忙しい中、返信ありがとうございます。

>　ということで様子見していただくということでどうでしょ？

了解しました。次回再発したらUIDL.binを見てみます。
現状でX-TuruKame-UIDL:はONになっていませんが、構わないでしょうか。

RE:36842 重複受信

秀まるお2 さん　09/08/15 20:41

　X-TuruKame-UIDL:ヘッダをつける設定はONにしないとダメです。こっちの方が
大事です。

　それで、今後重複して受信したメールが発生したら、その２つのメールのX-
TuruKame-UIDL:ヘッダの内容を比較して、もしそれが違っているなら、メール
サーバー上でUIDLが壊れているってことでは無いかと思います。

　あと他の可能性としですけども、全然別々のプロバイダーにあるメールサー
バーすべてで同じ現象が起きているということでしたら、何か秀丸メールとメー
ルサーバーの間に介在する物が関係してるということもあるかもしれないです。
たとえば何かファイヤウォール系のソフトとはアンチウィルスチェック類のソフ
トとか、迷惑メールフィルターの類とか、何かが介在してるとしたら、それのせ
いということもあるかもしれません。

RE:36846 重複受信

touche さん　09/08/17 17:39

>　X-TuruKame-UIDL:ヘッダをつける設定はONにしないとダメです。こっちの方が大
>事です。
>
>　それで、今後重複して受信したメールが発生したら、その２つのメールのX-
>TuruKame-UIDL:ヘッダの内容を比較して、もしそれが違っているなら、メール
>サーバー上でUIDLが壊れているってことでは無いかと思います。

先ほど@niftyのアカウントで175件の重複受信が発生しました。直後の受信でも同じ1
75件が重複受信されました。その後の受信では、重複していません。いくつかのメー
ルで１回目と２回目のX-TuruKame-UIDL:を見てみました。共通して得られた結果は次
の通りです。

１回目　X-TuruKame-UIDL:
２回目　X-TuruKame-UIDL: 1246956191.16698.mbox304-2

このように１回目は値なしで２回目は値ありでした。

あと関係あるかわかりませんがX-UIDL:はどちらも同じ
１回目　X-UIDL: 1246956191.16698.mbox304-2
２回目　X-UIDL: 1246956191.16698.mbox304-2
でした。

該当メールを最初(2009/7/7)に読み込んだときのヘッダを調べてみたら同じく
X-UIDL: 1246956191.16698.mbox304-2
でした。

>　あと他の可能性としですけども、全然別々のプロバイダーにあるメールサー
>バーすべてで同じ現象が起きているということでしたら、何か秀丸メールとメー
>ルサーバーの間に介在する物が関係してるということもあるかもしれないです。
>たとえば何かファイヤウォール系のソフトとはアンチウィルスチェック類のソフ
>トとか、迷惑メールフィルターの類とか、何かが介在してるとしたら、それのせ
>いということもあるかもしれません。

これまで@niftyとヤフーで何度も再発しています。

@niftyとヤフーのメールはgmailでも受信しているのですが、gmailでは重複受信は起
きていません。

ソースネクストのウイルスセキュリティを使っています。

何かヒントが得られるでしょうか。

RE:36853 重複受信

秀まるお2 さん　09/08/17 18:05

> １回目　X-TuruKame-UIDL:
> ２回目　X-TuruKame-UIDL: 1246956191.16698.mbox304-2

　１回目の方でのUIDLが壊れているように思います。

　UIDLというのは、秀丸メールが「UIDL」というコマンドを送って、それの応答
としてサーバーが返す物です。

　秀丸メールでは、まず「LIST」というコマンドを送ってから、それの応答が返
ってきたら、次に「UIDL」コマンドを送ります。

　たとえばサーバーにメールが２通あると、LISTコマンドの応答は、

1 100
2 100

　のような形で「メールの番号 + メールのサイズ」のリストとなります。そし
てUIDLコマンドの応答は、

1 UIDL1
2 UIDL2

　みたいに、「メールの番号 + メールのUIDL文字列」のリストとなるはずです。
これの応答がたまにおかしい時があって、その時に限ってメールを全部ダウン
ロードしなおしてしまうのだと思います。

　具体的なUIDLコマンドの応答内容を記録することも出来ます。「全般的な設
定・上級者向け・動作の記録」の中にある

　「秀丸メールの動作をdump.txtに記録する」
　「UIDL/LISTコマンドの内容」

　の両方をONにすればいいです。

　それでdump.txtに出力される内容を、たとえばおかしい時と正常時で比較すれ
ば、何か分かるんじゃないかと思います。

　という作戦でどうでしょ？

> ソースネクストのウイルスセキュリティを使っています。

　アンチウィルスソフトを使う場合なら、「アカウント毎の設定・メールサー
バー」の中にある「メール受信の高速化」のオプションは必ずOFFでないとダメ
です。もしこれをONにされているのでしたら、OFFにすれば直ると思います。

　ということでどうでしょ？

RE:36854 重複受信

秀まるお2 さん　09/08/17 18:47

> ソースネクストのウイルスセキュリティを使っています。

　それと追加ですが、「全般的な設定・ウィルス対策」の「並行送受信をしな
い」もONにしないとダメかもしれないというか、念のためここもONにして使って
みてほしいです。

RE:36855 重複受信

touche さん　09/08/17 22:15

>> ソースネクストのウイルスセキュリティを使っています。
≪全文引用されていたのでコミュニテックス会議室システムが引用部分を省略処理し
ました。≫
>みてほしいです。

これは以前からONになっていました。

>アンチウィルスソフトを使う場合なら、「アカウント毎の設定・メールサー
>バー」の中にある「メール受信の高速化」のオプションは必ずOFFでないとダメ
>です。もしこれをONにされているのでしたら、OFFにすれば直ると思います。

これも以前からOFFでした。
新しい設定として

>　「秀丸メールの動作をdump.txtに記録する」
>　「UIDL/LISTコマンドの内容」
>
>　の両方をONにすればいいです。

これをONにしました。
これで再発を待ってみます。

RE:36856 重複受信

touche さん　09/08/18 01:11

先ほどまた@niftyのアカウントが重複受信しました。36件を二回続けて。

>>　「秀丸メールの動作をdump.txtに記録する」
>>　「UIDL/LISTコマンドの内容」

dump.txtを開いてもよく分かりませんが、どう調べたら良いのでしょうか。

RE:36857 重複受信

touche さん　09/08/18 02:15

>先ほどまた@niftyのアカウントが重複受信しました。36件を二回続けて。
≪全文引用されていたのでコミュニテックス会議室システムが引用部分を省略処理し
ました。≫
>dump.txtを開いてもよく分かりませんが、どう調べたら良いのでしょうか。

先ほどまた@niftyのアカウントで重複受信しました。一回目が214件、二回目が632件
でした。迷惑メールも重複受信しているようで、画面の下の所に表示される分数の分
母は二回目は771となっていました。

ブラウザで@niftyメールにログインしても、異常は見られません。

RE:36858 重複受信

秀まるお2 さん　09/08/18 07:35

　dump.txtの中から「S UIDL」という文字列で検索すると、UIDLコマンドに対す
る応答がどういう風になっているか分かると思います。

　たとえは僕の所にある例だと、

17:41:05.093 S UIDL
17:41:05.171 R +OK 27 messages (51699 octets)
17:41:05.171 (5299) メール一覧を取得中(51%)
17:41:05.375 (2108) SetTimerReceiveAfter
17:41:05.375 (5299) メール一覧を取得中(51%)
1 550523299
2 550523301
3 550523302
4 550523303
5 550523304

17:01:06.187 S UIDL
17:01:06.234 R +OK
17:01:06.234 (5286) メール一覧を取得中(60%)
17:01:06.250 (2108) SetTimerReceiveAfter
17:01:06.250 (5286) メール一覧を取得中(60%)
UID74495-1156892989
61 UID74496-1156892989
62 UID74497-1156892989
63 UID74498-1156892989
64 UID74499-1156892989
65 UID74500-1156892989
66 UID74501-1156892989
67 UID74502-1156892989

　とか出ています。（後者の例の一番先頭行は少しおかしいですけど）

　この辺の「番号+UIDL文字列」の羅列になるはずの所が明らかにおかしいよう
な例があれば、そこの内容を僕に教えていただきたい所ですけども…。

　よく分からなければ、dump.txt全体を僕にメールで送っていただいた方がいい
と思います。送り先は、"maruo@mitene.or.jp"です。

RE:36859 重複受信

秀まるお2 さん　09/08/18 07:43

　それと、出来ればですけど、アンチウィルスソフトのメールの送受信に介在す
る機能を一度OFFにしてしばらく試していただくと、たしかにアンチウィルスソ
フトが関係するのかどうか、白黒はっきりしていいんじゃないかと思います。

　アンチウィルスソフトの、いわゆる「メール検索」とか、あとは迷惑メール判
定機能なんかがあれば、それらをOFFにしていただくのがいいです。ハードディ
スクに対してのリアルタイム検索がONになっていれば、ウィルス除去には支障無
いです。

RE:36860 重複受信

touche さん　09/08/18 12:54

次の二つの機能を無効にしました。

・メール自動検査
・迷惑メールの監視

これで様子を見てみます。
ただ、症状がいつ出るかわからないので、これが効いたのか効いてないのか現状では
判断できないです。なにか確定できる方法があるでしょうか。

dump.txtを送らせていただきました。
よろしくお願いします。

RE:36862 重複受信

秀まるお2 さん　09/08/18 16:59

> なにか確定できる方法があるでしょうか。

　確定出来る方法は残念ながら無いというか、とりあえず一ヶ月くらい使ってみ
て問題が出ないなら、たふんアンチウィルスソフトさんが原因だったのだろうと
憶測するしか無いです。

　dump.txtについてはサイズが大きくて送るのが出来ないということで、もしも
"maruo@mitene.or.jp"の方がダメでしたら、"hideo@maruo.co.jp"の方に送って
いただくとうまく届くかもしれません。それと、分割して送っていただいた方が
いいです。

　分割して送っていただくとしたら、新規メールのウィンドウで「設定・送信用
の特別設定...」を実行し、「分割送信の指定」の枠中の「分割して送信」をON
にして、分割サイズには、一応２００キロバイト程度を指定するのが適当ではな
いかと思います。

RE:36865 重複受信

秀まるお2 さん　09/08/18 17:32

　あと、実はうちの会社でもウィルスセキュリティZEROを使ってるので、そのマ
シンで定期受信させるテストをしてみることにします。それでメールを重複受信
すれば何か分かると思いますので。

RE:36866 重複受信

touche さん　09/08/18 22:08

dump.txtのサイズが42MBもあります。
Internet Diskでは容量オーバーになってしまったので、重複受信が起きた時間の前
後だけ(たぶん)を切り取ってアップロードしました。

１回目の重複受信の送受信時刻：2009/08/18 01:55分頃
２回目の重複受信の送受信時刻：2009/08/18 01:59分頃

この２回は同じメール群を受信しているようです。
これ以外にも２回重複受信していたり、１回重複受信していたりしています。

なにかわかるでしょうか。
よろしくお願い申し上げます。

RE:36868 重複受信

秀まるお2 さん　09/08/18 22:29

　なんでそんなに巨大なサイズになるのですかね。もしかしてサーバー上に置い
てるメール数がとんでもない数なのでしょうか。それでUIDLコマンドの応答がと
んでもなく大きくて、１回受信する度にdump.txtに巨大なデータが出力されてし
まうとか。

　たとえば１万通あるとかでしたら、こちらでもそのくらいのメール数をサー
バー上に置いてテストしてみると再現するのかもしれません。

　（今のところこちらでテストしてるのはサーバー上のメール数が７８００通程
度です）

　それと、サーバー上にメールを残す日数の指定とかどうなってるのかも聞いて
ませんでしたけど、何か特定の日数を指定してるとしたら、それが再現の条件な
のかもしれません。

-----------------------------------------

　とりあえず現段階で分かることは、問題が発生した時のX-TuruKame-UIDL:ヘッ
ダの中身が、片方のメールが空っぽになっているということで、そういうケース
はメールを受信しないでエラーで止めるような処理を入れてみようかなぁと思い
ます。

　明日その辺の修正をしてみます。

　それと、ウィルスセキュリティZEROのインストールされたマシンでメールを受
信しつづけるテストを、１０分間隔の定期受信でおおよそ３時間ほど動かしてみ
ましたけど、これといった問題は発生しませんでした。

RE:36869 重複受信

touche さん　09/08/18 22:53

重複受信が煩わしくて以前@niftyとヤフーのサーバーを空っぽにしたことがあります。
で、数日して数十件程度がたまったあたりでぽつりぽつりと再発していました。

>-----------------------------------------
>
>　とりあえず現段階で分かることは、問題が発生した時のX-TuruKame-UIDL:ヘッ
>ダの中身が、片方のメールが空っぽになっているということで、そういうケース
>はメールを受信しないでエラーで止めるような処理を入れてみようかなぁと思い
>ます。

必ずしも２回セットで重複受信するわけではないようです。

たとえば、1月1日に正常受信したメールがあったとして、1月10日に同じメールが再
度一件だけ重複受信されることがあります。こういうケースでは、X-TuruKame-UIDL:
ヘッダの中身が空っぽのようです。

RE:36870 重複受信

秀まるお2 さん　09/08/19 09:36

　今ソースコードを見直してるんですが、UIDLコマンドの応答が不正かどうかチ
ェックして、不正な場合は受信をエラーで中断してしまう処理がすでに入ってい
ました。

　UIDLコマンドの応答に空行が入っていたら除去する処理と、UIDL文字列が空に
なってるものがあればエラー扱いにするようにな処理になってます。いかにも
toucheさんのような症状に対応するために作った処理のような気がします。

　V4.59β6の時点で入れているようです。

　もしかしてそれより古いバージョンをお使いでしたら、最新のV5.20か最新β
タ版をインストールしていただければ解決すると思います。

RE:36871 重複受信

秀まるお2 さん　09/08/19 09:50

　さらに調べてみたら、UIDL文字列がおかしくても処理を続行するようになって
いました。

　UIDLコマンドでの応答がおかしいですが続行します。おかしい部分の内容 =

　みたいなのが送受信のやりとり記録に出るだけで、そのまま受信してしまって
ました。

　こういうケースではメールを受信しないようにするようなオプションを追加さ
せていただきます。

RE:36872 重複受信

touche さん　09/08/19 09:56

秀丸メールは最新版が出たらなるべくすぐに更新するようにしていました。現在はVe
r5.20を使用しています。

RE:36873 重複受信

秀まるお2 さん　09/08/19 11:20

　ということでオプション追加してアップロードしました。

http://hide.maruo.co.jp/software/bin2/hmmail521b12_signed.exe

　「全般的な設定・上級者向け・デバッグ・ソケット」の中にある

　「UIDLが不正と思わしき時は受信しない」

　をONにすれば、重複受信はしなくなると思います。それで運用してみて欲しい
です。

　それで、UIDLが不正と思わしきケースが発生すると、エラーメッセージが出て
受信が中断します。もしそういう状況になったら、出来ればそのタイミングで
dump.txtの最後の方を取り出して、それを僕にメールで送っていただけると、た
しかに不正なUIDL文字列の例が僕にわかってありがたい所です。

　それも出来たらお願いします。

RE:36876 重複受信

touche さん　09/08/19 20:47

>　ということでオプション追加してアップロードしました。

これはまだ対応できていないのですが、一つ前のコメント(36873)が重複受信されま
した。今回はこのメールのみでした。

ウイルスセキュリティの設定変更前と違う点は、X-TuruKame-UIDL:がいずれも空にな
っていない点です。

送受信日付と併記します。

2009/08/19 10:13 X-TuruKame-UIDL: ABnUU3wAAJvNSotQwAB69jGD0q4
2009/08/19 10:44 X-TuruKame-UIDL: AB/UU3wAAMU2SotYSAYwyEcj69U
2009/08/19 11:14 X-TuruKame-UIDL: ACDUU3wAAVocSotc/w6FpXY/V8E

何かヒントになるでしょうか。

RE:36877 重複受信

touche さん　09/08/19 20:50

今見たらdump.txtが80MBを超えていますが、大丈夫でしょうか。

RE:36878 重複受信

秀まるお2 さん　09/08/19 21:04

　もしかしてパソコンの電気ずっと入れっぱなしで秀丸メールもずっと起動しっ
ぱなしですかね。そうすると、dump.txtのサイズはどんどん大きくなっていって
しまいます。

　秀丸メールを再起動すると、もしもそのタイミングでdump.txtが規定サイズ以
上であれば、自動的に「dump.txt --> dump.bak」となって、新たに０からdump.
txtが作成されるんですけども。

　80Mバイトもあると、後で編集するのが大変だと思うので、時々秀丸メールを
起動しなおしたらいいんじゃないかと思います。

　ちなみに「全般的な設定・上級者向け・動作の記録」の所に「記録ファイルの
サイズが大きくなった時は警告メッセージを出す」をONにしておいて、その下で
適当な制限サイズを指定するのがいいです。（デフォルトでは１メガバイトで区
切る設定になっています）

--------------------------------------------------------------
　それと、今回重複しているその３つのメールですけど、X-TuruKame-UIDL:ヘッ
ダの内容はたしかに違っている訳なので、それらのメールはたしかにサーバー上
で別々のメールとして存在していた物なのか、またはサーバー上でのUIDL文字列
の割り当てが狂ったということか、とにかく秀丸メールとしてはUIDLが違ってる
以上はダウンロードしても仕方がないという、僕的には想定内の動作が発生した
ことになります。

　dump.txtからUIDL文字列を検索すれば、もっと詳しいことが分かると思うんで
すけども、たとえばdump.txtから今回出てきた３つのUIDL文字列を検索していた
だいて、それにヒットした付近の前後１００行程度を取り出して、その取り出し
た部分だけを僕に送っていただくとかすればそれで調査可能かもしれないです。

RE:36879 重複受信

秀まるお2 さん　09/08/19 21:58

　送っていただいたdump.txtから分かったことを連絡させていただきます。

　重複しているはずの、その３つのメールは、たしかにメールサーバー上に、
３通のメールとして存在しています。

　具体的には、送っていただいたdump.txtの、たとえば42502行目の所に、

447 ABnUU3wAAJvNSotQwAB69jGD0q4
448 AB/UU3wAAMU2SotYSAYwyEcj69U
449 AB/UU3wAAN0BSotaGgqwvkvFWeI
450 AB7UU3wAAGdKSotcsQcI+E7vmKU
451 ACDUU3wAAVocSotc/w6FpXY/V8E
.

　のような記録がありますけども、つまりメールサーバー上で、447番と448番と
451番がそれぞれのメールということになります。つまり、これらのメールはた
しかにメールサーバーに３通同時に存在しているはずです。

　このUIDL文字列の直前にあるLISTコマンドの応答が分かればなおいいんですが、
送っていただいたdump.txtの中の28832行目に、

447 1257
448 1257
.

　という記録がありまして、これを見た限りだと、447番と448番のメールサイズ
がまったく同じということで、実際にまったく内容が同じメールが２通サーバー
上に発生しているということではないかと思います。

　Received:ヘッダの内容も含めてメールを比較すると、もしかしたら少し違う
部分があるかもしれません。その辺も一回見てみてほしいです。

　どっちにしても、少なくともこの件についてはメールサーバー上でたしかに複
数のメールとして発生しているということで、秀丸メール的には正常に動作して
いるはずだと思います。

　メールサーバー的に問題なのかどうかはちょっと断定出来ませんけども。もし
もReceived:ヘッダも含めてまったく同一のメールだということでしたら、メー
ルサーバー側の問題か、または何かメールアカウント関係の設定とかが関係して
るということがあるかもしれません。たとえばWebメールを使ってメールを別フ
ォルダにコピーしたりとか、そういう操作によってメールサーバーにまったく同
一のメールが複数発生したということがあるのかもしれません。

RE:36880 重複受信

touche さん　09/08/19 22:23

パソコンの電源は入れっぱなしで、秀丸メールも起動しっぱなしでした。

「記録ファイルのサイズが大きくなった時は警告メッセージを出す」はONになってい
て、10メガバイトに設定されていました。先ほど1メガバイトに設定しました。

Webメールを見てみたら、同じメールが三つ入っていました。Webメールは普段使って
いませんので、秀丸メールサポート会議室からの投稿で操作ミスがあったでしょうか。
とりあえず、問題となっていた重複メールとは違う現象ですね。お騒がせしました。

というわけで、ウイルスセキュリティの設定変更の様子見に戻りました。

RE:36881 重複受信

秀まるお2 さん　09/08/20 17:40

　先ほどV5.21β13をアップロードしたんですが、これでまた少し改良してしま
いました。

　秀丸メールでは、ダウンロード済みメールのUIDL文字列を、アカウント用フォ
ルダ配下のUIDL.binというファイルで覚えておくようにしてるんですが、もしも
何からの理由でこのファイルへのアクセスに失敗しても、特にエラーメッセージ
を出すことなく、サーバー上のメールをすべて受信しなおしてしまう動作になっ
ていました。

　こういうケース（UIDL.binの読み込みに失敗したケース）では、ちゃんとエ
ラーメッセージを出すようにしました。

　また適当なタイミングで入れ替えお願いします。

http://hide.maruo.co.jp/software/bin2/hmmail521b13_signed.exe