IMAPシステムでメールの増殖 - 秀丸メール情報交換会議室 - スレッド12416, 2024/03/06

IMAPシステムでメールの増殖

ポン太 さん　24/03/06 11:38

秀まるお2さん、こんにちは。ポン太です。
どういう情報をお出しすれば良いのかわからないのですが。

会社でCybermailというIMAP4サーバーにもなるメールシステムをオンプレで導入しま
した。
現在秀丸メールでIMAP4サーバーとして、色々同期するモードで運用しています。
で、今現在困っていることが一つあって、送信済みメールが増殖するという現象です。

具体的には普通にメールを送信すると、IMAP4サーバー側の送信BOXというところに保
存されます（サーバー側が勝手にやっているんだと思います）。送信後受信操作をす
ると送信BOXフォルダに未読のメールが一通出来上がります。それを秀丸メールで
「受信」のところに移動させてやります。その後受信しても特に変化はありません。
ここまでは期待どおりなのですが、その後受信操作のときに何故か受信フォルダに入
れた送信済みメールが再度受信されます。場合によっては元も含めると3,4通になる
こともあります。再度受信されるのは一部のメールです。
この原因が設定も含めた秀丸メール側の問題か、Cybermail側の問題かがわかりません。

とりあえず秀丸メール側の問題かどうかを調べられたらと思います。一応smtp_pop3.
txtは取るようにしているので、あとはどういう情報をお出しすれば調べてきただけ
ますか？

よろしくお願いします。

2024/03/06(水) 11:23　ポン太

RE:12416 IMAPシステムでメールの増殖

ポン太 さん　24/03/06 12:00

すみません、そういえば頻度は落ちるような気がするのですが、普通に削除して削除
を同期させた後に、受信すると削除したものを再度受信することがあります。
したがって送信済みメールに関してのみという現象ではありません。

私の同期の設定がおかしいのでしょうか？

IMAP4的にフォルダやメールを同期させるモードで、即座に同期とフォルダの削除は
しないのチェックだけ入ってません。

2024/03/06(水) 11:46　ポン太

RE:12417 IMAPシステムでメールの増殖

陸さん　24/03/06 12:33

　こんにちは、　陸です。

　横からすみません。

　以前、私も同じような現象に遭遇してこちらに報告後、V7.25あたりで修正してい
ただきました。
　その後しばらくは大丈夫だったんですが、同じような現象が最近ときどき発生して
います。
　一応そのときのダンプは残してありますが。
　何も参考にならない投稿ですみません。

　それでは。

RE:12418 IMAPシステムでメールの増殖

秀まるお2 さん　24/03/06 13:52

　秀丸メールのIMAP4は「POP3風モード」と「同期モード」の２種類があるのですが、
どっちなのかが１つ問題です。

　IMAP4の場合もPOP3の場合も、メールサーバーがメールにIDを割り振ります。「UI
D」って言います。これが変化すると秀丸メールは違うメールと認識するので、再度
受信してしまうことはありえます。

　UIDは、IMAP4のアカウントだと、X-TuruKame-UIDL:ってヘッダで確認できます。と
りあえずそれが一致してるかどうか見てみてほしいです。

　UIDが特定できたら、それを送受信のやりとり記録から探していつダウンロードし
てるかも確認できるかなぁと思います。

　その辺どうでしょうか。

　UIDが変化しても、IMAP4の同期モードの場合なら、変化した後のメールを受信しつ
つ、変化前のメールは秀丸メール上から削除されるような動作になって、結果的に１
つだけ見えるようになると思います。POP3風モードだと増殖したように見えてしまい
ます。

RE:12419 IMAPシステムでメールの増殖

ポン太 さん　24/03/06 15:26

秀まるお2 さん、こんにちは。ポン太です。

「同期モード」の方です。
それから増殖したメールと元のメールではX-TuruKame-UIDLは変わっています。
結果的に1つだけ見えているわけではありません。増殖しています。

送受信のやり取りは後で見てみます。

2024/03/06(水) 15:19　ポン太

>　秀丸メールのIMAP4は「POP3風モード」と「同期モード」の２種類があるのですが、
>どっちなのかが１つ問題です。
>
>　IMAP4の場合もPOP3の場合も、メールサーバーがメールにIDを割り振ります。
>「UID」って言います。これが変化すると秀丸メールは違うメールと認識するので、再
>度受信してしまうことはありえます。
>
>　UIDは、IMAP4のアカウントだと、X-TuruKame-UIDL:ってヘッダで確認できます。と
>りあえずそれが一致してるかどうか見てみてほしいです。
>
>　UIDが特定できたら、それを送受信のやりとり記録から探していつダウンロードして
>るかも確認できるかなぁと思います。
>
>　その辺どうでしょうか。
>
>　UIDが変化しても、IMAP4の同期モードの場合なら、変化した後のメールを受信しつ
>つ、変化前のメールは秀丸メール上から削除されるような動作になって、結果的に１
>つだけ見えるようになると思います。POP3風モードだと増殖したように見えてしまい
>ます。

RE:12420 IMAPシステムでメールの増殖

秀まるお2 さん　24/03/06 15:43

　サーバー上実際にメールが増殖してるのなら、メールサーバー側に何か問題がある
か、または秀丸メールが何らかの理由でアップロードしてるかどっちかになるかなぁ
と思います。

　サーバー上のメール一覧は、秀丸メールから

FETCH 1:* (UID)

　みたいなコマンドの応答を見ると分かりまして、それは、「全般的な設定・上級者
向け・動作の記録」の中の、

□ 秀丸メールの動作をdump.txtに記録する
□ UIDL/LISTコマンドの内容

　の両方をONにすると分かります。例えば僕の所だと、例えばINBOXのメール一覧の
取得は、

S C5 FETCH 1:* (UID)

　のコマンドの後に

* 1 FETCH (UID 26169)
* 2 FETCH (UID 26173)
* 3 FETCH (UID 26174)
* 4 FETCH (UID 26175)
* 5 FETCH (UID 26176)
* 6 FETCH (UID 26177)
* 7 FETCH (UID 26178)
C5 OK Success

　みたいな記録があって、７通のメールがあって、それぞれのUIDも上記の「26169」
等であることが分かります。これらと実際のメールのX-TuruKame-UIDL:ヘッダの中身
と比較して矛盾が無ければ、秀丸メール的には正しい動作をしてるはずになります。

　INBOX以外のフォルダのメールだと、X-TuruKame-UIDL:ヘッダがちょっと特殊で、
フォルダ名とUIDの間にEscape制御文字を入れて保存してます。

　かなり手間がかかってしまいますが、１回調べてみてほしいです。

　メールが増殖、特に送信済みメールが増殖するとしたら、「アカウント毎の設定・
メールサーバー・POP3/IMAP4・送信済みメール」の所でアップロードの指示をしてる
可能性と、他には振り分けでコピーさせてる可能性とかがありえるかなぁと思います。

RE:12420 IMAPシステムでメールの増殖

ポン太 さん　24/03/06 16:02

秀まるお2 さん、こんにちは。ポン太です。

当該メールのログをエクスポートしたものだとX-TuruKame-UIDLは変わっていません
が、メールをエクスポートしたものだとX-TuruKame-UIDLは変わっています。
ログと合わせてメールでお送りしました。

ログは私が見てもよくわかりませんでした。

2024/03/06(水) 16:00　ポン太

>秀まるお2 さん、こんにちは。ポン太です。
>
>「同期モード」の方です。
>それから増殖したメールと元のメールではX-TuruKame-UIDLは変わっています。
>結果的に1つだけ見えているわけではありません。増殖しています。
>
>送受信のやり取りは後で見てみます。
>
>2024/03/06(水) 15:19　ポン太
>
>>　秀丸メールのIMAP4は「POP3風モード」と「同期モード」の２種類があるのですが、
>>どっちなのかが１つ問題です。
>>
>>　IMAP4の場合もPOP3の場合も、メールサーバーがメールにIDを割り振ります。
>>「UID」って言います。これが変化すると秀丸メールは違うメールと認識するので、
>>再
>>度受信してしまうことはありえます。
>>
>>　UIDは、IMAP4のアカウントだと、X-TuruKame-UIDL:ってヘッダで確認できます。と
>>りあえずそれが一致してるかどうか見てみてほしいです。
>>
>>　UIDが特定できたら、それを送受信のやりとり記録から探していつダウンロードし
>>て
>>るかも確認できるかなぁと思います。
>>
>>　その辺どうでしょうか。
>>
>>　UIDが変化しても、IMAP4の同期モードの場合なら、変化した後のメールを受信しつ
>>つ、変化前のメールは秀丸メール上から削除されるような動作になって、結果的に１
>>つだけ見えるようになると思います。POP3風モードだと増殖したように見えてしまい
>>ます。

RE:12422 IMAPシステムでメールの増殖

ポン太 さん　24/03/06 16:05

秀まるお2 さん、こんにちは。ポン太です。

「□ UIDL/LISTコマンドの内容」のチェックはオンになっていませんでしたので、オ
ンにしてまた増殖するのを待ってから見てみます。

2024/03/06(水) 16:04　ポン太

>　サーバー上実際にメールが増殖してるのなら、メールサーバー側に何か問題がある
>か、または秀丸メールが何らかの理由でアップロードしてるかどっちかになるかなぁ
>と思います。
>
>　サーバー上のメール一覧は、秀丸メールから
>
> FETCH 1:* (UID)
>
>　みたいなコマンドの応答を見ると分かりまして、それは、「全般的な設定・上級者
>向け・動作の記録」の中の、
>
> □ 秀丸メールの動作をdump.txtに記録する
> □ UIDL/LISTコマンドの内容
>
>　の両方をONにすると分かります。例えば僕の所だと、例えばINBOXのメール一覧の取
>得は、
>
> S C5 FETCH 1:* (UID)
>
>　のコマンドの後に
>
>* 1 FETCH (UID 26169)
>* 2 FETCH (UID 26173)
>* 3 FETCH (UID 26174)
>* 4 FETCH (UID 26175)
>* 5 FETCH (UID 26176)
>* 6 FETCH (UID 26177)
>* 7 FETCH (UID 26178)
>C5 OK Success
>
>　みたいな記録があって、７通のメールがあって、それぞれのUIDも上記の「26169」
>等であることが分かります。これらと実際のメールのX-TuruKame-UIDL:ヘッダの中身
>と比較して矛盾が無ければ、秀丸メール的には正しい動作をしてるはずになります。
>
>　INBOX以外のフォルダのメールだと、X-TuruKame-UIDL:ヘッダがちょっと特殊で、フ
>ォルダ名とUIDの間にEscape制御文字を入れて保存してます。
>
>　かなり手間がかかってしまいますが、１回調べてみてほしいです。
>
>　メールが増殖、特に送信済みメールが増殖するとしたら、「アカウント毎の設定・
>メールサーバー・POP3/IMAP4・送信済みメール」の所でアップロードの指示をしてる
>可能性と、他には振り分けでコピーさせてる可能性とかがありえるかなぁと思います。

RE:12424 IMAPシステムでメールの増殖

秀まるお2 さん　24/03/07 09:03

　送っていただいたemlファイルおよびsmtp_pop3.txtの内容から起きてる現象を想像
してお返事させていただきます。

■１．受信フォルダの重複メールについて

Export000000.eml ログのエクスポートしたもの、元メール
Export000001.eml ログのエクスポートしたもの、増殖メール

　この２つのメールはX-TuruKame-UIDL:ヘッダの内容がまったく同じになってしまっ
てて、つまり、秀丸メールが何らかの理由で同じメールを２通に増殖させたんだと思
います。なぜそうなってしまったのかは分からずですが、そうなる可能性については
これから調べてみて、問題になりそうな処理を見つけたら何か対策を入れようと思い
ます。

　とりあえず、この２通のメールを１通に戻すとしたら、ちょっと面倒な操作が必要
です。

　１．２通のうちの１通を削除する。
　２．もしも直後に同期しようとしたら、Pauseキーを連打して中断させる。
　３．「アカウント毎の設定・メールサーバー・POP3/IMAP4」の中の「同期予定の確
認...」
　　　を押すと、削除の同期についての予定が出てくるので、そこで「すべての予定
の取り消し」
　　　を押して取り消す。
　４．普通に受信してメールが１通だけ残ることを確認する。

　です。

■２．ゴミ箱フォルダの重複メールについて

Export000002.eml メールをエクスポートしたもの、元メール
Export000003.eml メールをエクスポートしたもの、増殖メール

　こちらについてはX-TuruKame-UIDL:ヘッダの内容が一致してないので、サーバー上
にたしかに同じメールが２通存在してるというか、サーバー上で増殖したんだと思い
ます。これは、もしかしたら「１」のような形で増殖したメールをゴミ箱に移動して
発生したんじゃないかという気がします。

　とりあえずは「１」の方が問題だと思うので、こっちは今のところは考えないこと
にさせていただきます。

　あと、送っていただいた添付ファイルは完全に削除させていただきます。

　「１」の問題が起きないような対策が出来たらまたβ版アップロードしたいと思い
ます。

RE:12425 IMAPシステムでメールの増殖

ポン太 さん　24/03/07 09:37

秀まるお2 さん、こんにちは。ポン太です。

今回の問題についてはそこまで困っているわけではないので、増殖したメールについ
てはそのままにしておくつもりです。
もし秀丸メール側の問題で修正が可能であれば修正していただけると嬉しいというレ
ベルです。
したがって私に限れば増殖したメールについて1通に戻すということについては、考
慮していただかなくて結構です。
また「□ UIDL/LISTコマンドの内容」のチェックをオンにしたので、次に増殖した場
合はログをお送りできると思います。

よろしくお願いします。

2024/03/07(木) 09:33　ポン太

>　送っていただいたemlファイルおよびsmtp_pop3.txtの内容から起きてる現象を想像
>してお返事させていただきます。
>
>■１．受信フォルダの重複メールについて
>
>Export000000.eml ログのエクスポートしたもの、元メール
>Export000001.eml ログのエクスポートしたもの、増殖メール
>
>　この２つのメールはX-TuruKame-UIDL:ヘッダの内容がまったく同じになってしまっ
>てて、つまり、秀丸メールが何らかの理由で同じメールを２通に増殖させたんだと思
>います。なぜそうなってしまったのかは分からずですが、そうなる可能性については
>これから調べてみて、問題になりそうな処理を見つけたら何か対策を入れようと思い
>ます。
>
>　とりあえず、この２通のメールを１通に戻すとしたら、ちょっと面倒な操作が必要
>です。
>
>　１．２通のうちの１通を削除する。
>　２．もしも直後に同期しようとしたら、Pauseキーを連打して中断させる。
>　３．「アカウント毎の設定・メールサーバー・POP3/IMAP4」の中の「同期予定の確
>認...」
>　　　を押すと、削除の同期についての予定が出てくるので、そこで「すべての予定
>の取り消し」
>　　　を押して取り消す。
>　４．普通に受信してメールが１通だけ残ることを確認する。
>
>　です。
>
>■２．ゴミ箱フォルダの重複メールについて
>
>Export000002.eml メールをエクスポートしたもの、元メール
>Export000003.eml メールをエクスポートしたもの、増殖メール
>
>　こちらについてはX-TuruKame-UIDL:ヘッダの内容が一致してないので、サーバー上
>にたしかに同じメールが２通存在してるというか、サーバー上で増殖したんだと思い
>ます。これは、もしかしたら「１」のような形で増殖したメールをゴミ箱に移動して
>発生したんじゃないかという気がします。
>
>　とりあえずは「１」の方が問題だと思うので、こっちは今のところは考えないこと
>にさせていただきます。
>
>　あと、送っていただいた添付ファイルは完全に削除させていただきます。
>
>　「１」の問題が起きないような対策が出来たらまたβ版アップロードしたいと思い
>ます。

RE:12426 IMAPシステムでメールの増殖

秀まるお2 さん　24/03/07 11:55

　dump.txtも送っていただいて、１つバグを見つけてしまいました。IMAP4サーバー
上のメールを削除する時のコマンドの番号の更新がされてないことが分かりました。

　IMAP4でクライアント側が送るコマンドは、先頭に識別用の文字列（または番号）
を付けないといけなくて、それが重なったらダメでした。秀丸メールは

C1 ...
C2 ...
C3 ...

　みたいにしてるつもりが、削除のための「UID STORE ....」コマンド時に番号が更
新されず、例えば

C29 SELECT "folder"
C29 UID STORE 1 +FLAGS (\Deleted)

　みたいに同じ番号でコマンド発行してしまってました。普通のサーバーはこれでも
うまく動いててくれたんだと思いますが、サーバーによってはうまく解釈してくれな
いんだと思います。それでメールがサーバー上から削除されず、また受信して増殖し
てたんだと思います。

　修正してまたβ版アップロードさせていただきます。

RE:12427 IMAPシステムでメールの増殖

秀まるお2 さん　24/03/07 14:46

　バグは見つけたんですが、見つけたバグが原因で今回の問題が起きてる訳では無い
ようでした。メールを削除した場合は今回のバグが関係するんですが、ポン太さんか
ら送っていたたいたログの中にはメールの削除の記録は無くて、代わりにゴミ箱への
移動があって、そっちについては今回見つけたバグは関係しませんでした。

　もっと調べます。

RE:12429 IMAPシステムでメールの増殖

秀まるお2 さん　24/03/07 18:43

　何度もすみません。１つまた別のバグが分かりました。メールを移動した後にEXPU
NGEコマンドを送り忘れる例があり、今回送っていただいたdump.txtにまさにその記
録がありました。

　例えばＡフォルダとＢフォルダがあって、Ａフォルダのメールをゴミ箱に移動して、
さらにＢフォルダのメールをゴミ箱に移動して、その後受信コマンドを実行すると、

　１．SELECTコマンドでＡフォルダを選択。
　２．Ａフォルダの移動対象メールをゴミ箱に移動。（移動といっても実際にはコ
ピーしてから削除）
　３．EXPUNGEコマンドを発行。
　４．SELECTコマンドでＢフォルダを選択。
　５．Ｂフォルダの移動対象メールをゴミ箱に移動。
　６．EXPUNGEコマンドを発行。

　としないといけないはずが、「３」のEXPUNGEコマンドが発行されず、結果として
Ａフォルダのメールが「移動」じゃなくて「コピー」になってしまってるように思い
ます。

　Gmailの場合だと、「３」のコマンドが無くてもちゃんと移動してくれるようです
が、IMAPの規約の中のEXPUNGEコマンドの説明を読んだら、SELECTの前に発行しない
とダメみたいに書いてあります。

　ってことで、たぶんこれが原因だと思います。

　テストしていただくとしたら、上記のように２つのフォルダのメールをゴミ箱に移
動して、その後「受信」コマンドを実行して、さらにもう１回受信してＡフォルダ側
のメールが復活するかどうかで分かると思います。もし良かったらテストしてみてほ
しいです。

RE:12431 IMAPシステムでメールの増殖

ポン太 さん　24/03/08 08:49

秀まるお2 さん、こんにちは。ポン太です。

おっしゃられたようなテストをしてみたら、たしかにＡフォルダのメールが復活しま
した。

ただ私の環境にいくつかのフォルダはあるのですが、基本受信（INBOX）で運用して、
送信済みは送信BOX、削除したものはゴミ箱というくらいしかフォルダを使ってない
んですよね。
一番最近直メールさせていただいたメールも、同じタイミングで別のフォルダからも
削除した記憶がありません。
送信済みを受信フォルダに移動することがあるので、もしかしたらその操作が別フォ
ルダからの削除に該当しているのかもしれませんが。

2024/03/08(金) 08:43　ポン太

>　何度もすみません。１つまた別のバグが分かりました。メールを移動した後に
>EXPUNGEコマンドを送り忘れる例があり、今回送っていただいたdump.txtにまさにその
>記録がありました。
>
>　例えばＡフォルダとＢフォルダがあって、Ａフォルダのメールをゴミ箱に移動して、
>さらにＢフォルダのメールをゴミ箱に移動して、その後受信コマンドを実行すると、
>
>　１．SELECTコマンドでＡフォルダを選択。
>　２．Ａフォルダの移動対象メールをゴミ箱に移動。（移動といっても実際にはコ
>ピーしてから削除）
>　３．EXPUNGEコマンドを発行。
>　４．SELECTコマンドでＢフォルダを選択。
>　５．Ｂフォルダの移動対象メールをゴミ箱に移動。
>　６．EXPUNGEコマンドを発行。
>
>　としないといけないはずが、「３」のEXPUNGEコマンドが発行されず、結果としてＡ
>フォルダのメールが「移動」じゃなくて「コピー」になってしまってるように思いま
>す。
>
>　Gmailの場合だと、「３」のコマンドが無くてもちゃんと移動してくれるようです
>が、
>IMAPの規約の中のEXPUNGEコマンドの説明を読んだら、SELECTの前に発行しないとダメ
>みたいに書いてあります。
>
>　ってことで、たぶんこれが原因だと思います。
>
>　テストしていただくとしたら、上記のように２つのフォルダのメールをゴミ箱に移
>動して、その後「受信」コマンドを実行して、さらにもう１回受信してＡフォルダ側
>のメールが復活するかどうかで分かると思います。もし良かったらテストしてみてほ
>しいです。

RE:12432 IMAPシステムでメールの増殖

秀まるお2 さん　24/03/08 09:17

　確認ありがとうございます。この問題のバグ修正をしたβ版をアップロードしたい
所ですが、とりあえずは「アカウント毎の設定・メールサーバー・POP3/IMAP4」の
「即座に同期」をONしていただくと、それでも回避できるので、とりあえずはそれを
ONにしていただくのがお勧めです。

　受信フォルダに同じメール（X-TuruKame-UIDL:ヘッダも同一のメール）が２通発生
してるのはまた別かもしれないので、それについても何か対策を考えて、それからβ
版アップロードさせていただこうと思います。