2度受信してしまう - 秀丸メール・バグ関係 - スレッド04349, 2001/03/07

2度受信してしまう

こにさん　01/03/07 21:37

こにです。

V.83になってから、何度か同じメールを再度受信してしまうことが起こります。
再現方法などもさっぱりわかりません。見たことあるメールだと思ったら、実は
同じメールがあるのです。

ところで、重複メールのチェックのサイズとはどこまで細かく見ているのでしょ
うか？数バイトでも違えば別サイズとなるのでしょうか。
表記上同じサイズ（3.1kb）でも、ファイルサイズが違うとなっていたので、も
しかしたらバグじゃないかと思った次第です。

以上よろしくお願いします。

RE:04349 2度受信してしまう

"y.iida" さん　01/03/07 21:47

（サイズの問題は別にして）
この問題は、ボクのML時からある種の環境で起きているので
斉藤さんが出される正規版では、起きて欲しくないです(^^;;;

> V.83になってから、何度か同じメールを再度受信してしまうことが起こります。
> 再現方法などもさっぱりわかりません。見たことあるメールだと思ったら、実は
> 同じメールがあるのです。

一度、鶴亀で受信したメールと同じメールを受信するというのは
Serverに残してあるからですよね？

とすると、メールサーバーのオプション設定と
同一メールのヘッダー全部の差異を
出していただけると、解決のヒントになると思いますので、
お手数ですが、その辺をお知らせ頂きたい次第です。

RE:04351 2度受信してしまう

こにさん　01/03/07 22:08

こにです。

-------- Original Message --------
From: y.iida<xxxxxxxxxx@maruo.co.jp>
To: xxxxxxxxxxxxxx@maruo.co.jp
Data: Wed, 07 Mar 2001 21:47:39 +0900
Subject: turukame.1:04351| RE 04349 2度受信してしまう

> とすると、メールサーバーのオプション設定と
> 同一メールのヘッダー全部の差異を
> 出していただけると、解決のヒントになると思いますので、
> お手数ですが、その辺をお知らせ頂きたい次第です。

了解しました。
今までのものはすべて消してしまったので、再度起こったときにお送りします。

RE:04353 2度受信してしまう

こにさん　01/03/07 22:56

こにです。

> 今までのものはすべて消してしまったので、再度起こったときにお送りします。

と思ったんですけれど、ヘッダーであればリモートメールで見れる事を忘れてい
ました。

で、調べてみた結果、

Received: (qmail 27095 invoked from network); 7 Mar 2001 17:45:58 +0900
^^^^^ ^^^^^^^^
↑ここと ↑ここ
が違いました。あとはまったく同じです。
あまり仕組みがよくわかっていないのですが、『Received』って確かメールの中
継記録ですよね。だとしたら、サーバー側でコピーされているって言うことなの
でしょうか？
ぜんぜん見当違いのことを言っていたらすいません。

サイズが違うことがあるというのはバグではありませんでした。
上記の変わってしまう部分が、メールによって数字の桁数が違うのです。
そのため、サイズが1バイト変わってしまいます。
実際、リモートメールで見た『Turukame-Size:』もその桁数分だけ1バイト前後
していました。

RE:04354 2度受信してしまう

秀まるお さん　01/03/08 08:51

　アカウント毎の設定のメールサーバー・高度な設定の

　 UIDL文字列をX-TuruKame-UIDL:ヘッダを使って保存する

　オプションをONにして使って欲しいです。

　同じ内容のメールが出てきたときには、その２つのメールのX-TuruKame-UIDL:ヘッ
ダの内容を比較して、もしまったく同じUIDLなら鶴亀メール側のバグ、違っているな
らたしかに別のメールということになります。

> Received: (qmail 27095 invoked from network); 7 Mar 2001 17:45:58 +0900
> ^^^^^ ^^^^^^^^
> ↑ここと ↑ここ
> が違いました。あとはまったく同じです。

　そこが違うならたしかに別のメールなんだと思います。別のメールと言うよりは、
１つのメールが何らかの理由（伝達経路側のトラブル？）で２通に増殖したんだと思
います。

　たしか、１つのメールを別経路で複数回受信することがよくあるという話を誰か
（きいろいまふらあさんだったっけか？）がしてたような気がします。

RE:04359 2度受信してしまう

きいろいまふらあ さん　01/03/08 09:57

> 　たしか、１つのメールを別経路で複数回受信することがよくあるという話を誰か
> （きいろいまふらあさんだったっけか？）がしてたような気がします。

これは、送信者が、宛先に、わたし個人と、私が入っているＭＬを
両方指定しているような場合の話です、念のため。

なので、ヘッダはおろか本文も（広告が入ったりもしますんで）かなり
違う様相を呈していることが多いです。
もはや「別のメール」って感じです。(^^;

RE:04359 2度受信してしまう

こにさん　01/03/08 10:17

こにです。

> 　 UIDL文字列をX-TuruKame-UIDL:ヘッダを使って保存する

ただいまそのようにしました。
今度こそ、もう一度起こるのを待っています。

今日の朝起きたら、大量増殖していました。（笑）
3・4通増えていました。
『Received:』ヘッダーについて教えてほしいのですが、このヘッダーは経由す
るごとに上から追加されるのでしょうか？下から追加されるのでしょうか？

どちらにしても、このヘッダーが違っているのは『Received:』の一番上です。
んでもって、同時に2通同じ物を受信するのではなく、あとから（数時間後ぐら
い？）まるで増殖するように増えるのです。

となると、サーバーでコピーされてしまっているのでしょうか？？？

とにかく上のオプションでしばらく様子を見てみることにします。

RE:04359 2度受信してしまう

"y.iida" さん　01/03/08 10:19

>　そこが違うならたしかに別のメールなんだと思います。
> 別のメールと言うよりは、１つのメールが何らかの理由
> （伝達経路側のトラブル？）で２通に増殖したんだと思います。

リモートメールで同一メールなのに２つ見えるという事は、
中身は同じでも別メールでまさにコレだと思います。

#一つ前のサーバーがダウンしたか何かの都合で
#管理者が届かないのはサービスとしてマズイという事で
#ダウン直前の怪しい部分を含めて再処理した結果だと思います。
#（たぶんHDクラッシュ的なトラブルで
# POPログから時間で処理せざるおえないような状況？）

RE:04364 2度受信してしまう

"y.iida" さん　01/03/08 10:22

>『Received:』ヘッダーについて教えてほしいのですが、
>このヘッダーは経由するごとに上から追加されるのでしょうか？
>下から追加されるのでしょうか？

経由するたびに、先頭に追加して行くはずです。
（一番上が自分から見た直前のサーバー）

だから、その一個前のサーバーが怪しいです。

RE:04365 2度受信してしまう

こにさん　01/03/08 12:34

こにです。

> #一つ前のサーバーがダウンしたか何かの都合で
> #管理者が届かないのはサービスとしてマズイという事で
> #ダウン直前の怪しい部分を含めて再処理した結果だと思います。
> #（たぶんHDクラッシュ的なトラブルで
> # POPログから時間で処理せざるおえないような状況？）

だとしたら、遅延が生じることはないでしょうか？
同じメールを受信してしまうのは、V.83になってから頻繁に起こって（最近にな
って増えた）いますが、その間に遅延が起こったこともなく、正常にメールはや
り取りできています。

ますます謎になっていくような気が……。

RE:04374 2度受信してしまう

"y.iida" さん　01/03/08 13:33

>だとしたら、遅延が生じることはないでしょうか？

２通目は、先頭のReceivedとその次のReceivedに
数時間ものズレがあるんですよね？＝遅延している

経由地点では、受け取って送り出しているわけですから
その２行目にあるサーバーの配信トラブルだと思うんですけど。

>ますます謎になっていくような気が……。

さすがの鶴亀でもサーバー側を操作して２通にすると
いう事はできないので、リモートメールで２つになっているという事は
サーバー上に２つあるという事で、仮に別のメーラーで受けても
２重受信すると思いますけど・・う～ん、謎です。

RE:04375 2度受信してしまう

Kengo さん　01/03/08 13:39

> さすがの鶴亀でもサーバー側を操作して２通にすると
> いう事はできないので、リモートメールで２つになっているという事は
> サーバー上に２つあるという事で、仮に別のメーラーで受けても
> ２重受信すると思いますけど・・う～ん、謎です。

いや、「Message-IDも同じ」ということなので、
Message-IDを見て重複チェックしているメーラーなら、
「重複だ」と判断することはできると思います。

＃「UIDLコマンドを使わない」にしたら、Message-IDを
＃見るのだろうか？

RE:04375 2度受信してしまう

こにさん　01/03/08 13:42

こにです。

> ２通目は、先頭のReceivedとその次のReceivedに
> 数時間ものズレがあるんですよね？＝遅延している

僕の行っていた遅延とは、増殖するメールじゃなくてすべてのメールに対しての
ことです。
増殖したメールは、確かに遅延しているように見えます。これが、

1.遅延している
2.増殖した時点で遅延なしで受信している

のか判断はできません。
増殖増殖といっていますが、第一増殖することってあるのでしょうか？？？

> う～ん、謎です。

(?_?)

RE:04375 2度受信してしまう

"y.iida" さん　01/03/08 14:01

>その２行目にあるサーバーの配信トラブルだと思うんですけど。

忘れてましたけど、もう一つ、考えられる要因がありました。

受け側（先頭のReceived:）が「受け取ったよん」というのを
ちゃんと返さないという理由で、送り側が数時間毎に
リトライする（確か３回？）という現象を聞いたことがあります
（ZMailer の古いバージョンだったかなぁ？）

RE:04376 2度受信してしまう

きいろいまふらあ さん　01/03/08 19:13

> ＃「UIDLコマンドを使わない」にしたら、Message-IDを
> ＃見るのだろうか？

それはないです。あったら困ります。
ほんとに二重に届くべくしてそうなっているメールが受信できないです。

RE:04382 2度受信してしまう

Kengo さん　01/03/08 19:39

> > ＃「UIDLコマンドを使わない」にしたら、Message-IDを
> > ＃見るのだろうか？
>
> それはないです。あったら困ります。

「ないです」ってのは、「鶴亀メールの実装がそうなっていない」
という意味ですか？
だったら私は確認してないので知りません。

> ほんとに二重に届くべくしてそうなっているメールが受信できないです。

Message-IDはユニークである*べき*なので、まったく別のメール
なのに「重複している」方が「あったら困」ると思うんですが。

ただ実際には重複するケースもありますけどね。
だからそれを心配するのは分かるんですが、「できないです」と
断言するのは、鶴亀メールの実装がそうなっていて、実際に
そういう挙動を示す(Message-IDが重複していると、とにかく
受信できない)からですか？

＃よくわからん。

RE:04384 2度受信してしまう

きいろいまふらあ さん　01/03/08 20:59

きいろいまふらあ＠いろいろ反省中です。

> > > ＃「UIDLコマンドを使わない」にしたら、Message-IDを
> > > ＃見るのだろうか？
> >
> > それはないです。あったら困ります。
>
> 「ないです」ってのは、「鶴亀メールの実装がそうなっていない」
> という意味ですか？

と思い込んでいました。

> だったら私は確認してないので知りません。

私も確認したわけじゃなかったです。ごめんなさい。
直感的に「二重に届くべくしてそうなっているメールが受信できない」ような
仕様になってるわけない、と即断してしまいました。

> Message-IDはユニークである*べき*なので、まったく別のメール
> なのに「重複している」方が「あったら困」ると思うんですが。

これは、送信時点でユニークであるべき、なだけだと思ってます。

> To: xxxx@hoge.com, xxxxxxx@moge.ne.jp

なんてメールが送信されたとして、
前者が個人のアドレスで、後者がどこかのメーリングリストのアドレスで、
後者のメーリングリストに、前者のアドレスが登録されているような場合、
前者のアドレスには（メーリングリストのサーバが message-id を
付け直さない場合に限りますが）同一の message-id を持つ、「別の」
メールが届くことになるし、まっとうなメーラであれば、それらを
２通とも受信する「べき」であると思っての先の発言でした。
＃そもそも message-id を付け直さないメーリングリスト自体が
＃「べからず」なんでしょか？

で、繰り返しで恐縮ですが、それにしても私が断言するに足る根拠を
持っているわけではないです。

> だからそれを心配するのは分かるんですが、「できないです」と

まさに心配しているだけでした。

> ＃よくわからん。

説明不足＆根拠のない断定口調で失礼しました。
また真実（鶴亀の仕様）がどうであれ、不適切な発言でした。
申し訳ありませんでした。以後気をつけます。

RE:04387 2度受信してしまう

秀まるお さん　01/03/09 09:27

　鶴亀メールの「UIDLを使わない」の場合のメールの識別方法ですが、Message-Id:
ヘッダの内容は使ってません。

　メールのヘッダ中からX-で始まるヘッダとStatus:ヘッダを除いたすべての文字か
ら32bit-CRCを計算して、その32bitの値を文字列に変換して識別に使っています。

　ってことで、例えばReceived:の途中の１文字でも違っていれば、それは別のメー
ルとして扱います。

　メールのヘッダ部分が完全に一致していたら、本文が違っていても同一のメールと
扱われて１回しかダウンロードされないことはありえます。でも、そういうメールは
たぶん存在しないと思います。Received:にサーバー側が受信した時刻が入るみたい
なので。

RE:04387 2度受信してしまう

Kengo さん　01/03/09 11:09

> 直感的に「二重に届くべくしてそうなっているメールが受信できない」ような
> 仕様になってるわけない、と即断してしまいました。

「なってはないだろうな」とは私も思います。
#04395によると、やっぱりなってないそうです。

ということで、以下は鶴亀メールからは離れるのですが……

> > To: xxxx@hoge.com, xxxxxxx@moge.ne.jp
>
> なんてメールが送信されたとして、

そういうケースは、私は「同一の」メールだと思います。

> ２通とも受信する「べき」であると思っての先の発言でした。

「Message-IDが同一のメールの一方は、まったく受信できない」と
したら、私は困ります。なんらかの方法で受信できるようになって
いれば、まぁ許容範囲かもしれません。(程度による)

> ＃そもそも message-id を付け直さないメーリングリスト自体が
> ＃「べからず」なんでしょか？

Message-IDを付け直すMLの方が、私は嫌ですけど(^_^;
＃って、ここは付け直してますけど、仕様上仕方ないかな？と
＃思ってます。

RE:04401 2度受信してしまう

"y.iida" さん　01/03/09 12:09

>ということで、以下は鶴亀メールからは離れるのですが……
>
>> > To: xxxx@hoge.com, xxxxxxx@moge.ne.jp
>>
>> なんてメールが送信されたとして、
>
>そういうケースは、私は「同一の」メールだと思います。

ヘッダー違いの同一MessageIDを持つ別メールだと思います

>「Message-IDが同一のメールの一方は、まったく受信できない」と
>したら、私は困ります。なんらかの方法で受信できるようになって
>いれば、まぁ許容範囲かもしれません。(程度による)

あくまで、同一MessageIDというだけで
受信できるし、サーバー上のUIDLも異なるハズです。
（本文は同一とは限りません　= 広告が入る可能性があるから）

（但し、ネット上で同一MessageIDが存在してはイケナイはずで
　またまた記憶ですけど、サーバー上で何か考えている物が
　あったように思うので、配送経路によっては、
　一方が無くなる可能性もあるような気がします）

RE:04403 2度受信してしまう

Kengo さん　01/03/09 13:37

> >ということで、以下は鶴亀メールからは離れるのですが……
> >
> >> > To: xxxx@hoge.com, xxxxxxx@moge.ne.jp
> >>
> >> なんてメールが送信されたとして、
> >
> >そういうケースは、私は「同一の」メールだと思います。
>
> ヘッダー違いの同一MessageIDを持つ別メールだと思います

そりゃ、実際に２通届くし、それを「同一だ」とソフトに
判定され(て、はじかれ)たくはないです。

また、「『同一だ』と判定するようにすべきだ」とも主張して
いません。

> あくまで、同一MessageIDというだけで
> 受信できるし、サーバー上のUIDLも異なるハズです。

そうですね。

> （本文は同一とは限りません　= 広告が入る可能性があるから）

なるほど。
私はそれも「同一だ」と考えますが。

単なる興味で聞いてみますが、
multipart/alternativeなHTML部分を取り除いてしまうMLもありますが、
これは同一？　それとも別？

さらに、いったんデコードして、 ESC ( J を ESC ( B にして
エンコードしなおすMLもありますが、
これは同一？　それとも別？

私にとって、「あれ？それはさっき読んだぞ」と思うようなメールは
全部「同一」です。

RE:04404 2度受信してしまう

"y.iida" さん　01/03/09 14:29

>また、「『同一だ』と判定するようにすべきだ」とも主張して
>いません。

ヘルプ記載の通りUIDLを使う限りMessageIDが同一であれば
同一と判断する仕様で、UIDLが使えない場合は、
ヘッダーから計算して重複チェックをしている仕様ですという確認だけで
気を悪くなさっていたらごめんなさい。

>私にとって、「あれ？それはさっき読んだぞ」と思うようなメールは
>全部「同一」です。

もちろんボクもそうですよ。

例え、ＭＬサーバーでMessageIDを振り直されたとしても
広告が入っていようが、同じモンは同じとして捕らえたいですが
鶴亀にとっては判断の材料がないので（これは広告？とか）
ヘッダーやMessageIDを材料に判断するしか方法がない所だと
思いますので、個人的には不満はありません。

でもでも、そういうメールって故意に送らない（送られない）
限り無いと思うので、気にしていないというのが、実際の所で
重複チェックを利用するのは、間違ってリモートメールでＤＬしてしまった
とか、インポートし過ぎてしまったとか・・そんな所です。