フォルダーチェック？ - 秀丸メール情報交換会議室 - スレッド39581, 2010/11/20

フォルダーチェック？

水銀灯 さん　10/11/20 00:29

いつもお世話になっております。

受信メールを人毎にフォルダを作成して、過去のやり取りが
分かりやすいように管理して使っております。

フォルダー数が多くなってくるに従って、過去メールを見ようと
フォルダをアクティブにすると、かなりの時間フリーズしたように
待たされます。数分間操作できなくなります。
過去メールを見ようとするときは待つ覚悟が要ります。(^^;

フォルダ内のインデックスが壊れていないかなどのチェックを
しているのかな？と思いますが、データが破損していることは
滅多にないので、チェックはコマンドでマニュアル操作にして
自動的にチェックをしないようにすることは可能でしょうか？

フォルダ数は現在4,000くらいです。

よろしくお願いいたします。

RE:39581 フォルダーチェック？

秀まるお2 さん　10/11/20 10:14

　とりあえず、「設定・アカウント毎の設定...」の「使用状況」ページにある、
「断片化されたメール用ファイルを結合する」を実行してみて欲しいです。それ
でファイル数を減らせば高速化する可能性が高いんじゃないかと思います。

　それと、フォルダを選択した時には、いわゆるFindFirstFile/FindNextFileと
いうのを使ってファイルがたしかに存在しているかどうかと、いわゆるインデッ
クスを昔作成した時とファイルのサイズやタイムスタンプが変わってないかどう
かをチェックしています。何か未知のファイルが増えていたりとか、サイズとか
タイムスタンプが変わってたりすれば、もう一度インデックスを作成しなおすよ
うな処理をしています。

　そのチェックを無しにするというのは、それはそれで技術的には可能です。

　がしかし、実は、アカウントを展開した時にもFindFirstFile/FindNextFileを
一通り通すようなことになっているので、普通はそれで、ファイルの有無関係の
情報がメモリ上にキャッシュされて、後でフォルダをクリックした時はそんなに
時間はかからないはずになっています。なので、フォルダクリックで遅いという
のは、何か別の理由があるんじゃないかという気がします。

　一度、ハードディスクのエラーチェックと最適化（いわゆるデフラグ）もやっ
てみてはどうでしょ？。「断片化されたメール用ファイルを結合する」をやって
からエラーチェック＆デフラグすることをお勧めします。

　それと、アンチウィルスソフトを使っておられる場合は、アンチウィルスソフ
トの種類にもよりますが、最悪５倍～１０倍遅くなることはありえます。一度ア
ンチウィルスソフトのリアルタイム検索をOFFにして、それでどのくらい速くな
るのかも試してみるといいんじゃないかと思います。もしそれで速くなるのでし
たら、例えば「.txt」の拡張子のファイルはリアルタイム検索対象から除外する
とか、あるいは他のアンチウィルスソフトも試してみるとかって作戦も考えてみ
て欲しいです。

RE:39582 フォルダーチェック？

水銀灯 さん　10/11/20 22:19

ありがとうございます。

「断片化されたメール用ファイルを結合する」を実行してみたら
少し速くなりました。
ウイルス対策のリアルタイム検索もメールデータのフォルダは
対象外にしました。

>　がしかし、実は、アカウントを展開した時にも

フォルダを選択したときの説明が間違っていました。
ただしくはアカウントを選択した時です。

フォルダ数が多くなってくると遅くなってきたので、過去ログという
アカウントを作成して、そこに過去メールを移動させて使っております。

断片化…の処理でアカウントの展開は速くなりましたが、普段使って
いるアカウントから過去ログアカウントへフォルダ移動をすると、
やはり時間がかかってしまいました。

使用状況は、こちらでした。
メール用ファイルの全ファイルサイズ　146.6M
全メール数　　61496通
メール一覧のメモリ使用量　33.6Mバイト

RE:39584 フォルダーチェック？

秀まるお2 さん　10/11/21 15:06

　アカウントを展開する時には、FindFirstFile/FindNextFileを使ったスキャン
は実行せず、まずはsubdir.binというファイルを次々と読み込んでいってフォル
ダのツリーを作成します。それから遅延してFindFirstFile/FindNextFileを使っ
て、たしかに先ほど生成したフォルダツリーが正しいかどうかチェックして、も
しも何か、未知のフォルダの存在を見つけたりフォルダ階層が違っていたりした
場合には、警告メッセージが出た上で、もう一度フォルダツリーを作成しなおす、
というような処理をしています。

　ということで、つまり、

　１．アカウントを選択する。
　２．待たされる。
　３．フォルダのツリーが一応表示される。
　４．キー操作やマウス操作は一応効くけども、反応が遅い。
　５．しばらく待つとやっと安定する。

　といった具合になっているのだろうと思いますが、今回の話は「２」の所での
話ですよね。

　だとすると…

　今ちょっとソースコードを見直してみたんですが、subdir.binを読み込みに行
く処理には改善の余地というか、subdir.binのファイルの中に、深い階層の部分
の情報も入れるような改良をすればもっと高速になる余地がありました。

　ということでその辺いじってみました。

　ということでβ版アップロードしました。

32bit版:
http://hide.maruo.co.jp/software/bin/hmmail552b8_signed.exe

64bit版:
http://hide.maruo.co.jp/software/bin/hmmail552b8_x64_signed.exe

　これをインストールして１回目のアカウント展開は、たぶん以前と同じく遅い
です。

　２回目（パソコンを起動してからの２回目でも）は、新しい処理が効いて速く
なると思います。

　ということでどうでしょ？

　あと、具体的に処理にかかった時間をdump.txtに出すようにもしてみました。

InitAccountChildren exit time=16 loadtime=0 ordercount=10 ...

　みたいな記録を出すようにしました。「全般的な設定・上級者向け・動作の記
録」でのdump.txt出力オプションをONにして、この記録の部分がどうか教えて欲
しいです。

RE:39586 フォルダーチェック？

水銀灯 さん　10/11/22 11:12

速くなりました。ありがとうございます。

10:16:46.677 (1580) InitAccountChildren exit time=796 loadtime=437 ordercoun
t=4058 ordercount_real=46 orderfilefize=48041 subfoldercount=4055 savecount=46

10:44:34.619 (1580) InitAccountChildren exit time=17440 loadtime=15229 order
count=4058 ordercount_real=46 orderfilefize=44031 subfoldercount=4055 saveco
unt=0

11:03:25.051 (1580) InitAccountChildren exit time=234 loadtime=0 ordercount=
48 ordercount_real=46 orderfilefize=44031 subfoldercount=4055 savecount=0

2003年くらいから過去メールが溜まっていて、ここ数年はアカウントの
切り替えに5分以上待っていたので、ストレスもなくなりました。
もう少し早く相談しておけばよかったです。

素晴らしいサポートに感謝いたします。

RE:39590 フォルダーチェック？

水銀灯 さん　10/11/22 11:32

ピンチです！！！　フォルダーがなくなりました。

受信→受信メール→作業待ち→ＡＡＡ
というフォルダ構成で使っているのですが、ＡＡＡフォルダが表示されません。

念のためエクスプローラで見ると、ＡＡＡフォルダは存在しています。
subdir.bin にもフォルダ名が入っています。
prop.binファイルは存在しますが、中身にＡＡＡが見当たりません。

どのように復旧すればよろしいでしょうか？

RE:39591 フォルダーチェック？

秀まるお2 さん　10/11/22 13:23

　すみません。またレベルダウンしてしまってました。

　とりあえず、無くなってしまったフォルダについては古いバージョンに戻して
いただければ復活すると思いますけども、今日中に新しいβ版をアップロードさ
せていただきます。

RE:39592 フォルダーチェック？

秀まるお2 さん　10/11/22 16:25

　V5.52β9を今アップロードしました。これで大丈夫だと思いますので、ダウン
ロード＆インストールお願いします。

32bit版:
http://hide.maruo.co.jp/software/bin/hmmail552b9_signed.exe

64bit版:
http://hide.maruo.co.jp/software/bin/hmmail552b9_x64_signed.exe

　いろいろテストしたらおかしいケースが多々ありまして、結局、かなり作り直
しています。なのでまたレベルダウンしてたらすみません。

　一応、今回の方がテスト量は多いので大丈夫だと思いますので…。

　あと、V5.52β8では、フォルダ一覧を生成した後での、その正当性の検査の処
理が、一部抜けてる所がありました。それを正しくチェックするようにしました。

　フォルダ一覧が最初に表示されるまでの時間は同じだと思いますが、一覧が出
た後に「重いなぁ」って時間が少し長くなると思います。

RE:39593 フォルダーチェック？

水銀灯 さん　10/11/22 19:13

ありがとうございます。

前のバージョンに戻してフォルダーを復活させましたので
今回のバージョンでなくなった状態から復活するかの
テストはできませんでした。

今のところ新しいバージョンで問題ないようです。
よろしくお願いいたします。

RE:39593 フォルダーチェック？

水銀灯 さん　10/11/25 09:52

フォルダを移動すると、

「フォルダ構成が前回の秀丸メール終了時から変更されています。
フォルダ一覧を作成しなおします。」

のメッセージが時々表示されます。
まだ何か必要ないチェックをしてるのかも・・・？

RE:39604 フォルダーチェック？

秀まるお2 さん　10/11/25 11:34

　今テストしてみたら、たしかに再現しました。フォルダの並び順を変えるだけ
だと起きないようですが、フォルダを別のフォルダ配下に移動するような操作を
するとダメでした。

　ということでまた修正させていただきます。

RE:39606 フォルダーチェック？

秀まるお2 さん　10/11/25 19:52

　今アップロードしました。

http://hide.maruo.co.jp/software/bin/hmmail552b10_signed.exe

RE:39593 フォルダーチェック？

水銀灯 さん　10/11/26 20:34

>　フォルダ一覧が最初に表示されるまでの時間は同じだと思いますが、一覧が出
>た後に「重いなぁ」って時間が少し長くなると思います。

アカウント切替後、フォルダはすぐに表示されますが、その後
別スレッド？で走っているフォルダ検査のためか、以前のように
しばらく何も操作ができなくなってしまうようになりました。

RE:39611 フォルダーチェック？

秀まるお2 さん　10/11/26 21:55

　遅延して実行されるサブフォルダの正当性チェックの処理ですが、マルチスレ
ッドにはなってないですけども、ループの中で「GetQueueStatus」ってAPIを呼
び出してキー入力やマウス入力のチェックをしつつ、何か入力があったらチェッ
クを中断して入力に対する応答を先にやるようにはしているつもりですが…。

　遅いとしたら、一応、僕の中であの辺が悪いのかなぁという、思い当たる所は
あります。

　僕の所でフォルダを３０００個くらい作ってテストした限りはそんなに遅くな
かったんですけども…。

　一応、チューニング出来そうな所はチューニングして、さらに、正当性チェッ
クの付近についてもdump.txt出力を加えるなどしてみます。

RE:39612 フォルダーチェック？

水銀灯 さん　10/11/26 23:47

>ループの中で「GetQueueStatus」ってAPI

こんなAPIがあったのですね。知りませんでした。
PeekMessageで調べてGetMessageしてました。(^^;

メールを見た後、いったん他のアプリに切り替えてから、
もう一度秀丸メールに戻るときに待たされます。

RE:39613 フォルダーチェック？

秀まるお2 さん　10/11/27 22:07

　GetQueueStatusによるチェックをFindNextFileのループ中にも入れてみました。

　こちらで、意図的にFindNextFileのループを極端に遅くするテストした限りで
は、これで応答は速くなりました。Alt+Tabキーでウィンドウ切り替えした時も
大丈夫そうでした。

　ということで試してみて欲しいです。

http://hide.maruo.co.jp/software/bin/hmmail552b11_signed.exe

RE:39614 フォルダーチェック？

水銀灯 さん　10/11/27 22:46

変わりませんでした。

アカウントをクリックしてフォルダ展開すると応答は速いですが、
他アプリに切り替えてから戻ると、マウスカーソルが待ちの
アニメーションのままウインドウは白くなったままです。

GetQueueStatusは、WM_ACTIVEAPPでも反応するのでしょうか？

RE:39615 フォルダーチェック？

秀まるお2 さん　10/11/28 11:30

　僕の所でテストした限りでは、少なくともAlt+Tabでウィンドウ切り替えした
後であっても、マウスクリックにはちゃんと反応していました。

　マウス移動（WM_MOUSEMOVE）については、場合によっては反応しないですけど。

　マウスクリックまたはキー入力してみても反応しないのでしょうか。

　ついでに、Windowsの種類も念のため教えて欲しいです。

RE:39618 フォルダーチェック？

水銀灯 さん　10/11/28 13:59

はい、白っぽい画面の状態のときは、マウスクリック、キー入力とも
反応がありません。Alt+TABで切り替えようとしても、なかなか
アクティブになりません。

Windows7 Home Premium 64bitです。

よろしくお願いいたします。

RE:39619 フォルダーチェック？

秀まるお2 さん　10/11/28 23:24

　V5.52β12をアップロードしました。

　GetQueueStatus関数呼び出しパラメータに「QS_SENDMESSAGE」を指定したら直
ったような気がします。

　もしダメでしたら、「全般的な設定・上級者向け・デバッグ」の「デバッグレ
ベル」という所を1にして、やってみて欲しいです。そうすると、
GetQueueStatusの値に関係なく、0.5秒毎に必ずGetMessage/DispatchMessageの
ループに戻るようになります。

　それでもダメでしたら、デバッグレベルを2にして試してみて欲しいです。そ
うすると、裏で処理するのを起動するタイミングが少し遅くなって、結果として
メッセージループの処理の優先順位が高くなると思います。

　ということでどうでしょ？

　あと、裏でメール一覧チェックしてる最中はステータスバーの先頭に「*」が
出るようにしました。メール一覧チェックが終わってサブフォルダの正当性チェ
ックをする段階に入ると「#」が出ます。両方終わると普通の表示に戻ります。
もし固まるとしたら、例えば「*」の時か「#」の時か等の情報も教えて欲しいで
す。

32bit版:
http://hide.maruo.co.jp/software/bin/hmmail552b12_signed.exe

64bit版:
http://hide.maruo.co.jp/software/bin/hmmail552b12_x64_signed.exe

RE:39622 フォルダーチェック？

水銀灯 さん　10/11/29 08:53

デバッグレベルは何もしなくても、そのままで改善されました。

いろいろお手数をお掛けしました。ありがとうございました。

RE:39623 フォルダーチェック？

水銀灯 さん　10/11/29 20:35

他アプリに切り替えて戻っても、すぐに反応していましたが
何度か切り替えているうちに、白く固まってしまいました。

しばらくすると戻ってくるので、許せる範囲内だと思いますが
いちおうお知らせしておきます。

そのときのステータスバーは「*」の方でした。

RE:39606 フォルダーチェック？

水銀灯 さん　10/11/30 00:49

「下の未読メール」で順に表示しているときに
「フォルダ構成が変更されています…」のメッセージが
表示されることがあります。

常に出る訳ではありません。条件は不明ですが、空のフォルダで
出る場合が多いようです。

RE:39625 フォルダーチェック？

秀まるお2 さん　10/11/30 08:39

　固まる現象については、デバッグレベル０の場合は現状のままとしつつ、デバ
ッグレベルを１以上にした場合は適当なウェイトを入れてからバックグラウンド
処理の再開をするような処理を入れてみます。

　なので、とりあえず次のβ版で、デバッグレベルを１にしてみて、それでも固
まるようでしたら２～９程度の値まで大きくしてみる、というのをやってみて欲
しいです。

　（ちなみに１０以上は指定しないでください）

> 「下の未読メール」で順に表示しているときに
> 「フォルダ構成が変更されています…」のメッセージが
> 表示されることがあります。

　一応、内部の作り的には「下の未読メール」を実行したこととは関係無いんじ
ゃないかと思いますが、いまいち原因が分からないです。

　とりあえず、矛盾を見つけた時には具体的にどこが矛盾してるのかをメッセー
ジ表示するようにしてみます。

RE:39626 フォルダーチェック？

秀まるお2 さん　10/11/30 11:23

　ということでアップロードしました。

　デバッグレベル０のままでも直ったかもしれません。

　まず、GetQueueStatusでメッセージループに戻るのは以前と同じです。

　GetQueueStatusでメッセージループに戻った時には、実はタイマーがセットさ
れていて、そのタイマーのメッセージが来たらまた裏の処理を再開します。

　その裏の処理を再開する用のタイマーの処理を再開する前に、そのタイマーの
メッセージよりも後にPostされたメッセージを、PeekMessageでPM_REMOVEして
Dispatchしてって処理し、メッセージキューが空っぽになったら、その段階で裏
の処理を再開するようにしました。

　ということでどうでしょ？

　もしもそれでもダメでしたら、デバッグレベルを１にしていただいて、それで
もダメでしたら２～９にしてみるということでお願いしたいです。

32bit版:
http://hide.maruo.co.jp/software/bin/hmmail552b13_signed.exe

RE:39627 フォルダーチェック？

秀まるお2 さん　10/11/30 14:26

> 「フォルダ構成が変更されています…」のメッセージが
> 表示されることがあります。

　今こちらで再現しました。新しいフォルダを作成してから秀丸メールを再起動
すると必ず起きるようです。

　また修正させていただきます。

RE:39628 フォルダーチェック？

水銀灯 さん　10/11/30 21:05

ちょっと別の現象がでたようなので・・・。

メールをしている相手毎にフォルダを作成して使っているのですが
本文から名前をコピーします。そして右ボタンを押して「フォルダの
新規作成」をすると、ダイアログが表示されないことがあったり、
Ctrl+Vでペーストしようとしても、クリップボードが空のメッセージが
表示されたりします。

素早く操作すると発生するようです。しばらく時間をおいて、ゆっくり
すれば起きないようです。ウェイト処理を入れた影響でしょうか？

RE:39634 フォルダーチェック？

秀まるお2 さん　10/11/30 21:28

　やっぱ、メッセージの届く順番を入れ替えてDispatchすると何か変なことがあ
るのかもしれません。

　とりあえず、デバッグレベル=0の場合はβ12相当の動作にすることにしまして、
デバッグレベル=1の場合はβ13のデバッグレベル0相当ってことにします。

　（自分でも最近この辺いじりすぎてどのバージョンがどうだったか分からなく
なってきてますけども…）

　他にもバグの調査やテストをしないといけない点があるので、遅延の処理は一
番安定させた形で一回次のβ版を出させていただきまして、また今度テストして
みます。

RE:39622 フォルダーチェック？

水銀灯 さん　10/12/02 23:40

β13 デバッグレベル0 で使用しています。

まだ、白く固まりました。

別アカウントに切り替えて、他アプリに切り替えます。
その後Alt+Tabで秀丸メールに戻ろうとすると白く固まって
しまいます。ステータスバーは「*」でした。

以前のバージョンでは、Alt+Tabで切り替えても、なかなか
アクティブになりませんでしたが、現バージョンでは
すぐに切り替わりますが、白くてキー操作などは受付けません。

ご報告でした。

RE:39665 フォルダーチェック？

水銀灯 さん　10/12/03 09:54

β13 デバッグレベル1 でも同じ症状でした。

RE:39667 フォルダーチェック？

秀まるお2 さん　10/12/03 11:07

　今、V5.52β15をアップロードしました。

　デバッグレベル=0の場合については、やはりレベルダウンするとまずいので今
まで通りの処理にしました。（といっても、GetQueueStatusでQS_SENDMESSAGEは
見てるので、そう簡単には固まらないとは思います）

　デバッグレベル=1にした場合には、今回の処理として、

　１．GetQueueStatusに関係なく、0.5秒に１回は必ずメッセージループに
　　　戻るようにした。
　２．メッセージループに戻る度に、UpdateWindowを使って秀丸メール本体
　　　ウィンドウのInvalidateされた部分を必ず描画するようにした。
　３．メッセージループに戻ってからまた裏の処理を開始するまでには、
　　　タイマーを使って少し遅延させるようにし。

　です。これで、少なくとも0.5秒以上は固まらないし、ウィンドウが白いまま
にもならないと思います。

　ということでどうでしょうか。

32bit版:
http://hide.maruo.co.jp/software/bin/hmmail552b15_signed.exe

64bit版:
http://hide.maruo.co.jp/software/bin/hmmail552b15_x64_signed.exe

RE:39669 フォルダーチェック？

秀まるお2 さん　10/12/07 15:35

　先ほどV5.52β17をアップロードしたんですが、それにて新しいオプションを
追加しました。「全般的な設定・フォルダ・詳細」の所に

　「アカウントを展開した後のバックグラウンドの処理をゆっくり実行する」

　を追加しました。これをONにしていただくと、V5.52β16でのデバッグレベル
を1にしたのと同じ動作となります。

　また、ここのオプションをOFFにした場合であっても、１秒に１回は必ずメッ
セージループに戻るようにしました。

　とりあえすV5.52の正式版もそろそろ出したい所なので、この辺で一度確定さ
せていただこうかなぁと思います。

RE:39683 フォルダーチェック？

水銀灯 さん　10/12/09 03:51

64bit V5.52β16 デバッグレベル0 では、*の処理中に他アプリケーションを起動／
終了すると固まりました。

デバッグレベル1で試したところ、大丈夫そうでした。

β17のデバッグレベル0でしばらく試してみます。

RE:39688 フォルダーチェック？

秀まるお2 さん　10/12/09 08:43

　V5.52の正式版も昨日アップロードしてしまいました。それだと、「アカウン
トを展開した後のバックグラウンドの処理をゆっくり実行する」をOFFの場合で
も１秒に１回はメッセージループに戻るので、固まる現象が回避出来る可能性が
高いと思います。

　オプションOFFの場合だと、１秒に１回メッセージループに必ず戻る動作にな
りまして、ONの場合だと、０．５秒に１回必ず戻りつつ、戻った時に２０ミリ秒
くらいのアイドリングを入れるようになります。

RE:39689 フォルダーチェック？

水銀灯 さん　10/12/11 15:21

たびたびすません。64bit 5.52正式版です。

*の処理中に、フォルダ移動をすると白く固まります。
再描画された後、フォルダが変更されたエラーメッセージも表示されます。

特に支障はないので、このままでも構わないと思いますが、対応するなら
プログラミングの記憶が鮮明なうちのが良いかと思いまして、
ご連絡させていただきました。

RE:39699 フォルダーチェック？

秀まるお2 さん　10/12/12 16:51

　こちらで簡単にテストした限りでは、固まることも無くエラーも出ないようで
はありましたけども…、固まることについては、たぶんですが、裏での処理をす
べて完了させてからフォルダ移動させてるせいかもしれないですが、そうだとし
たら、フォルダ階層が変更されたことのエラーは出ないはずだし、どっちだかよ
く分かりません。

　いろいろ並行して作業してるので、とりあえずV5.53をアップロードしたらま
たテストさせていただきます。

RE:39701 フォルダーチェック？

秀まるお2 さん　10/12/14 21:13

　いろいろテストしても再現しなかったんですが、「#」の時にキーボードを連
打すると、デバッガーで監視してた時にカーネルで保護違反が発生した記録が出
てまして、よく調べたら、GetQueueStatusで裏の処理を中断するタイミングで
FindCloseを余計に呼び出すバグがあったりしました。

　カーソルで保護違反が発生しても特に秀丸メールが落ちることは無いようです
が、こちらのWindowsXP仮想環境（Windows7上の仮想WindowsXP）だと、しばらく
固まったような状態になりました。

　ということで、そのバグ修正をしたら水銀灯さんの所でも固まらなくなったり
するかなぁという気もしますが、はっきりしません。

　とりあえず、V5.60β2ではそのバグを修正させていただきます。

RE:39713 フォルダーチェック？

秀まるお2 さん　10/12/14 21:26

> 　カーソルで保護違反が発生しても

　「カーネル」の間違いでした。

RE:39714 フォルダーチェック？

水銀灯 さん　10/12/23 22:00

5.60beta5で試しましたが、まだ固まりました。

日ごろ使用しているアカウントから、フォルダ数の多い保存用の
アカウントにフォルダを移動します。

この時は反応は良いですが、バックグラウンドで処理をしている
時に「下の未読メール」をすると白く固まりました。

固まるのが終わるのを待ってから元アカウントのフォルダに戻ると、
フォルダ・エラーが表示されました。

RE:39755 フォルダーチェック？

秀まるお2 さん　10/12/24 08:50

　「下の未読メール」を実行して、フォルダをまたがって未読メールを探しに行
ってしまう場合だとしたら、そのタイミングで下方向のフォルダのメール一覧を
すべてロードしにいってしまいまして、それで時間がかかってしまうのだと思い
ます。

> 固まるのが終わるのを待ってから元アカウントのフォルダに戻ると、
> フォルダ・エラーが表示されました。

　アカウントをまたがってフォルダ移動するテストをしたら、僕の所でもエラー
が出ました。また修正させていただきます。