要望: 大きなファイルの処理速度 - 秀丸エディタ関連ソフト会議室 - スレッド02361, 1999/01/20

要望: 大きなファイルの処理速度

massangeana さん　99/01/20 00:17

新しい秀丸は 1000万行対応という話を聞いてよろこんでいます。
ただ現在の秀丸は 10万行を越えると非常に遅くなるので, ちょっと不安があります。

手元に七桁郵便番号の CSV ファイル(約10万行, 10MB 程度)があるのですが, ファイ
ルのオープンに 20秒以上, 1文字検索するのに(その文字が見つからなかった場合)12
秒程度かかります。(Pentium 333MHz)
ちなみに Meadow (決して速いエディタではない)だと同じ環境でオープンに 7秒, 検
索は一瞬で終わります。

一番困るのはファイル内容の比較で, こないだうっかり全く同内容のファイルを比較
してしまったら, いつまで待っても終了しませんでした(15分程度で中断)。

もうちょっと速くなるとうれしいのですが。

RE:02361 要望: 大きなファイルの処理速

秀まるお さん　99/01/20 18:18

　秀丸エディタのファイルオープンが遅い件ですが、気になったので僕がいろいろ調
べたら、ちょっとそっちの環境がおかしいのではないかと思えてきました。

　まず、こちらの環境はこうなってます。

　CPU: Pentium2 300MHz (66MHz x 4.5倍)
　Memory: 64M
　HD: Fireball EL 5.1GB
　OS: Windows95 OSR2

　です。それで、試しに１１メガバイトほどのサイズで、行数が３０万行くらいのフ
ァイルを開いてみたら、

　Windows95起動直後で約７秒
　閉じてからもう一回開くと約2.5～5秒（ばらつきあり）

　で開きます。参考までに、「テンポラリファイルの再利用」をONにすると、２回目
以降はほとんど０秒で開きます。

　ちなみにですが、動作環境の所に「テンポラリファイルを使用しない」という設定
がありますが、実はこのオプションを指定しても、メモリ上には４Ｍバイトまでしか
ロードされず、それを越えた部分はやはりテンポラリファイルに行ってしまい、ハー
ドディスクの遅いマシンではあまり意味がなくなります。この点については実はさき
ほど修正した所です。

　ちなみにこの修正の加わった秀丸で、「テンポラリファイルを使用しない」にして
みた所、Windows95起動直後のファイルオープンは５秒程度に短縮します。しかし、
２回目以降はあまり速くなりませんでした。

> 一番困るのはファイル内容の比較で

　たしかにファイル内容の比較は遅いです。プロセス間通信でやってますので。

　ロジックをいじれば多少速くなると思います。調べてみます。

RE:02361 要望: 大きなファイルの処理速度

秀丸担当 さん　99/01/20 18:23

>新しい秀丸は 1000万行対応という話を聞いてよろこんでいます。
>ただ現在の秀丸は 10万行を越えると非常に遅くなるので, ちょっと不安があります。

その他→動作環境→編集→テンポラリファイルの「テンポラリファイルを
利用して再オープンの高速化」をONにしておくと、２回目からのオープン
が高速になるので試してみてください。
ネットワークの先にあるファイルの場合はこの機能は有効にはなりません。

RE:02361 要望: 大きなファイルの処理速

秀まるお さん　99/01/20 18:56

　追加ですが、秀丸担当のマシンでテストしても、やはり１１メガバイト程度のファ
イルのオープンに、５～８秒程度しかかかりません。

　秀丸担当のマシンは、

　CPU: MMX Pentium 166MHz
　Memory: 64M
　HD: ２ＧバイトのSCSIドライブ（詳細不明）
　OS: Windows95 OSR1

　です。