非常に大きいファイルの編集について - 秀丸エディタβ版 - スレッド10494, 2006/05/30

非常に大きいファイルの編集について

マボカル さん　06/05/30 10:44

こんにちは。マボカルです。今ある作業のために４０万行ほどある
非常に大きなファイルを開いて編集していますが、ファイルの大きさは
３０メガほどにもなります。このような大きなファイルの場合、
急激なページダウンやアップをするとフリーズしてしまいそうな場合
（フリーズしている場合も多々あり）がありますが、これはこれで
しょうがないのでしょうか？

例えばファイルを開いて（完全に読み込みが終わった状態）、一気に
Endキーで４０万行目付近のファイルの一番最後にカーソルを移動
して、その後作業をしようとした場合、もうその時点でカーソルが
動かなくなります。（一応ファイルの読み込みが完全に終わった状態な
ので、ファイルの一番下にカーソルが移動して、その画面もきちんと
表示はされます。）でもその時はフリーズしているのではなく、単に
秀丸エディタのほうで、処理というかファイルの最終部分を読み込ん
でいるような動作に見えます。何十秒か後にはまた正常に編集作業が
できるようになるからです。

ファイルを開く際に大きなファイルの場合はタイトルバーに
「読み込み中」と表示されて１００％になったら、ファイルが全部
読み込まれたと理解していましたが、ファイルが馬鹿でかく大きい場合
には、ファイルが完全に読み込まれた状態であっても、秀丸エディタが
カーソル位置を確認するまでの処理に時間がかかってしまってこのよう
な現象がおこるのでしょうか。

一応秀丸エディタは最大1000万行のファイルまで編集可能ということに
なっていますが、現在のような動作ではとても仕事になりません。
というかこんな大きなファイルで作業をしていること自体が問題なの
かもしれませんが、サイトー企画さんとしては大体どれくらいのサイズ
のファイルをサクサク作業できるように設計しているのでしょうか？

ファイルのサイズが大きくなるにつれて、いくらテキストエディタでも
動きが遅くなるのは十分承知していますが、「これぐらいのサイズで
そう遅くはならないぞ」という部分があるようでしたら、どこか不具合
でもあるのかなと思って確認のため投稿しました。

ちなみにこのファイルでアウトライン解析をさせたら、アウトライン枠
はこのまま永遠に表示されないのではと思うぐらいに、表示に時間が
かかります。というか表示されるまえに強制終了させていますが。

RE:10494 非常に大きいファイルの編集について

秀丸担当 さん　06/05/30 14:36

>こんにちは。マボカルです。今ある作業のために４０万行ほどある
>非常に大きなファイルを開いて編集していますが、ファイルの大きさは
>３０メガほどにもなります。このような大きなファイルの場合、
>急激なページダウンやアップをするとフリーズしてしまいそうな場合
>（フリーズしている場合も多々あり）がありますが、これはこれで
>しょうがないのでしょうか？

このくらいのサイズくらいまでなら大丈夫だと思いますが、設定の条件によって
は遅くなることがあります。

まず、[その他]→[動作環境]→[ファイル]→[高速化]→[ファイルサイズが大き
いとき裏で読み込みをする]が無効になっている場合、読み込みの段階でフリー
ズしようになります。
有効であれば、読み込みしながら操作できます。

次に、フォントがプロポーショナルフォント（固定ピッチでないフォント）を使
っているか、折り返し文字数が「ウィンドウ幅に合わせる」になっている場合、
折り返しに時間がかかります。
この間は、操作できません。時間がかかる場合は、「折り返し計算中」のウィン
ドウが現れ、経過を表示します。

次に、普段の操作で遅いことがあるとしたら、一行が何十回も折り返してしまう
ほど非常に長かったり、強調表示の指定が非常にたくさんで複雑になっていたり
すると、カーソル移動が遅くなることがあります。
もし１行の計算に２秒以上かかってしまう場合、警告が出て強調表示を一時的に
無効にすることができます。

>ちなみにこのファイルでアウトライン解析をさせたら、アウトライン枠
>はこのまま永遠に表示されないのではと思うぐらいに、表示に時間が
>かかります。というか表示されるまえに強制終了させていますが。

このあたりを確認してみたところ、[その他]→[ファイルタイプ別の設定]→[体
裁]→[詳細]→[行番号の計算方法]がエディタ的（改行だけを数える）になって
いると、カーソル移動が遅くなることがあるのを確認できました。
アウトライン解析の枠の計算中に、Ctrl+Endしてカーソル移動させたりすると、
遅くなりました。
このあたりはまだ改善の余地があるようなので、次のβ版で改善してみようと思
います。

RE:10497 非常に大きいファイルの編集について

マボカル さん　06/05/30 16:38

秀丸担当さん

ありがとうございます。

>このくらいのサイズくらいまでなら大丈夫だと思いますが、設定の条件によって
>は遅くなることがあります。
>
>まず、[その他]→[動作環境]→[ファイル]→[高速化]→[ファイルサイズが大き
>いとき裏で読み込みをする]が無効になっている場合、読み込みの段階でフリー
>ズしようになります。
>有効であれば、読み込みしながら操作できます。
>
>次に、フォントがプロポーショナルフォント（固定ピッチでないフォント）を使
>っているか、折り返し文字数が「ウィンドウ幅に合わせる」になっている場合、
>折り返しに時間がかかります。
>この間は、操作できません。時間がかかる場合は、「折り返し計算中」のウィン
>ドウが現れ、経過を表示します。
>
>次に、普段の操作で遅いことがあるとしたら、一行が何十回も折り返してしまう
>ほど非常に長かったり、強調表示の指定が非常にたくさんで複雑になっていたり
>すると、カーソル移動が遅くなることがあります。
>もし１行の計算に２秒以上かかってしまう場合、警告が出て強調表示を一時的に
>無効にすることができます。

この辺りは参考になりました。

>>ちなみにこのファイルでアウトライン解析をさせたら、アウトライン枠
>>はこのまま永遠に表示されないのではと思うぐらいに、表示に時間が
>>かかります。というか表示されるまえに強制終了させていますが。
>
>このあたりを確認してみたところ、[その他]→[ファイルタイプ別の設定]→[体
>裁]→[詳細]→[行番号の計算方法]がエディタ的（改行だけを数える）になって
>いると、カーソル移動が遅くなることがあるのを確認できました。
>アウトライン解析の枠の計算中に、Ctrl+Endしてカーソル移動させたりすると、
>遅くなりました。

[行番号の計算方法]をワープロ式に変えると、ほぼ正常なスピードで
動きますね。私の設定ではこの辺が一番影響があるように思えます。

>このあたりはまだ改善の余地があるようなので、次のβ版で改善してみようと思
>います。

よろしくお願いします。

RE:10504 非常に大きいファイルの編集について

秀丸担当 さん　06/05/30 18:09

>[行番号の計算方法]をワープロ式に変えると、ほぼ正常なスピードで
>動きますね。私の設定ではこの辺が一番影響があるように思えます。

そうでしたか。
β28で改善をしてみたので、ワープロ的では大丈夫とのことですが、お手数です
がエディタ的に戻してみて遅くなっていないか確認していただけると助かります。

RE:10506 非常に大きいファイルの編集について

マボカル さん　06/05/31 00:16

すばやい対応ありがとうございます。b28で確認したところ、以前の
ように行番号表示をエディタ的にしても快適に操作できるように
なりました。

アウトライン枠の表示は依然として表示されるまで時間がかかります
（全て表示されたのは見たことがありません。）が、この計算あたりは
時間がかかってしまうのはしょうがないのでしょうか。

ちなみに私のファイルは３０メガで、４０万行あり、アウトライン枠の
強調表示は以下のように特に複雑なものではありません。

^【
^●|^○

ファイルには「【」が一箇所、「●」が２０万箇所ほどあります。一行
がとんでもなく長いとか、そう変な編集状態のファイルでもありません。「●」が見
出しになっていて、そのすぐしたの行に見出し内容の
説明書きがあるという感じです。アウトライン枠表示の計算方法に
改善の余地があれば、ご検討よろしくお願いします。

>>[行番号の計算方法]をワープロ式に変えると、ほぼ正常なスピードで
>>動きますね。私の設定ではこの辺が一番影響があるように思えます。
>
>そうでしたか。
>β28で改善をしてみたので、ワープロ的では大丈夫とのことですが、お手数です
>がエディタ的に戻してみて遅くなっていないか確認していただけると助かります。

RE:10511 非常に大きいファイルの編集について

秀丸担当 さん　06/05/31 10:37

>すばやい対応ありがとうございます。b28で確認したところ、以前の
>ように行番号表示をエディタ的にしても快適に操作できるように
>なりました。

そうでしたか。確認ありがとうございます。

>アウトライン枠の表示は依然として表示されるまで時間がかかります
>（全て表示されたのは見たことがありません。）が、この計算あたりは
>時間がかかってしまうのはしょうがないのでしょうか。

アウトライン解析の枠の計算自体に時間がかかるのは仕方が無いです。
初回の解析では、ファイル内容を全て網羅して計算します。
初回の解析が終われば、次からは編集の加わった該当箇所だけを高速に計算しま
す。

これはたとえ処理速度を改善したとしても、ファイルサイズに比例して時間はか
かり、解析の設定の複雑さにも比例して時間はかかることなので、焼け石に水に
しかなりません。
そのため設計上は、どれだけ時間がかかろうとも平行して計算し、編集エリアで
の操作には支障が無く操作を続行できるように作っています。（エディタ的な行
番号で操作に支障が出るのは問題でした）

編集エリアでの操作をノンストップでし続けたら、空き時間が無いのでその間解
析の計算は止まるので、いつまでたっても解析は終わらないかもしれません。

もし他に改善できる点があるとすれば、「計算中...」の表示でどれだけ処理が
進んだかの経過を表示するとか、そういったことになってくると思います。

RE:10494 非常に大きいファイルの編集について

ENCODINGSHIFTJIS さん　06/05/31 12:05

今度のエクセルはなんと「１０４万８５７６行」「１万６３８４列」に。
ＰＣの余裕によりますが、ベータの Excel 2007 も試せます

RE:10516 非常に大きいファイルの編集について

マボカル さん　06/05/31 14:53

秀丸担当さん

>アウトライン解析の枠の計算自体に時間がかかるのは仕方が無いです。
>初回の解析では、ファイル内容を全て網羅して計算します。
>初回の解析が終われば、次からは編集の加わった該当箇所だけを高速に計算しま
>す。
>
>これはたとえ処理速度を改善したとしても、ファイルサイズに比例して時間はか
>かり、解析の設定の複雑さにも比例して時間はかかることなので、焼け石に水に
>しかなりません。
>そのため設計上は、どれだけ時間がかかろうとも平行して計算し、編集エリアで
>の操作には支障が無く操作を続行できるように作っています。（エディタ的な行
>番号で操作に支障が出るのは問題でした）
>
>編集エリアでの操作をノンストップでし続けたら、空き時間が無いのでその間解
>析の計算は止まるので、いつまでたっても解析は終わらないかもしれません。
>
>もし他に改善できる点があるとすれば、「計算中...」の表示でどれだけ処理が
>進んだかの経過を表示するとか、そういったことになってくると思います。

了解しました。詳しい内部的な動きの解説ありがとうございました。
エディタですから基本的な操作を重視しなければ意味がありません
からね。

RE:10519 非常に大きいファイルの編集について

マボカル さん　06/05/31 14:58

ENCODINGSHIFTJISさん

>今度のエクセルはなんと「１０４万８５７６行」「１万６３８４列」に。
>ＰＣの余裕によりますが、ベータの Excel 2007 も試せます

情報ありがとうございます。エクセルとかワードなどは、今の
バージョンでぜんぜん大丈夫じゃんって思っていたら強烈にバージョン
アップしたくなるようなものが出そうなんですね。エクセルなどは
結構行数の制限で使いたくても使えなかったりということが
ありましたが、ここまで改良されると今の私の作業では結構使えそう
です。アクセスとかの本格的なデータベースソフトは操作がよく
分からないので、エクセルでまかなえられる範囲が増えそうです。

RE:10522 非常に大きいファイルの編集について

マボカル さん　06/05/31 18:39

秀丸担当さん

さらに確認のために投稿しますが、色々と改善していただいたお陰で
大きなファイルでもカーソル移動や画面表示がスムーズになりましたが
ＰＣのほうがものすごく無理をしているようです。作業するのには問題
ありませんが、こんなもんなんでしょうか？

状況としてはファイルを開いてしばらくすると、ＣＰＵの使用率が常に
６０～７０パーセントぐらいになって、ＰＣのファンもフル稼働して
います。
ＰＣのスペック自体はそう悪いものではないと思いますが・・。

Pentium(R)4 CPU 3.00GHz
384MB RAM(512MBのうちグラフィックカードのメモリを引いた分)
HD 80GB

そちらの環境でも大きなファイル（３０Ｍ以上、４０万行以上）を
開いた場合に、私のＰＣと似たようにすごく無理をしているような症状
になるのでしょうか？それぞれＰＣの環境が違うため、一概には比較
できないと思いますが、念のためご確認の投稿をさせて頂きました。

RE:10527 非常に大きいファイルの編集について

マボカル さん　06/05/31 18:42

環境を記入するのを忘れてしまいました。

韓国語版ＸＰ＋秀丸英語版Ver6b28です。

RE:10528 非常に大きいファイルの編集について

マボカル さん　06/05/31 22:45

あ、それからこのような大きなファイルを開く場合は、アウトライン枠
はＯＦＦにして、作業用の画面のみにしています。それでもずーと
ＣＰＵ使用率が上がりっぱなしで、ファンもフル稼働状態です。

RE:10531 非常に大きいファイルの編集について

秀丸担当 さん　06/06/01 11:39

>あ、それからこのような大きなファイルを開く場合は、アウトライン枠
>はＯＦＦにして、作業用の画面のみにしています。それでもずーと
>ＣＰＵ使用率が上がりっぱなしで、ファンもフル稼働状態です。

アウトライン解析の枠が表示されていて解析しているときは、当然ＣＰＵは稼動
し続けることになると思います。
アウトライン解析の枠が表示されていなくても、「見出しバー」か「折りたたみ
用の余白」が表示されていて、アウトライン解析も必要となる場合、枠の有無に
かかわらず同様に解析の計算をします。
もしこれらが有効になっている場合、無効にしてみると大丈夫かもしれません。

また、[その他]→[動作環境]→[パフォーマンス]→[詳細]→[メモリを使用する
最大サイズ]を大きめにしておくと、負担が軽減するかもしれません。

RE:10534 非常に大きいファイルの編集について

マボカル さん　06/06/01 11:58

秀丸担当さん

ご回答ありがとうございます。

>アウトライン解析の枠が表示されていて解析しているときは、当然ＣＰＵは稼動
>し続けることになると思います。
>アウトライン解析の枠が表示されていなくても、「見出しバー」か「折りたたみ
>用の余白」が表示されていて、アウトライン解析も必要となる場合、枠の有無に
>かかわらず同様に解析の計算をします。
>もしこれらが有効になっている場合、無効にしてみると大丈夫かもしれません。

そうでした。「見出しバー」と「折りたたみ用の余白」それぞれを
ＯＮにした場合とＯＦＦにした場合とではぜんぜん違いますね。
アウトライン枠が表示されていなくても、ここがＯＮになっていると、
派手なアウトライン表示はされなくても、内部ではすごいテキスト解析
を行っているということは、よく考えてみたら当然ですよね。

>また、[その他]→[動作環境]→[パフォーマンス]→[詳細]→[メモリを使用する
>最大サイズ]を大きめにしておくと、負担が軽減するかもしれません。

ここは常に最大にしていました。

大きなファイルの扱い方もだいぶ分かってきました。
ありがとうごさいました。