grep でバイナリファイルを除外したい - 秀丸エディタ関連ソフト会議室 - スレッド30912, 2012/03/06

grep でバイナリファイルを除外したい

Yossi さん　12/03/06 18:21

お世話になります。

題名のとおりなのですが
除外拡張子を exe dll bin などと設定して、純粋な Windows環境で
あれば全く問題なく利用させていただいているのですが
Windows上の Cygwinのフォルダや Linuxのフォルダを Windowsに
コピーして検索する時に拡張子のないバイナリファイルがあり

「grepの文字数制限を超えて検索された可能性があります。」

のダイアログが表示されてしまいます。
拡張子ではなくバイナリファイルは除外するなどのオプション設定は
難しいでしょうか？
よろしくお願いします。

RE:30912 grep でバイナリファイルを除外

秀まるお2 さん　12/03/06 22:55

　バイナリファイルかどうかってのは判断が難しいように思います。

　果たして「バイナリファイル」ってのをどういう風に定義づけしたらいいかが
問題になると思います。

　エンコード種類の特定に失敗したファイルは除外するとかってすると、例えば
Shift-JISのファイルであってもごく一部に文字化けがあったらそれで検索対象
から除外されてしまう可能性が出てきてしまうし…。何パーセントのミスがあっ
たら、みたいなややこしいルールを作るのも難しい気がします。

　何かいいアイデアがあるといいですけど…。

> 「grepの文字数制限を超えて検索された可能性があります。」

　これはたしかに僕もうざいって思う時があります。かといって、「常に文字数
制限等を解除した状態で実行」をONにすると、すべての検索が終わるまで結果が
出てこないので、これまた不便です。

　なんとか改良したい所ではあります。

RE:30913 grep でバイナリファイルを除外

Iranoan さん　12/03/06 23:11

　秀まるおさん今日は、Iranoan です。
> 　バイナリファイルかどうかってのは判断が難しいように思います。
　これが出来るのが理想ですが、除外ファイルの拡張子に、正規表現やワイル
ドカードを指定できたり、
→http://hidemaruo.dip.jp:81/turukame/turukame_3/x0902652.html#2737
サブフォルダ内で除外フォルダが指定できたら便利なのに、と思う事は良くあ
ります。

RE:30913 grep でバイナリファイルを除外

秀まるお2 さん　12/03/07 08:41

　とりあえず、NULL文字を含むファイルは除外する、みたいなオプションでいけ
るんならそれだけ追加してもいいかなぁという気がしますけど、そんなんでどう
でしょうか。

　Yossiさんの所にあるバイナリファイルがそういう条件なら都合がいいですけ
ども。

RE:30914 grep でバイナリファイルを除外

秀まるお2 さん　12/03/07 09:11

　「動作環境・検索・grep」の「指定した拡張子を除外」の文字列にワイルド
カードを使えるようにするってことでしたら、それは簡単に対応出来ると思いま
す。

　「拡張子を厳密にチェックする」のオプション用に用意されてる処理を流用す
れば出来るはずです。

　修正予定ってことにさせていただきます。

RE:30915 grep でバイナリファイルを除外

Yossi さん　12/03/07 11:34

秀まるお2さん

コメントありがとうございます。

>　とりあえず、NULL文字を含むファイルは除外する、みたいなオプションでいけ
>るんならそれだけ追加してもいいかなぁという気がしますけど、そんなんでどう
>でしょうか。

引っかかるバイナリファイルを調べると NULL文字てんこ盛りだったので
NULL文字を含む場合は除外するだけでもかなり効果がありそうです。
よろしくお願いいたします。

RE:30915 grep でバイナリファイルを除外

SOU さん　12/03/07 13:23

わからないので少し教えて下さい

動作環境・ファイル・エンコード２
・開くときのエンコード種類関連
→ NULL文字の変換
・保存するときのエンコード種類関連
→ 変換できない文字を置き換える文字

ここ↑の設定と今回のgrepオプションは
無関係と考えてもいいですか（m__m

---
Iranoan さんがコメントされた grep対象の正規表現指定や
除外フォルダ指定はたまにできたらなぁと思うので＋１票

RE:30916 grep でバイナリファイルを除外

Iranoan さん　12/03/07 15:24

　秀まるおさん今日は、一ユーザの Iranoan です。
> 　「動作環境・検索・grep」の「指定した拡張子を除外」の文字列にワイルド
> カードを使えるようにするってことでしたら、それは簡単に対応出来ると思いま
<snip>
> 　修正予定ってことにさせていただきます。
　有り難うございます。

RE:30921 grep でバイナリファイルを除外

秀まるお2 さん　12/03/07 19:00

> ここ↑の設定と今回のgrepオプションは
> 無関係と考えてもいいですか（m__m

　そこのオプションとは無関係になります。

　で、今とりあえず動く段階になった所なんですが、少し判定方法を簡単にして
しまいました。

　ファイルの先頭１キロバイトを読み込んで、その１キロバイトの中にNULL文字
があるかどうかって処理にしました。ファイル全体でチェックするのは面倒なの
で、そういう簡単な処理にしてしまいました。

　ただし、UTF-16のファイル（先頭がFE FFまたはFF FEのファイル）はバイナリ
とは扱わないようにしました。（utf-16だとNULL文字入りまくりなので）

　それでまず大丈夫だと思います。

RE:30922 grep でバイナリファイルを除外

秀まるお2 さん　12/03/07 19:01

　ちなみにオプションの名前とかは以前のまま「指定した拡張子を除外」って風
にしつつ、裏技的にワイルドカードが指定出来るってことにします。

　（ヘルプにはちゃんと説明を入れます）

RE:30923 grep でバイナリファイルを除外

SOU さん　12/03/07 19:48

>　そこのオプションとは無関係になります。

了解です。ありがとうございました。

---
Yossiさん横から入ってごめんなさい (ＳＯＵ)

RE:30923 grep でバイナリファイルを除外

Yossi さん　12/03/08 09:17

>　ファイルの先頭１キロバイトを読み込んで、その１キロバイトの中にNULL文字
>があるかどうかって処理にしました。ファイル全体でチェックするのは面倒なの
>で、そういう簡単な処理にしてしまいました。
>
>　ただし、UTF-16のファイル（先頭がFE FFまたはFF FEのファイル）はバイナリ
>とは扱わないようにしました。（utf-16だとNULL文字入りまくりなので）

早速の対応、ありがとうございます！

>Yossiさん横から入ってごめんなさい (ＳＯＵ)
ＳＯＵさん、わたしは全然気にしてないですよ～(Yossi)

RE:30916 grep でバイナリファイルを除外

Iranoan さん　12/03/12 19:27

　秀まるおさん今日は、一ユーザの Iranoan です。
> 　「動作環境・検索・grep」の「指定した拡張子を除外」の文字列にワイルド
> カードを使えるようにするってことでしたら、それは簡単に対応出来ると思いま
> す。
　導入有り難うございます。(まだ動作確認していませんが)

　ところで、ここで指定できる文字列は、最大何文字でしょう?
　確か 512 文字だったと思うのですが、ワイルドカードが指定できるように
なったので、加えたい拡張子もあり、足りなくなりそうです。増やして頂けま
せんか?

RE:30951 grep でバイナリファイルを除外

秀まるお2 さん　12/03/12 23:58

　ワイルドカードが使えるようになったので、以前よりはコンパクトに拡張子の
指定が可能じゃないかと思いますけど、そういうことではないのでしょうか。

　現状で512バイト分もあるので、出来ればこれ以上は増やしたくない所です。
ワイルドカードを工夫してなんとか出来ないでしょうか。

RE:30956 grep でバイナリファイルを除外

Iranoan さん　12/03/13 00:57

　秀まるおさん今日は、一ユーザの Iranoan です。
> 　現状で512バイト分もあるので、出来ればこれ以上は増やしたくない所です。
> ワイルドカードを工夫してなんとか出来ないでしょうか。
　逆にワイルドカードに纏めてしまうと、検索して欲しいファイルまで除外さ
れてしまうんですよね。

RE:30957 grep でバイナリファイルを除外

秀まるお2 さん　12/03/13 01:15

　いったい何をどうしたいのか、どうしてワイルドカードが必要って話になった
のか、なんだかよく分からなくなりました。

　結局の所、ワイルドカードがサポートされただけでは意味が無いってことです
よね。

　いったい何を指定して何をしたいのか…。ワイルドカードも使えるのに、それ
でもなお512文字でも足りないなんて、ちょっと僕には理解出来ません。

RE:30958 grep でバイナリファイルを除外

Iranoan さん　12/03/13 01:50

　秀まるおさん今日は、一ユーザの Iranoan です。
> 　いったい何をどうしたいのか、どうしてワイルドカードが必要って話になった
> のか、なんだかよく分からなくなりました。
　正規表現を利用するなら、TeX ではフォント・ファイルは拡張子が、[0-9]+
pk になります。また秀丸でもバックアップ・ファイルの拡張子が bak[0-9]{3}
や txt~[0-9]{3} となる為です。

> 　いったい何を指定して何をしたいのか…。ワイルドカードも使えるのに、それ
> でもなお512文字でも足りないなんて、ちょっと僕には理解出来ません。
　画像や動画はもちろんですが、中身はテキストでも中間処理として出力され
るファイルが幾つかあり、これらも除外したいのです。

RE:30923 grep でバイナリファイルを除外

Yossi さん　12/03/13 09:13

>　ファイルの先頭１キロバイトを読み込んで、その１キロバイトの中にNULL文字
>があるかどうかって処理にしました。ファイル全体でチェックするのは面倒なの
>で、そういう簡単な処理にしてしまいました。

8.13 Beta 9 ありがとうございます。
早速、試してみました
以前のようなメッセーが出ることもなくなりとても快適です。

ただ、重ねてのお願いで心苦しいのですが
もし、バイナリ判定で除外したファイルが存在した場合
以下のようなダイアログで注意を喚起していただけると
更に助かります。
┌──────────┐
│バイナリ判定ファイル│
├──────────┤
│　　　　　　　　　　│
│　abc　　　　　　　 │
│　def.o　　　　　　 │
│　ghi.b　　　　　　 │
│　　　　　　　　　　│
│　　　　[OK]　　　　│
└──────────┘

RE:30963 grep でバイナリファイルを除外

秀まるお2 さん　12/03/13 10:10

　このバイナリ判定だけじゃなくて、そもそも除外対象拡張子の指定で除外され
たケースについてもですが、除外されたファイルが何か、あるいはそもそも検索
された対象ファイルが何か分からないのはあんまり良くないなぁと僕個人も思っ
ていた所です。

　ですが、果たしてそれをどう表示したらいいのかがちょっと難しいです。

　ステータスバーに「n個のファイルはバイナリのために除外されました」とか
出したらいいのかなぁと思ったりもしたんですが、ステータスバー表示OFFの人
だと都合悪いし…。

> >　ファイルの先頭１キロバイトを読み込んで、その１キロバイトの中にNULL文字
> もし、バイナリ判定で除外したファイルが存在した場合
> 以下のようなダイアログで注意を喚起していただけると
> 更に助かります。

　grep後にメッセージを出す（出たり出なかったりする）のもいまいちな気がす
るというか、それはそれでどっちみちオプション追加になると思います。

　今一つ考えてるのは、「grepログの表示」みたいなコマンドを別途用意して、
それを実行したら、直前のgrepについての詳細ログを表示したらいいかなぁとい
うのはあります。

　何かご意見があったらお願いします。

RE:30964 grep でバイナリファイルを除外

Yossi さん　12/03/13 10:31

>　このバイナリ判定だけじゃなくて、そもそも除外対象拡張子の指定で除外され
>たケースについてもですが、除外されたファイルが何か、あるいはそもそも検索
>された対象ファイルが何か分からないのはあんまり良くないなぁと僕個人も思っ
>ていた所です。

おっしゃるとおりです。

>　今一つ考えてるのは、「grepログの表示」みたいなコマンドを別途用意して、
>それを実行したら、直前のgrepについての詳細ログを表示したらいいかなぁとい
>うのはあります。
>
>　何かご意見があったらお願いします。

秀丸メールのステータスバーの右に詳細ボタンがあり
とても便利に使わせていただいてますが
あれと同じような仕様はいかがでしょうか？
結果の概要はステータスバー
詳細ボタンのクリックで grep動作の詳細を確認みたいに

RE:30959 grep でバイナリファイルを除外

秀まるお2 さん　12/03/13 10:35

> 　正規表現を利用するなら、TeX ではフォント・ファイルは拡張子が、[0-9]+
> pk になります。

　よくわからないのですが、Tex用のフォントファイルはgrep検索したい用の
フォルダと別の所に一括して置いておくことが出来ない物なのでしょうか。何か
そこから工夫すれば済む話じゃないのでしょうか。

　それと、拡張子の種類がほんとんどランダムなごとく、１つ１つのフォント毎
に全部違ってるとしたら、それを拡張子というくくりで指定するのとは別の方法
で除外することを考えた方が現実的じゃないでしょうか。例えばフォントファイ
ルが全部「TEXFONTxxxx.xxxx」みたいな名前だったら、「texfont*.*」って拡張
子で指定出来るし、そういう解決策は無いのでしょうか。

　だいたいにして、フォント用のファイルだったらそんなに極端に大量にある物
でも無いような、せいぜい１０個くらいの物なんじゃないでしょうか。５１２
バイトでも足りないなんていったら、つまり１００個以上あるってことになるの
かなぁと思いますけど、そんなファイルが拡張子ランダムで他のファイルと共存
してるなんて、ちょっとその段階で扱いづらいし。

　それか少々手抜きになりますが、「*.*pk」で指定しても、不都合なケースも
無いような気がします。
　（除外されたファイルが何か確認出来る機能が別途必要かもしれませんが）

> 　画像や動画はもちろんですが、中身はテキストでも中間処理として出力され
> るファイルが幾つかあり、これらも除外したいのです。

　普通のWindows用のソフトなら、中間ファイルの拡張子がそんなに大量の種類
があることも無いと思いますけども…。

　しいてもっと極端に大量の拡張子なり大量のファイル名なりを個別に指定した
いってことでしたら、例えばWindowsに付属のrobocopyみたいに除外対象（ある
いはそもそも検索対象）のファイル／フォルダをテキストファイルで指定するよ
うな機能追加って方向にしないとダメな気がします。そうでないと、細かい
オプションばっかりどんどん増えていっておかしなことになりそうです。

RE:30966 grep でバイナリファイルを除外

秀まるお2 さん　12/03/13 11:06

　あと他に対応手段として、robocopyみたいに、

　\xxxx\

　って指定したら、その「xxxx」部分がフォルダ名にマッチしたらって指定を
サポートする手段があります。

　例えば「\texfont\」って指定したら「texfont」ってフォルダ配下は全部
スキップする、みたいな。

RE:30965 grep でバイナリファイルを除外

Iranoan さん　12/03/13 12:29

　今日は、一ユーザの Iranoan です。
> 秀丸メールのステータスバーの右に詳細ボタンがあり
　これだと、
> ステータスバー表示OFFの人
> だと都合悪いし…。
は解消しませんよね。

　私は
> 　今一つ考えてるのは、「grepログの表示」みたいなコマンドを別途用意して、
> それを実行したら、直前のgrepについての詳細ログを表示したらいいかなぁとい
> うのはあります。
これで、ダイアログ・ボックスではなく、新規に秀丸エディタが開いたら、コ
ピペも出来て便利だと思います。「キー割り当て」の [一覧作成] の様に。

RE:30966 grep でバイナリファイルを除外

Iranoan さん　12/03/13 13:49

　秀まるおさん今日は、一ユーザの Iranoan です。
> 　よくわからないのですが、Tex用のフォントファイルはgrep検索したい用の
> フォルダと別の所に一括して置いておくことが出来ない物なのでしょうか。
　これは難しいですね。
　TeX 関係のテキスト形式の各種設定や、レイアウト、マクロを非常に簡略化
して表すと、
TeX のルート+メインのパッケージ------+各種設定や、レイアウト、マクロ
| +フォント
+個人で追加したパッケージ+各種設定や、レイアウト、マクロ
+フォント
とする様になっているためです。
> 　それと、拡張子の種類がほんとんどランダムなごとく、１つ１つのフォント毎
> に全部違ってるとしたら、
　勿論ランダムではありませんので、纏めることは出来ますが、今の登録で
*.vf;*.ofm;*.otf;*.ovf;*.tfm;*.pf?;*.*pk
です。
> 　だいたいにして、フォント用のファイルだったらそんなに極端に大量にある物
> でも無いような、せいぜい１０個くらいの物なんじゃないでしょうか。
　TeX の場合は、ボルトー、イタリック、ボルドー・イタリックで全て別フォ
ントです。これで標準でも英字三書体、和文二書体、更には数式も別フォント
なので、使われるフォント・ファイルの数は膨大になります。(それ以外にも
増える理由はあるのですが...)
　フォントは上記 40 文字に纏められるので、大したことはありませんが、こ
れだけで制限の一割近くを使ってしまいます。

> 　普通のWindows用のソフトなら、中間ファイルの拡張子がそんなに大量の種類
> があることも無いと思いますけども…。
　こちらに関しては、普段は検索ファイルに *.txt;*.c といった要領で検索
するので、それ程問題に成りません。ただ自分の作成したファイル全体を検索
したい時は、どうしても * で検索することになります。するとプログラム関
係 (*.a;*.chm;*.exe;*.dll;*.ico;*.o;*.lib;*.oll;*.opp) や TeX の中間処
理や最終出力 (*.bb;*.dvi;*.pdf;*.gz;*.ps;*.xbb;*.toc;*.out;*.idx;*.ind;
*.snm;*.nav;*.aux) 以外にも、画像・動画・音楽関係を除外したいと、512
文字を超えてしまいます。
　バイナリ・ファイルらしきファイルは除外できる様になったので、それらは
拡張子では指定しないで使うべきかも知れませんが。

RE:30968 grep でバイナリファイルを除外

Iranoan さん　12/03/13 13:58

　秀まるおさん今日は、Iranoan です。
> 　\xxxx\
>
> 　って指定したら、その「xxxx」部分がフォルダ名にマッチしたらって指定を
> サポートする手段があります。
　他の方は解りませんが、TeX の場合 xxxx にあたるのが、fonts というあま
りにありがちな名前なので、この方法は、使いづらいですね。加えて、この
フォルダ配下にフォントの設計図にあたるテキスト形式の MF ファイルもあり、
(私はそれだけのスキルがありませんが) これを確認する人もいます。
　以上のことから、この設定を追加して頂いても「TeX ユーザには使われない」
と思って頂いた方が良いと思います。

RE:30970 grep でバイナリファイルを除外

Yossi さん　12/03/13 14:44

>> 秀丸メールのステータスバーの右に詳細ボタンがあり
>　これだと、
>> ステータスバー表示OFFの人
>> だと都合悪いし…。
>は解消しませんよね。

そうか、ステータスバーを全非表示にできちゃうんですね
エディタとメーラーではソフトの性格が違うから
同じ操作系にするにもいろいろ制限があり難しそうだな・・

RE:30973 grep でバイナリファイルを除外

秀まるお2 さん　12/03/13 14:50

　フォルダの指定は「\xxxx\xxx」みたいにも指定できるようにする手はあるの
で、例えばtexのフォントファイルがtex用フォルダ配下にあるなら、
「\tex\fonts\」って指定してもらう手もあるかと思います。

　何かこういう簡単な方法があればってことであればアイデアを提供いただると
助かりますが…。除外対象拡張子を極端に大量に指定するってのは、たぶん
Iranoanさん以外にはそんな指定する人はいないと思うので、不採用とさせてい
ただきます。拡張子指定を正規表現でってのもとりあえず無しで。

RE:30976 grep でバイナリファイルを除外

秀まるお2 さん　12/03/13 17:50

　とりあえず簡単に出来ることとしては、ステータスバーに、例えば秀丸メール
がメールを受信した後に１０秒くらい表示するような感じで

　「検索対象ファイル数=XX 除外数=XX ヒット数=XX」

　みたいな表示をするのがお手軽なので、それだけ先にやろうかなぁと思います。

　（特にオプション追加とかじゃなくて、ステータスバー表示ONの人だけ見える、
みたいな感じで）

　grep実行の詳細を表示する（秀丸に出力する）コマンド追加はちょっと荷が重
いので…。後で考えます。

　他にも、例えばファイルを開いた後にNULL文字があるとか改行コード混在して
るとかを、ダイアログボックスじゃなくてステータスバーに表示するのもあった
らいいって意見もあったりします。あと検索でヒットする文字列の数とか上下方
向のどっちにあるかの表示とか…。

RE:30977 grep でバイナリファイルを除外

Iranoan さん　12/03/13 20:58

　秀まるおさん今日は、一ユーザの Iranoan です。
> Iranoanさん以外にはそんな指定する人はいないと思うので、不採用とさせてい
> ただきます。
　解りました。
　バイナリ・ファイルは拡張子で指定しないで、別オプションで対処し、テキ
スト・ファイルだけど検索から除外したいファイルで利用させてもらいます。

> 　フォルダの指定は「\xxxx\xxx」みたいにも指定できるようにする手はある
　こちらの件に関してですが、TeX ではやはり使いづらいと思います。このや
り方でも幾つかの設定をやるなら、先の様なワイルドカードを使った拡張子で
指定した方が解り易く、短くなる可能性すら有るので。
　ただし、例えば秀丸メールのメール本文と添付ファイルの両方を検索したい
けど、送受信ログは除外したい、といった場合は「\受信ログ\」「\送信ログ\」
と指定しておけば良くなるので、便利かも知れません。
　元々私は、送受信ログを別拡張子にしているので関係有りませんが(^^;。

RE:30985 grepでバイナリファイルを除外し

h-tom さん　12/03/13 23:46

h-tom です。

>　とりあえず簡単に出来ることとしては、ステータスバーに、例えば秀丸メール
>がメールを受信した後に１０秒くらい表示するような感じで
＜省　略＞
>　grep実行の詳細を表示する（秀丸に出力する）コマンド追加はちょっと荷が重
>いので…。後で考えます。
単純に、grep結果の最後に、セパレータ文字列を追加し、各種情報を出力しても
いいのでは？

RE:30990 grepでバイナリファイルを除外し

秀まるお2 さん　12/03/14 09:32

　オプションでってことならそれもアリかと思います。

　オプションじゃなくて標準でやってしまうと、例えばマクロでgrepした結果の
行数をカウントするようなマクロがあったりすると、誤動作してまずいです。

　とりあえずオプション追加無しでも出来るってことでステータスバーへの表示
をしようかなぁと思いました。
　（といいつつまだ何も作業してませんが）

RE:30991 grepでバイナリファイルを除外し

Yossi さん　12/03/14 10:57

>　オプションでってことならそれもアリかと思います。

標準はステータスバーに１０秒ぐらいの表示
オプションで、山紫水明さんが(Zengogyo.mac)でされているように
先頭部分に grep結果を追加するのはどうかなと思います。

候補案として投稿させて頂きます。

RE:30992 grepでバイナリファイルを除外し

秀まるお2 さん　12/03/19 09:30

　山紫水明さん作のZengogyo.macとか、あと、GNU grepの出力結果とかを参考さ
せてもらって、何かいい方向を考えてみます。

　今すぐはちょっと難しいですけども。

RE:31018 grepでバイナリファイルを除外し

Yossi さん　12/03/19 11:45

>　山紫水明さん作のZengogyo.macとか、あと、GNU grepの出力結果とかを参考さ
>せてもらって、何かいい方向を考えてみます。
>
>　今すぐはちょっと難しいですけども。

ありがとうございます。
周囲に秀丸最強論を展開している信者としましては期待してます（笑）
気長に待ちます。

RE:31020 grepでバイナリファイルを除外し

秀まるお2 さん　12/03/26 14:45

　現状のgrepダイアログボックスにさらなるオプション追加は難しいので、やる
としたらですが…

　「ファイル名一覧だけ作成」
　「ファイル名をフルパスで出力」

　を廃止して、代わりに

　出力形式: [__________________]▼ [...]

　みたいな形でいくつか登録されたパターンから選択したり[...]ボタンで形式
をカスタマイズしたりって方向にしたらいいのかなぁと思いました。

　もっといい仕組みを考えて、これはという仕様が思いついたらトライしようか
なぁと思います。

RE:31047 grepでバイナリファイルを除外し

Yossi さん　12/03/26 15:10

>　を廃止して、代わりに
>
>　出力形式: [__________________]▼ [...]
>
>　みたいな形でいくつか登録されたパターンから選択したり[...]ボタンで形式
>をカスタマイズしたりって方向にしたらいいのかなぁと思いました。

なるほど、出力形式をカスタマイズして候補化するというアイデアですね。
小生としては素晴らしいと思います。

会社では田楽DLLなどが事情で入れられない端末があるので
これが実現すると嬉しいですね