Null文字を空白に変換 - 秀丸エディタ関連ソフト会議室 - スレッド26103, 2009/02/05

Null文字を空白に変換

eigodoo1 さん　09/02/05 13:35

秀丸ファイルを開いたときに次のような文章が現れ、のみならず文字と文字の間に半
角スペースができてしまい、とてもとても読みにくい形になります。

「Null文字を空白に変換して読み込みました。変換した場所にジャンプしますか？」

至急、解決してください。

RE:26103 Null文字を空白に変換

秀丸担当 さん　09/02/05 13:52

>秀丸ファイルを開いたときに次のような文章が現れ、のみならず文字と文字の間に半
>角スペースができてしまい、とてもとても読みにくい形になります。
>
>
>「Null文字を空白に変換して読み込みました。変換した場所にジャンプしますか？」

もしUnicode(UTF-16)のファイルを開こうとしてそうなってしまうとしたら、エ
ンコードの自動認識に失敗して、Unicode(UTF-16)ではない別のエンコードと認
識して読み込んでしまった結果そうなっているのかもしれないです。

[ファイル]→[エンコードの種類]→[Unicode(UTF-16)]→[ファイルを読み込みし
直す]
とすると、もしかしたらうまく読み込めるかもしれないです。

それでうまく読み込めた場合、Unicode(UTF-16)のファイルにはBOMという情報を
書き込むことができて、BOMを付けておくと、エンコードの認識に失敗しないよ
うになります。
[ファイル]→[名前を付けて保存]で、[エンコードの種類]から[Unicode(UTF-
16)]（自動判定ではないほう）を選んで、[BOMを付ける]をONにして保存すると、
BOMを付けることができて、その後はうまくいくようになるかもしれません。

そういうことではないとしたら、できるだけ詳しいことを教えていただけると、
何かわかるかもしれません。

RE:26104 Null文字を空白に変換

eigodoo1 さん　09/02/05 14:01

>
>>秀丸ファイルを開いたときに次のような文章が現れ、のみならず文字と文字の間に半
>>角スペースができてしまい、とてもとても読みにくい形になります。
>>
>>
>>「Null文字を空白に変換して読み込みました。変換した場所にジャンプしますか？」
>
>もしUnicode(UTF-16)のファイルを開こうとしてそうなってしまうとしたら、エ
>ンコードの自動認識に失敗して、Unicode(UTF-16)ではない別のエンコードと認
>識して読み込んでしまった結果そうなっているのかもしれないです。
>
>[ファイル]→[エンコードの種類]→[Unicode(UTF-16)]→[ファイルを読み込みし
>直す]
>とすると、もしかしたらうまく読み込めるかもしれないです。
>
>
>それでうまく読み込めた場合、Unicode(UTF-16)のファイルにはBOMという情報を
>書き込むことができて、BOMを付けておくと、エンコードの認識に失敗しないよ
>うになります。
>[ファイル]→[名前を付けて保存]で、[エンコードの種類]から[Unicode(UTF-
>16)]（自動判定ではないほう）を選んで、[BOMを付ける]をONにして保存すると、
>BOMを付けることができて、その後はうまくいくようになるかもしれません。
>
>
>そういうことではないとしたら、できるだけ詳しいことを教えていただけると、
>何かわかるかもしれません。

最近、このようなことが起こり困っています。そのたびに、ファイルを作りなおして
いるからです。

上記の連絡どおりに行いましたが、直りません。できるだけ詳しいことといっても、
これ以上詳しいことはありません。当該ファイルを送信してみていだだけませんか？
その方が確実です。確かに、UTF-16のファイルです。

RE:26105 Null文字を空白に変換

秀丸担当 さん　09/02/05 14:31

>上記の連絡どおりに行いましたが、直りません。できるだけ詳しいことといっても、
>これ以上詳しいことはありません。当該ファイルを送信してみていだだけませんか？
>その方が確実です。確かに、UTF-16のファイルです。

どのような操作をして、画面にどのように表示されているかを１つ１つ教えてい
ただけると助かります。

例えば、

１．「Null文字を空白に変換して読み込みました。変換した場所にジャンプしま
すか？」とメッセージが出た。
２．「はい」をクリックした。
３．メニューから[ファイル]→[エンコードの種類]→[Unicode(UTF-16)]を選ん
だ。
４．「エンコードの切り替え」というダイアログボックスが出た。
５．「ファイルを読み込みし直す」というボタンを押した。
６．再び「Null文字を空白に変換して読み込みました。変換した場所にジャンプ
しますか？」とメッセージが出てしまい、直っていない。

というような感じです。
お手数かとは思いますが、何が起きているのか分かれば適切な回答ができると思
います。

ファイルを送っていただける場合は"xxxxxxxx@nifty.com"まで、秀丸担当宛と書
いて送ってほしいです。
その際、設定内容を保存したものも送っていただけるとより確実だと思います。
設定内容は、[その他]→[設定内容の保存/復元]よりファイルに保存できます。

RE:26106 Null文字を空白に変換

eigodoo1 さん　09/02/05 14:52

>
>>上記の連絡どおりに行いましたが、直りません。できるだけ詳しいことといっても、
>>これ以上詳しいことはありません。当該ファイルを送信してみていだだけませんか？
>>その方が確実です。確かに、UTF-16のファイルです。
>
>どのような操作をして、画面にどのように表示されているかを１つ１つ教えてい
>ただけると助かります。
>
>例えば、
>
>１．「Null文字を空白に変換して読み込みました。変換した場所にジャンプしま
>すか？」とメッセージが出た。
>２．「はい」をクリックした。
>３．メニューから[ファイル]→[エンコードの種類]→[Unicode(UTF-16)]を選ん
>だ。
>４．「エンコードの切り替え」というダイアログボックスが出た。
>５．「ファイルを読み込みし直す」というボタンを押した。
>６．再び「Null文字を空白に変換して読み込みました。変換した場所にジャンプ
>しますか？」とメッセージが出てしまい、直っていない。
>
>というような感じです。
>お手数かとは思いますが、何が起きているのか分かれば適切な回答ができると思
>います。
>
>ファイルを送っていただける場合は"xxxxxxxx@nifty.com"まで、秀丸担当宛と書
>いて送ってほしいです。
>その際、設定内容を保存したものも送っていただけるとより確実だと思います。
>設定内容は、[その他]→[設定内容の保存/復元]よりファイルに保存できます。
>

下記のごとく、回答します：

１．「Null文字を空白に変換して読み込みました。変換した場所にジャンプしま
すか？」とメッセージが出た。
２．「はい」をクリックした。
３．メニューから[ファイル]→[エンコードの種類]→[Unicode(UTF-16)]を選ん
だ。
４．「エンコードの切り替え」というダイアログボックスが出た。
５．「ファイルを読み込みし直す」というボタンを押した。
６．再び「Null文字を空白に変換して読み込みました。変換した場所にジャンプ
しますか？」とメッセージが出てしまい、直っていない。

秀丸担当あてにメールをおくります。至急確認してください。

RE:26103 Null文字を空白に変換

秀まるお2 さん　09/02/05 14:54

> 「Null文字を空白に変換して読み込みました。変換した場所にジャンプしますか？」
>
> 至急、解決してください。

　こういう状況になってしまった場合の対処方法だけ先に連絡させていただきま
すと…

　この場合は、とりあえず「はい」でも「いいえ」でもどっちでもいいのでボタ
ンを押してしまいます。そして、「ファイル」メニューの「エンコードの種類」
の所から

Unicode(UTF-16)

　を選択します。すると、

　　エンコードの切り替え
　　エンコードの種類が切り替わりました。操作を選択してください。

　の問い合わせメッセージが出てくるはずなので、そこで

　　「ファイルを読み込み直す」

　を選択すれば、あとは文字化けしないでファイルがうまく読み込めるはずだと
思います。

　ということでどうでしょ？

　もしそれでうまくいかないのだとしたら、例えばそうやって読み込んだ後にど
ういうエラーメッセージが出るのか、またはエラーメッセージが出ないとしたら、
画面上に出てくる文字がどんな風に化けているのか（例えば相変わらず空白が１
文字おきに出てくるのか）等を教えていただければ、何か解決のヒントになるか
なぁと思います。

RE:26108 Null文字を空白に変換

eigodoo1 さん　09/02/05 15:11

>> 「Null文字を空白に変換して読み込みました。変換した場所にジャンプしますか？」
>>
>> 至急、解決してください。
>
>　こういう状況になってしまった場合の対処方法だけ先に連絡させていただきま
>すと…
>
>　この場合は、とりあえず「はい」でも「いいえ」でもどっちでもいいのでボタ
>ンを押してしまいます。そして、「ファイル」メニューの「エンコードの種類」
>の所から
>
> Unicode(UTF-16)
>
>　を選択します。すると、
>
>
>　　エンコードの切り替え
>　　エンコードの種類が切り替わりました。操作を選択してください。
>
>　の問い合わせメッセージが出てくるはずなので、そこで
>
>　　「ファイルを読み込み直す」
>
>　を選択すれば、あとは文字化けしないでファイルがうまく読み込めるはずだと
>思います。
>
>　ということでどうでしょ？
>
>　もしそれでうまくいかないのだとしたら、例えばそうやって読み込んだ後にど
>ういうエラーメッセージが出るのか、またはエラーメッセージが出ないとしたら、
>画面上に出てくる文字がどんな風に化けているのか（例えば相変わらず空白が１
>文字おきに出てくるのか）等を教えていただければ、何か解決のヒントになるか
>なぁと思います。

文字が化けるのではなく、冒頭に説明の通り、文字と文字の間に半角スペースが数え
切れないほど現れるのです。

RE:26107 Null文字を空白に変換

秀まるお2 さん　09/02/05 15:19

　送っていただいたファイルを秀丸担当と僕との二人で調査したんですが、この
ファイルの形式はたしかにutf-16ですが、いわゆる「BOM」が付いてませんでし
た。

　「BOM」というのは、つまり、このファイルがたしかにutf-16形式のファイル
であることを表すための特殊記号のような物なんですが、これが入ってないと、
秀丸エディタはutf-16であることをうまく判定出来ず、Shift-JIS等の他のエン
コード種類であると誤判定してしまいます。

　ということで、もしもそういう誤判定になってしまった場合には、26108番発
言にあるような方法でエンコード種類を手動変更して読み込み直ししていただく
しか無いと思います。

　あと、もしかしてですが、「ファイル」メニューの「エンコード種類」の中に
ある「Unicode(utf-16)」を選択しても何も反応が無いようでしたら、すみませ
んが一度「日本語(Shift-JIS)」とかの他のエンコード種類に切り替えてからも
う一度「Unicode(utf-16)」を選択しなおすってやってほしいです。

----------------------------------
　それで、今回のように、BOMの無いutf-16文字コードファイルの自動判定がう
まくいかない点については、今後のV8.00での改良のネタにすると秀丸担当が言
ってます。

　それと、現状でもしこういう誤判定のケースが多くて困るということでしたら、
一度正しくファイルを開いてから、「ファイル・名前を付けて保存...」で

　エンコード種類： Unicode(utf-16)
　 BOMを付ける = ON

　として保存しなおすのがいいと思います。そうすれば以後はうまく自動判定し
ます。

　ということでお願いします。

RE:26109 Null文字を空白に変換

秀まるお2 さん　09/02/05 15:30

　いろいろすみせん。

　つまり、もう一度話を整理させていただくと…

「Null文字を空白に変換して読み込みました。変換した場所にジャンプします
か？」

　のメッセージが出てきた後に、僕の書いたような手順でもう一度ファイルを読
み込み直ししても、やはり同じように警告メッセージが出てきて半角スペースが
数え切れない程出てくる、ということですかね？

　でしたらということで作戦を考えさせていただきますと…

■作戦１

　一度「ファイル・エンコード種類」の「日本語(Shift-JIS）」等の他のエン
コード種類を選択しなおして、それからもう一度「Unicode(utf-16)」を選択し
て読み込み直しするって作戦はどうでしょ？

■作戦２

　「ファイル・閉じて開く...」を実行して、今現在選択しているファイルを選
択しつつ、エンコード種類を「Unicode(UTF-16)」に切り替えて、それで「開
く」ボタンを押して開いてみたらどうでしょ？。それで大丈夫なはずだと思いま
すけども…。

■作戦３

　それでもダメでしたら、Windows付属のメモ帳で開いてみるとどうでしょ？。
もしメモ帳でうまく開けるならば、メモ帳上で「ファイル・名前を付けて保
存...」を実行して、同じファイル名で上書き保存してしまってほしいです。そ
うするとファイルにBOMが入るので、それで秀丸エディタでも文字化けなく開く
ようになるはずだと思います。

　ということで、いろいろアイデアを考えてみたんですが…

　どうでしょ？

RE:26110 Null文字を空白に変換

eigodoo1 さん　09/02/05 15:36

>　送っていただいたファイルを秀丸担当と僕との二人で調査したんですが、この
>ファイルの形式はたしかにutf-16ですが、いわゆる「BOM」が付いてませんでし
>た。
>
>　「BOM」というのは、つまり、このファイルがたしかにutf-16形式のファイル
>であることを表すための特殊記号のような物なんですが、これが入ってないと、
>秀丸エディタはutf-16であることをうまく判定出来ず、Shift-JIS等の他のエン
>コード種類であると誤判定してしまいます。
>
>　ということで、もしもそういう誤判定になってしまった場合には、26108番発
>言にあるような方法でエンコード種類を手動変更して読み込み直ししていただく
>しか無いと思います。
>
>　あと、もしかしてですが、「ファイル」メニューの「エンコード種類」の中に
>ある「Unicode(utf-16)」を選択しても何も反応が無いようでしたら、すみませ
>んが一度「日本語(Shift-JIS)」とかの他のエンコード種類に切り替えてからも
>う一度「Unicode(utf-16)」を選択しなおすってやってほしいです。
>
>----------------------------------
>　それで、今回のように、BOMの無いutf-16文字コードファイルの自動判定がう
>まくいかない点については、今後のV8.00での改良のネタにすると秀丸担当が言
>ってます。
>
>　それと、現状でもしこういう誤判定のケースが多くて困るということでしたら、
>一度正しくファイルを開いてから、「ファイル・名前を付けて保存...」で
>
>　エンコード種類： Unicode(utf-16)
>　 BOMを付ける = ON
>
>　として保存しなおすのがいいと思います。そうすれば以後はうまく自動判定し
>ます。
>
>　ということでお願いします。

1）[エンコード種類を手動変更して読み込み直ししていただく]とはどういう意味で
すか？

2）すべてのファイルにBOMをつける方法を教えてください。3000ファイル以上ありま
す。

3）「一度正しくファイルを開いてから、」とはどういう意味ですか？私は、正しく
ファイルを開いています。ファイルを開くのに、正しいも誤りもないはずです。

RE:26111 Null文字を空白に変換

eigodoo1 さん　09/02/05 15:42

>　いろいろすみせん。
>
>　つまり、もう一度話を整理させていただくと…
>
>「Null文字を空白に変換して読み込みました。変換した場所にジャンプします
>か？」
>
>　のメッセージが出てきた後に、僕の書いたような手順でもう一度ファイルを読
>み込み直ししても、やはり同じように警告メッセージが出てきて半角スペースが
>数え切れない程出てくる、ということですかね？
>
>　でしたらということで作戦を考えさせていただきますと…
>
>■作戦１
>
>　一度「ファイル・エンコード種類」の「日本語(Shift-JIS）」等の他のエン
>コード種類を選択しなおして、それからもう一度「Unicode(utf-16)」を選択し
>て読み込み直しするって作戦はどうでしょ？
>
>
>■作戦２
>
>　「ファイル・閉じて開く...」を実行して、今現在選択しているファイルを選
>択しつつ、エンコード種類を「Unicode(UTF-16)」に切り替えて、それで「開
>く」ボタンを押して開いてみたらどうでしょ？。それで大丈夫なはずだと思いま
>すけども…。
>
>■作戦３
>
>　それでもダメでしたら、Windows付属のメモ帳で開いてみるとどうでしょ？。
>もしメモ帳でうまく開けるならば、メモ帳上で「ファイル・名前を付けて保
>存...」を実行して、同じファイル名で上書き保存してしまってほしいです。そ
>うするとファイルにBOMが入るので、それで秀丸エディタでも文字化けなく開く
>ようになるはずだと思います。
>
>　ということで、いろいろアイデアを考えてみたんですが…
>
>　どうでしょ？

「作戦1」を実行すると成功しました。しかし、これでは手間がかかります。いちい
ち、こんなことを伴う様では。あと3000以上のファイルがありますが、この処理はど
うすればいいですか？

RE:26113 Null文字を空白に変換

いいじま さん　09/02/05 15:53

いいじまです。先日は失礼しました。

> 「作戦1」を実行すると成功しました。しかし、これでは手間がかかります。いちい
> ち、こんなことを伴う様では。あと3000以上のファイルがありますが、この処理はど
> うすればいいですか？

「UTF-16・BOMつき」、またはもっと無難な「UTF-8・BOMなし」で上書き保存する
操作をマクロにして、何かのキーにそのマクロを割り当てておく、というのは
どうでしょう。

で、「Null文字を…」が出たらとりあえずYes/Noのどちらか
（既に書かれているとおり、どちらでもかまいません）を選んでから
そのマクロを実行する、というのが、「秀丸だけでやる場合の」最善策だと思います。

一般的には、ファイルが3000個もあって、たぶんUTF-16以外のものも混じっている、
という状況だと、perlなどのスクリプト言語で一括処理するのが現実的だと思います。
Windows（というかIE）についてくるJavaScript、VBScriptという手もありますが…。

RE:26114 Null文字を空白に変換

eigodoo1 さん　09/02/05 16:01

>いいじまです。先日は失礼しました。
>
>> 「作戦1」を実行すると成功しました。しかし、これでは手間がかかります。いちい
>> ち、こんなことを伴う様では。あと3000以上のファイルがありますが、この処理はど
>> うすればいいですか？
>
>「UTF-16・BOMつき」、またはもっと無難な「UTF-8・BOMなし」で上書き保存する
>操作をマクロにして、何かのキーにそのマクロを割り当てておく、というのは
>どうでしょう。
>
>で、「Null文字を…」が出たらとりあえずYes/Noのどちらか
>（既に書かれているとおり、どちらでもかまいません）を選んでから
>そのマクロを実行する、というのが、「秀丸だけでやる場合の」最善策だと思います。
>
>一般的には、ファイルが3000個もあって、たぶんUTF-16以外のものも混じっている、
>という状況だと、perlなどのスクリプト言語で一括処理するのが現実的だと思います。
>Windows（というかIE）についてくるJavaScript、VBScriptという手もありますが…。

いいじまさん。

お返事ありがとうございます。

上記のご回答はとても専門的で小生にはわかりかねます。
秀丸には、すべてのファイルを共通に設定できる機能がありますが、その機能を使っ
て、3000ファイルを>「UTF-16・BOMつき」にするには、どうすれば、いいですか？ち
なみにファイル3000枚はすべて、UTF-16なのです。

RE:26113 Null文字を空白に変換

秀まるお2 さん　09/02/05 16:07

　秀丸担当に相談したら、BOM無しのUTF-16でもうまく自動判定させる方式があ
るそうです。

　方法は…

　１．「その他・動作環境...」を実行します。
　２．左下にある「上級者向け設定」がもしOFFになっていたらをONにします。
　３．「設定の対象」の一覧がツリー構造になっているので、そのツリーの
　　　中から「ファイル・エンコード１」を探して選択します。
　４．「ファイルの内容を解析してエンコードの種類を自動判定する」
　　　がもしOFFになっていたらONにする。
　５．「複数のエンコードの種類に適合する場合」の所の設定を、
　　　「優先順位に従う（２回に見込みが働くことがあります）」
　　　にする。
　６．動作環境をOKして閉じる。

　とすれば、それだけでutf-16(BOM無し)をうまく判定するという話ですけど…。

　どうでしょ？

　もしそれでダメでしたら、先ほどの設定ページにある自動判定する文字コード
種類の「Unicode(UTF-16)」のチェックマークをONにするのもやってみてほしい
です。

RE:26116 Null文字を空白に変換

秀まるお2 さん　09/02/05 16:13

　すみません。その方法でもダメでした。

　ちょっと他の作戦を考えるので少々お待ちください。

RE:26117 Null文字を空白に変換

秀まるお2 さん　09/02/05 16:17

　何度もすみません。やっぱりその方法でいけるんですが、もう１つ必要な設定があ
りました。

　先ほどの「動作環境・ファイル・エンコード１」の設定ページの中にある「標準の
エンコードの種類...」というボタンを押して、そこで標準のエンコード種類を「Uni
code(UTF-16)」にする必要があるそうです。

　それと「優先順位に従う」にする設定とを両方やれば、UTF-16(BOM無し)がいきな
り誤判定なく開けるようになるはず、とのことです。

　ということでやってみてほしいです。

RE:26118 Null文字を空白に変換

eigodoo1 さん　09/02/05 16:32

>　何度もすみません。やっぱりその方法でいけるんですが、もう１つ必要な設定が
>ありました。
>
>　先ほどの「動作環境・ファイル・エンコード１」の設定ページの中にある「標準
>のエンコードの種類...」というボタンを押して、そこで標準のエンコード種類を
>「Unicode(UTF-16)」にする必要があるそうです。
>
>　それと「優先順位に従う」にする設定とを両方やれば、UTF-16(BOM無し)がいきな
>り誤判定なく開けるようになるはず、とのことです。
>
>　ということでやってみてほしいです。

いろいろとありがとうございます。しかし、上記の説明の中で、「　　１．「その
他・動作環境...」を実行します。
　２．左下にある「上級者向け設定」がもしOFFになっていたらをONにします。
　３．「設定の対象」の一覧がツリー構造になっているので、そのツリーの
　　　中から「ファイル・エンコード１」を探して選択します。
　４．「ファイルの内容を解析してエンコードの種類を自動判定する」
　　　がもしOFFになっていたらONにする。
」までと、「動作環境・ファイル・エンコード１」の設定ページの中にある「標準の
エンコードの種類...」というボタンを押して、そこで標準のエンコード種類を「Uni
code(UTF-16)」にするまでは、すでに過去１か月ぐらいまえに行い済みでした。にも
かかわらず、「Null文字を空白に変換して読み込みました。変換した場所にジャンプ
しますか？」という表現が現れたのです。なぜですか？

RE:26119 Null文字を空白に変換

秀まるお2 さん　09/02/05 17:16

> 「Null文字を空白に変換して読み込みました。変換した場所にジャンプ
> しますか？」という表現が現れたのです。なぜですか？

　これはつまり、文字コードの自動判定に失敗してるがために、そういうややこ
しい状況になってしまった訳なんですが…。

　秀丸エディタが、今回のような「UTF-16だけどBOMが無い」ってケースでうま
く文字コード自動判定してくれないのは、それは秀丸エディタでの「UTF-16かど
うか」の判定ロジックが、あくまで「日本語が文字化けしないかどうか」が中心
になっていて、「NULL文字が大量発生するかどうか」までは見てなっかせい、と
いうことのようです。

　ということで、今回のような英文字だけのファイルだと誤判定してしまって、
結果としてややこしいことになってしまったようでした。

　これはこれで改良すべき問題だと思うので、次のV8.00ではなんとかうまく判
定出来るようにしたいと思います。