意識して丸めていますかNo.04105
番頭++ さん 99/10/01 14:32
 
「秀丸エディタ、浮動小数点数バージョン」

    message str(3.1234567890);

は 3.12346 になりますが、意識して丸めていますか。

あちきがサポートしているインタプリタは、浮動小数点数しかサポートしていま
せん。昔は、自動的に丸めていましたが、いまは精度を上げるために丸めをして
いません。浮動小数点数を計算すると MPU は  2 の n 乗であらわすときに切り
捨てが普通だと思います。昔から FORTRAN  とかではそれを防ぐためにすごく小
さな値を加えて丸めるのが常識でした。浮動小数点数を使用する人にはそちらが
便利な気がします。

round 関数が必要になるかも知れません。

[ ]
RE:04105 意識して丸めていますかNo.04112
秀まるお さん 99/10/01 18:16
 
>「秀丸エディタ、浮動小数点数バージョン」
>
>    message str(3.1234567890);
>
>は 3.12346 になりますが、意識して丸めていますか。

 これは,いわゆるC言語のsprintfで"%lG"を使って文字列に変換しているためにそ
のようになるようです.(今教えてもらって初めて分かった)

 そもそも要望した人本人がはたしてこれでいいのかどうだか分からないのでなんで
すが,もしいろいろな文字列形式に変換できないと困るのならまずいですね.

 っという,元々要望した方がまだ試してすらいないような雰囲気なので,なんです
が….

 (ここの会議室見てるかな?)


[ ]