プチコン総合スレッド

836：名無しさん：2014/06/06(金) 09:03:09 ID:iIuDoUU6: プチコンが採用している、12bitの固定小数点で
正確に表現できる小数の値は、4095個(4095パターン)だけという意味で、
しかも、0.0001から0.9999までの、約1万個のうちの4095個、ではなくて
無限にある小数値のうちの、たった4095個だけなんだ。
正確に表現できない場合がほとんどなんだ。
・・・という事にいまさら気づいた。ほんといまさらだな、我ながら。
誤差の出かたが少ない処理方法を実装しなきゃいけないんかなー、
でも残された処理時間の内で済むのかどうか、ちと厳しそうかなー。

新着レスの表示

※書き込む際の注意事項はこちら

※画像アップローダーはこちら

（画像を表示できるのは「画像リンクのサムネイル表示」がオンの掲示板に限ります）

掲示板管理者へ連絡無料レンタル掲示板