2013-11-01から1日間の記事一覧

誤差

数値計算と誤差の話 〜 浮動小数点演算はどれくらい信用できるか 〜 http://yebisu.cc.kyushu-u.ac.jp/~watanabe/RESERCH/MANUSCRIPT/KOHO/FLOATING/float.pdf 第4回 固定小数点演算 http://www.adm.co.jp/download/digi_4.pdf Floating Point to Fixed Poin…