2022-03-06 11:51:24 kb10uyの投稿 kb10uy@mstdn.maud.io
icon

小数を計算してきれいな値になることを期待してはいけなくて、それはそれとして int を明示的に扱いづらい(BigInt とかはあるにせよ)ので int のつもりで渡したパラメーターが外部ライブラリで double/float になってたみたいな悲しい事故が起こりがち

2022-03-06 11:54:03 kb10uyの投稿 kb10uy@mstdn.maud.io
icon

10 進小数のライブラリなり組み込み型を使おうね(思い出すシリーズ: COBOL)

icon

人類に2進浮動小数点数は早すぎた的な

icon

IEEE 754に十進形式もあるの知らなかった

2022-03-06 12:39:07 まちカドおるみん御嬢様の投稿 orumin@mstdn.maud.io
icon

ちなみに IEEE 754 の十進表現は BCD を洗練させた DPD だとか >> Densely packed decimal - Wikipedia ja.wikipedia.org/wiki/Densely_