计算机中的小数运算误差原因与处理方式

原文参考:js中对小数的计算 - 不锈钢子 - 博客园

js中对小数的计算

在js 的计算中如果涉及到小数的运算,那结果可不要想当然了,比如  0.1+0.2 的计算  

1

2

3

var num1 = 0.1;

 var num2 = 0.2;

console.log(num1+num2)

 如果不加思考 那回答估计是 0.3  实际上的结果是 0.30000000000000004

为什么会有这个结果呢

首先,我们要站在计算机的角度思考 0.1 + 0.2 这个看似小儿科的问题。我们知道,能被计算机读懂的是二进制,而不是十进制,所以我们先把 0.1 和 0.2 转换成二进制看看:

0.1==》0.1.toString(2)==》0.0001100110011(无限循环..)

0.2==》0.2.toString(2)==》0.001100110011(无限循环..)

双精度浮点数的小数部分最多支持 52 位,所以两者相加之后得到这么一串 0.0100110011001100110011001100110011001100110011001100 因浮点数小数位的限制而截断的二进制数字,这时候,我们再把它转换为十进制,就成了 0.30000000000000004。

原来如此,那怎么解决这个问题呢?我想要的结果就是 0.1 + 0.2 === 0.3 啊!!!

为了避免产生精度差异,我们要把需要计算的数字乘以 10 的 n 次幂,换算成计算机能够精确识别的整数,然后再除以 10 的 n 次幂,大部分编程语言都是这样处理精度差异的,我们就借用过来处理一下 JS 中的浮点数精度误差。

1

2

3

4

5

6

7

8

formatNum = function(f, digit) {

  var m = Math.pow(10, digit);

  return parseInt(f * m, 10) / m;

}

 var num1 = 0.1;

 var num2 = 0.2;

console.log(num1+num2)

console.log(formatNum(num1 + num2, 1))

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值