最近遇到这样的一个问题,就是计算的时候和我们平常时候的计算不太一样:
正常情况下,计算的结果应该是: xkwert = (100000*5151.11) /100170 = 5142.36
但是在某个标准程序里面发现,结果却是xkwert = 4402.66
几经波折,终于找到了根源,这个其实是两种不同的计算方式,一个是固定点运算fix point arithmetic,另外一个则叫非固定点运算,它是由程序里面的attributes决定的。
当这个勾上的时候,计算方式就是固定点运算,也就是正常情况下的 xkwert = (100000*5151.11) /100170 = 5142.36
当去掉这个勾的时候,计算方式就是“非固定点运算”,也就是,xkwert = (100000*5151.11) / 117000 = 4402.6