Checksum 校验和

一 校验数据的一般算法比较

都是通过对数据进行校验产生一个校验值,用来校验数据完整性。

不同点:

算法不同: CRC采用多项式除法,MD5和SHA1使用的是替换、轮转等方法;

校验值的长度不同:

CRC校验位的长度跟其多项式有关系,一般为16位或32位;

MD5是16个字节(128位);

SHA1是20个字节(160位);

安全性不同:这里的安全性是指检错的能力,即数据的错误能通过校验位检测出来。CRC的安全性跟多项式有很大关系,相对于MD5和SHA1要弱很多;MD5的安全性很;SHA1的安全性最高。

效率不同,CRC的计算效率很高;MD5和SHA1比较慢。

用途不同。CRC一般用作通信数据的校验,比如HDFS 通信过程数据完整性校验;MD5和SHA1用于安全领域,比如文件校验、数字签名等。

二Checksum(校验和)

Checksum:在数据处理和数据通信领域中,用于校验目的的一组数据项的和

HDFS为了保证数据的完整性,采用checksum进行数据校验,而具体Checksum类型主要包括:

>>NULL:不校验

>>CRC32(CyclicRedundancy Check): 采用32位的循环冗余校验码

>>CRC32C:

 

>>可以通过io.bytes.per.checksum属性设置,字节数默认是512 字节,创建一个单独的校验和,如果节点检测数据错误,就会报CheckSumException异常

>>除了在读取数据时进行验证,数据节点也会在后台运行一个线程 
DataBlockscanner(数据块检测程序)周期性的验证存储在数据节点上的所有块。

一旦检测到corruptblock,在heartbeat阶段,DN会收到NN发来的BlockCommand,从其他数据块中拷贝一份新的replica(备份块)。

 

发布了317 篇原创文章 · 获赞 115 · 访问量 66万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 书香水墨 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览