![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
zhuhaoyu6666
热爱编程、热爱生活、喜欢挑战
展开
-
HDFS-001-了解
hadoop的思想就是把一个文件划分为N个block,然后把block散列到不同机器上。因此block块的大小设定就非常重要了大数据运算的结论:1.分治思想2.并行计算3.计算向数据移动(减少传输IO消耗的时间 数据移动比分布式计算更耗时)4.数据本地化读取这四个条件将是整个大数据技术需要关心的重点 什么是HDFS? HDFS(Hadoop Distributed File System)是一个分布式文件系统 什么是分布式文件系统呢? 简单说就是一个文件用..原创 2020-06-20 15:03:47 · 212 阅读 · 0 评论 -
001大数据之分治思想
说说大数据大数据从字面上讲就是大,而大又是一个相对概念,相对的是谁呢?相对的是之前IT处理数据的大小(之前硬件的内存、硬盘、cpu等限制以及业务数据量小)、相对的是单机能处理的数据大小(一定时间内)即在规定时间内,一台机器无法满足用户的要求,把这种一台机器无法解决的矛盾,让需要处理的数据背锅,起其名为大数据。分治思想就是把原来由一台机器处理的大数据按照某种规则/算法拆分为小数据,然后小数据交给N个机器去处理即分治。本质上还是因为单机IO、cpu、内存等硬件的限制,才想出使用多台设备进行...原创 2020-06-19 15:06:45 · 980 阅读 · 0 评论