![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Mr-zhou
本人从事hadoop方向工作希望和大家多有交流的机会和有志在此方向有所成绩的战友共同学习
展开
-
用大数据的思维考虑问题
什么是大数据,大数据其实是一个概念,一种思考和解决问题的方式。从次面意思上指很大很大的数据,何为很大,当你的关系型数据库、当你的文本无法承受这么多数据的时候,那数据就很大了,动辄几个T 乃至更大,我们就习惯上成为大数据。但我这里所说的大数据是一个方式,就是说不管我们数据是否真的很大很大,我们都以大数据的方式考虑问题。中国人旅游大多跟团走,那旅行社其实早就对中国人旅游的嗜好进行了判定而不是揣原创 2014-03-11 16:53:02 · 1573 阅读 · 0 评论 -
Hadoop学习笔记---基本概念
0、前言: 不做过多介绍Hadoop 网上比比皆是,每本书买来一看,第一张都是千篇一律,本文不做过多阐述,希望将此文建立在对hadoop有些了解的基础上,本文的总体流程是,先提出一个subject,然后根据关联将相关联的概念参数一并带出,虽整体不美观,但有助于将相关知识汇总记忆。1、Hadoop 版本图: 第一个大的主线是社区版的Hadoop路线图,200原创 2014-03-24 14:28:43 · 3717 阅读 · 0 评论 -
Hadoop学习笔记二---HDFS
HDFS的概念1、数据块 HDFS跟磁盘一样也有块的概念,磁盘上块的大小一般为512字节,而文件系统的块则一般是磁盘块的整数倍,比如我当前centos块的大小事4096 也就是4K,而HDFS块的大小由参数dfs.block.size 设定默认是64M,但是与单一磁盘文件系统相似,HDFS上的文件也被分为块大小的多个分块(chunk)。 为什么HDFS中的块如此之大?原创 2014-03-24 14:36:49 · 6760 阅读 · 0 评论 -
Hadoop学习笔记---MapReduce
1、认识MapReduce MapReduce 是一种可用于数据处理的编程模型,有一下特点: 编程模型简单,但业务实现不一定简单; Hadoop可以运行各种该语言编写的MapReduce程序,如java,python 等,很多企业为求开发效率采用python来开发MapReduce程序; MapReduce 程序是并行运行的,所以又叫批处理程序。原创 2014-03-24 14:45:05 · 3257 阅读 · 0 评论