Hadoop
无门关·平常是道
莫道浮云终蔽日,严冬过近绽春蕾
展开
-
Hadoop概述
Hadoop生态系统特点1、源代码开源(免费)所有人都可以获得Hadoop源代码,并在Hadoop基础上进行二次开发,以适合自己的应用特点,这是区别于传统的商用软件,例如Oracle、DB2等只有可执行文件,如果出现后门是无法把控的。2、社区活跃、参与者众多社区活跃使得Hadoop版本不断迭代开发,带动Hadoop不断前行,出现任何BUG将有很多人关注并尽快解决掉。参与者众多交原创 2015-02-08 22:58:57 · 359 阅读 · 0 评论 -
腾讯大数据套件带你玩转大数据
腾讯大数据转载 2015-09-11 23:03:02 · 5596 阅读 · 1 评论 -
常见的七种Hadoop和Spark项目案例
有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm,每个人都认为他们正在做一些与这些新的大数据技术相关的事情,但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同,但根据我的经验,它们是最常见的七种项目。翻译 2015-09-13 22:17:52 · 4116 阅读 · 0 评论 -
Flume前述
Flume是一个分布式、可靠、和高可用的海量日志收集系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。转载 2015-09-14 23:15:57 · 370 阅读 · 0 评论 -
Flume前述(二)--功能配置
Flume功能配置示例原创 2015-09-15 22:13:05 · 470 阅读 · 0 评论 -
Flume前述(三)--多 agent 汇聚写入 HDFS
多 agent 汇聚写入 HDFS原创 2015-09-16 23:25:31 · 521 阅读 · 0 评论 -
Yarn MapReduce内存分配
以horntonworks给出推荐配置为蓝本,给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案,方案预留1-2G的内存给操作系统,分配4G给Yarn/MapReduce,当然也包括了HIVE,剩余的2-3G是在需要使用HBase时预留给HBase的。转载 2015-09-17 22:50:56 · 510 阅读 · 0 评论