![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
无门关·平常是道
莫道浮云终蔽日,严冬过近绽春蕾
展开
-
Flume前述(三)--多 agent 汇聚写入 HDFS
多 agent 汇聚写入 HDFS原创 2015-09-16 23:25:31 · 522 阅读 · 0 评论 -
写给新人数据挖掘基础知识介绍
对企业来,堆积如山的数据无异于一个巨大的宝库。但是如何利用新一代的计算技术和工具来开采数据库中蕴藏的宝藏呢?在市场需求和技术基础这两个因素都具备的环境下,数据挖掘技术的概念和技术就应运而生了。基本概念数据挖掘(Data Mining)旨在从大量的、不完全的、有噪声的、模糊的、随机的数据中, 提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识。转载 2015-09-17 23:16:37 · 843 阅读 · 0 评论 -
Flume前述(二)--功能配置
Flume功能配置示例原创 2015-09-15 22:13:05 · 472 阅读 · 0 评论 -
Flume前述
Flume是一个分布式、可靠、和高可用的海量日志收集系统,支持在系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。转载 2015-09-14 23:15:57 · 371 阅读 · 0 评论 -
大数据到底如何在企业中发挥价值
目前国内外关于大数据的谈论很多,大多是谈运营级别的,或者说从服务端、服务方提得较多一些。笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说,大数据跟他们有什么关系,或者说作为企业方怎样去参与,这是企业方现在面临的最大问题转载 2015-09-13 22:22:57 · 1689 阅读 · 0 评论 -
常见的七种Hadoop和Spark项目案例
有一句古老的格言是这样说的,如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情,他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm,每个人都认为他们正在做一些与这些新的大数据技术相关的事情,但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同,但根据我的经验,它们是最常见的七种项目。翻译 2015-09-13 22:17:52 · 4117 阅读 · 0 评论 -
腾讯大数据套件带你玩转大数据
腾讯大数据转载 2015-09-11 23:03:02 · 5599 阅读 · 1 评论 -
Yarn MapReduce内存分配
以horntonworks给出推荐配置为蓝本,给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案,方案预留1-2G的内存给操作系统,分配4G给Yarn/MapReduce,当然也包括了HIVE,剩余的2-3G是在需要使用HBase时预留给HBase的。转载 2015-09-17 22:50:56 · 511 阅读 · 0 评论