大数据
技术没有止境_2015
多年的C\C++\.NET(C#)\Matlab开发经历,热衷于算法的研究和实现,现从事大数据开发方面的工作,每天和Java、Hadoop、R打交道。热爱软件开发这个行业,希望结交行业内热爱技术的大牛。
展开
-
大数据之” Hadoop,Spark和Storm
大数据(Big Data) 大数据,官方定义是指那些数据量特别大、数据类别特别复杂的数据集,这种数据集无法用传统的数据库进行存储,管理和处理。大数据的主要特点为数据量大(Volume),数据类别复杂(Variety),数据处理速度快(Velocity)和数据真实性高(Veracity),合起来被称为4V。 大数据中的数据量非常巨大,达到了PB级别。而且这庞大的数据之中,不仅仅包转载 2016-10-20 10:58:37 · 2726 阅读 · 0 评论 -
Spark在Windows环境下搭载
由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spark的安装,Hadoop的下载和配置。为了突出”From Scratch”的特点(都是标题没选好的缘故),所以下面的步骤稍显有些啰嗦,老司机大可不必阅读,直接跳过就好。 一.JDK的安装转载 2016-10-20 11:13:57 · 538 阅读 · 0 评论 -
HBase学习与开发经验总结
问题导读: 1. NOSQL是如何产生的以及Hbase 在NOSQL中的地位如何? 2. Hbase框架是如何架构出来的 ? 3. Hbase 是如何检索一条数据以及检索时间复杂度是多少? 4. 如何设计 Hbase 数据库? 5. 还有哪些HBase调优小技巧? 解决方案: 大数据技术如火如荼,在大数据挖掘及分析平台技术中,作为海量数据操作及高客户端并发解决方案的转载 2016-10-20 11:17:45 · 2117 阅读 · 0 评论