ZCC的专栏

每天坚持看书和写作,相信每天的一小步,将会是人生的一大步! 形成、知化、流动、屏读、使用、共享、过滤、重混、互动、追踪、提问、开始!...

排序:
默认
按更新时间
按访问量

Spark大数据项目架构

一、实际项目处理流程 二、具体的功能

2018-01-26 12:59:23

阅读数:100

评论数:0

Storm架构

2017-12-04 11:58:40

阅读数:100

评论数:0

云计算、雾计算和边缘计算

云计算(英语:cloud computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机各种终端和其他设备。云计算是继1980年代大型计算机到客户端-服务器的大转变之后的又一种巨变。用户不再需要了解“云”中基础设施的细节,不必具有相应的专业知识,也无需...

2017-11-17 22:27:16

阅读数:2249

评论数:0

HBase详解

Hbase是什么 HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时,可以使用HBase。尽管已经有许多数据存储和访问的策略和实现方法,但事实上大多数解决方案,特别是一些关系类型的,在构建时并没有考虑超大规模和分布式的特点。许多商家通过复制和分...

2017-11-07 21:55:28

阅读数:197

评论数:0

大数据Web工具Hue

一、Hub架构 二、Hub(Cloudera 开源框架)文档: http://gethue.com/ http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/manual.html#_install_hue https://g...

2017-11-03 21:59:48

阅读数:200

评论数:0

工作流调度框架Oozie

一、现有的调度框架 二、Oozie定义 三、Oozie架构

2017-11-01 17:17:16

阅读数:307

评论数:0

文件收集工具Flume

一、Flume的构成 二、Flume的使用 三、数据仓库的架构

2017-10-30 15:27:52

阅读数:208

评论数:0

大数据生态系统

一、大数据相关工作介绍 大数据方向的工作目前主要分为三个主要方向: 大数据工程师数据分析师大数据科学家其他(数据挖掘等) 二、大数据工程师的技能要求 附上大数据工程师技能图: 必须掌握的技能11条 Java高级(虚拟机、并发)Linux 基本操作Hado...

2017-10-27 00:49:00

阅读数:2753

评论数:0

大数据协作框架

一、基本框架 Hadoop 2.x HDFS YARN MapReduce(分而治之) 分:map 合: reduce Zookeeper Hive (大数据仓库) ============================== 对日志类型的海量数据 * hdfs * m...

2017-10-26 16:40:19

阅读数:166

评论数:0

Hive数据的导入导出和查询方式

一、导入数据进入Hive表的几种方式 1)加载本地文件到hive表 load data local inpath '/opt/datas/emp.txt' into table default.emp ; 2)加载hdfs文件到hive中 load data inpath '/user...

2017-10-18 16:48:44

阅读数:226

评论数:0

Hive初探

一、什么是Hive        Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并提供类SQL查询功能。           ##构建在Hadoop上的数据仓库                  使用HQL作为查询接口                ...

2017-10-11 10:51:19

阅读数:179

评论数:0

生产环境的Hadoop版本比较

一、背景介绍 生产环境中,hadoop的版本选择是一个公司架构之时,很重要的一个考虑因素。这篇文章根据就谈谈现在主流的hadoop版本的比较。如果有不同意见,或者指正,希望大家能交流。 Apache Hadoop:Apache Hadoop是一款支持数据密集型分布式应用并以Apache ...

2017-10-09 12:27:12

阅读数:1652

评论数:0

Storm与Spark、Hadoop三种框架对比

一、Storm与Spark、Hadoop三种框架对比Storm与Spark、Hadoop这三种框架,各有各的优点,每个框架都有自己的最佳应用场景。所以,在不同的应用场景下,应该选择不同的框架。1.Storm是最佳的流式计算框架,Storm由Java和Clojure写成,Storm的优点是全内存计算...

2017-10-08 15:58:12

阅读数:4546

评论数:0

大数据开源处理工具汇总

查询引擎 一、Phoenix 贡献者::Salesforce 简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。 Phoenix查询引擎...

2017-09-30 13:09:28

阅读数:3936

评论数:0

MapReduce计算模型

MapReduce(YARN)是Hadoop提供的一种处理海量数据的并行编程模型和计算框架,用于对大规模的数据进行并行计算。主要由resourcemanager和nodemanager两类节点构成。其中resourcemanager主要负责集群资源管理,nodemanager负责节点的资源管理。除...

2017-09-29 11:08:46

阅读数:149

评论数:0

大数据的学习规划

大数据方向的工作目前分为三个主要方向: 01.大数据工程师 02.数据分析师 03.大数据科学家 04.其他(数据挖掘本质算是机器学习,不过和数据相关,也可以理解为大数据的一个方向吧) 一、大数据工程师的技能要求 二、大数据学习路径 三、学习资源推荐(书籍、博客、网站) 一、大数据工程师的...

2017-09-26 22:24:45

阅读数:588

评论数:0

初探Hadoop 2.x

Hadoop 2.x * common * HDFS 存储数据 NameNode * 存储文件系统的元数据,命名空间namespace DataNode * 存储数据 SecondaryNameNode * 辅助NAmeNode工作,合并两个文件(定时周期性) * YRAN Hadoop 操作系统...

2017-09-25 21:37:31

阅读数:197

评论数:0

Hadoop eclipse插件安装和在eclipse运行wordcount程序

一、插件下载点击打开链接            二、插件配置参考:插件配置                 三、运行配置:         四、运行结果

2017-05-27 21:15:24

阅读数:241

评论数:0

Hadooop运行WordCount(Hello world)程序

一、 Hadoop2.7.3安装并配置成功 二、 在HDFS中创建input文件目录        hadoop fs -mkdir /input       三、当前在hadoop-2.7.3的目录下,有个LICENSE.txt的文件,把它放到hdfs的input目录下面  ...

2017-05-27 16:50:47

阅读数:337

评论数:0

CentOS7搭建 Hadoop + HBase + Zookeeper集群

一、基础环境准备 1、下载安装包 1)jdk-8u131 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2)hadoop-2.7.3 下载地址:https://mi...

2017-05-25 14:43:23

阅读数:388

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭