zippo

理想中的state管理 理想的状态管理是： 易用，flink提供了丰富的数据结构，简洁易用的接口； 高效，flink对状态的处理读写快，可以横向扩展，保存状态不影响计算性能； 可靠，flink对状态可以做持久化，而且可以保证exactly-once语义； flink中checkpoint执行流程 checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致

## 大数据相关技术学习和使用了一段时间，最近就没有怎么用了。打算把之前学习的知识总结并记录起来分享给大家，省的都忘了，那就浪费了花费的那么时间和精力了。本系列全部采用hadoop2.5.2的版本，下面大概介绍一下打算写的内容大纲： ## 1. 如何安装和搭建虚拟机网络 2. hadoop2.5.2的伪分布式搭建 3. hadoop2.5.2+centos6.5编译源码 4. HDF

因要安装pinpoint1.8.3所有需要安装hbase，因为是测试所有就安装一个伪分布式吧。 hbase安装需要hdfs，先来安装一下hadoop吧。 http://naver.github.io/pinpoint/1.8.3/main.html 我们需要hbase1.2.6版本，hadoop需要2.7.3先下载 wgethttp://apache.claz.org/hadoop/...

1.使用 load 方式加载数据到 Hive 表中，注意分区表加载数据的特殊性 CREATE TABLE IF NOT EXISTS    myinfo (id string, name string, city string) PARTITIONED BY (day string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STO

 按照每日，省份统计pv和uv，date province UV PV 建立hive数据库及数据表    2.数据导入 建hive的db_track.daily_province_visit的表 导入 insert into table db_track.daily_province_visit select dat

 依据课程中讲解的如何自定义 UDF，进行案例编写，进行总结步骤，并完成额外需求，具体说明如下： 1） 依据课程讲解 UDF 编程案例，完成练习，总结开发 UDF 步骤，代码贴图， 给予注释，重点在于清晰编程思路。 2） 完成如下数据字段中双引号，自定义 UDF，完成编程测试。 新建maven项目。配置pom.xml  properties>    project.build

一、地址规划 主机名 ip 配置 服务 Bigdata01.xxxx.com 192.168.249.130 内存1g Cpu 1核 硬盘 10g Namenode Datanode Nodemanager Bigdata02.xxxx.com 192.168.2

大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作，但是未必是最佳选择。 大数据，首先你要能存的下大数据。 传统的文件系统是单机的，不能横跨不同的

一、环境准备 新建或克隆一台新的centos服务器虚拟机。修改ip和hosts，关闭防火墙iptables和selinux。新建hadoop用户，并赋予相应的sudoers权限。建立互信，免登陆。安装jdk1.7，并配置环境变量。 二、开始安装 上传hadoop2.5.2安装包，并解压到相应的目录下。修改hadoop环境配置文件的的环境变量hadoop-env.s

一、Zookeeper集群几个配置项 tickTime：zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，单位是毫秒。 datadir：zookeeper存放文件的位置。 inltLimit：zookeeper接受客户端初始化链接时最长能忍受多少个心跳时间间隔数。 syncLimit：leader与follower之间发送消息，请求的应答时间的长度。不能超过多少个tick

一、HDFS中NameNode的启动过程 1、在hdfs-site.xml中设置文件存储路径并指向data路径，在hadoop安装路径中新建data目录。 2、进行namenode格式化，在data目前中生成各类目录，并生成fsimage文件。 3、第一次启动namenode硬盘中将fsimage加载到内存中，hdfs文件如果修改，将写edits文件作为log，并将最新修改内容加

1、安装jdk1.7，并配置环境变量 2、安装其他基础库 [root@hadoop0 cdh]# yum install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev (1). 如果是Debian或CentOs 安装 # yum install g++ 

一、原理（四大要点） （1）保证元数据一致（edits） namenode   （fsimage  edits）   a、NFS   b、journalnode   c、zk （2）只有一台namenode对外提供服务（proxy） （3）接受datanode的心跳 （4）隔离 二、HDFS HA启动并测试

一、Hive 中创建表的三种方式，应用场景说明 第一种 第二种 第三种 二、内部表和外部表的区别 内部表也称之为MANAGED_TABLE; 默认存储在/usr/hive/warehouse下，也可以通过location指定。 删除表时，会删除表数据以及元数据。 外部表也称之为EXTERNAL_

一、Hive 如何配置与 Hadoop 关联，进行创建表，加载数据测试 Hive解压并修改名称，配置hive-env.sh的hadoop_home与HIVE_CONF_DIR 创建表，加载数据 二、在 Linux 下安装 MySQL 数据库 1、解压mysql 5.6.27 2、查看是否已经安装mysql，如未查询到

一、Hive 能做什么，与 MapReduce 相比优势在哪里？ 使用Hive是基于MapReduce的，在查询统计方面比MapReduce开发起来更简单。 1）Hive 是建立在Hadoop (HDFS/MR)上的用于管理和查询结果化/非结构化的数据仓库； 2）一种可以存储、查询和分析存储在Hadoop 中的大规模数据的机制； 3）Hive 定义了简单的类SQL 查询语言，称为HQL，它

一、 根据HDFS提供的API，实现以下功能： 针对文件： 上传、下载、删除、重命名、移动 package HdfsApi; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import

 1）理解【倒排索引】功能 2）熟悉 MapReduce 中的 Combiner 功能 3）依据需求编码实现【倒排索引】功能，旨在对 MapReduce理解。 数据： 结果： 代码： package com.hyhc.mr; import java.io.IOException; import org.apache.hadoop.conf.Configur

二次排序不仅可以对key进行排序，同时也可以对value中的某个字段进行排序。 有两种过程 组合排序—>分区（可选）—>分组 分区—> 排序(二次) —>分组 下面以第一种方式来进行说明： Map阶段，排序，进行key和value组成组合的key，例如（k+v，v）。分别对组合key中的k和v进行分区排序。设置自定义数据类型并实现WritableComparable接口，自定义数据类型作

一直对zookeeper的应用和原理比较迷糊，今天看一篇文章，讲得很通透，分享如下： 场景一 有这样一个场景：系统中有大约100w的用户，每个用户平 均有3个邮箱账号，每隔5分钟，每个邮箱账需要收取100封邮件，最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力，从 多个不同的网路出口进行访问外网，计算的压力得到缓解，那么每台机器的计算压力也不会很大

1、理解【网站基本指标】的几个概念 PV即page view 浏览量，页面的浏览次数，用户每打开一个页面就记录1次，多次打开同一页面，则浏览量累计。 UV 即Unique Visitor，独立访客数，1天内同一访客的多次访问只计为1个访客。 VV 即Visit View，访客的访问次数，记录所有访客1天内访问了多少次您的网站。 独立ip数即指1天内用不同的ip地址的用户访问网站的数量。同一

Map Shuffle 主要做了哪些事？哪些可以设置及如何设置？ 环形内存缓冲区默认为100MB，当超过80%，则进行spill到磁盘。内存中会进行分区、排序、combine(可选)。磁盘中将多个溢写的文件进行合并，压缩（可选）。 设置： 1) partitioner分区        job.setPartitionerClass(cls);  2) sort排序 job.setS

1、在Linux 系统中搭建Eclipse 和Maven 环境，创建Maven Project 2、安装jdk，并配置环境变量。 3、配置maven ，配置环境变量，用root用户身份。 4.配置Maven仓库 5.解压eclipse 6.以普通用户打开eclipse，配置maven