hadoop
文章平均质量分 98
aperise
这个作者很懒,什么都没留下…
展开
-
基于zookeeper的高可用Hadoop HA集群安装
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547原创 2016-06-18 00:50:33 · 5584 阅读 · 3 评论 -
关于netty kafka hdfs hbase性能调研记录
1.netty调研记录 项目中准备用netty框架来实现socket接口,对于netty的性能做了个初步调研,大致过程如下: 1.1 调用socket接口的客户端 为了让客户端快速发送数据,我们已经提前将需要传输的数据通过java的ObjectInputStream写数据到了一个文件,主要是节省客户端接口的编码,然后让客户端不断循环发送数据一段时间(...原创 2017-05-08 15:33:41 · 475 阅读 · 0 评论 -
ambari实战 (1)ambari介绍
ambari实战 (1)ambari介绍 http://zilongzilong.iteye.com/blog/2272263ambari实战 (2)ambari安装 http://zilongzilong.iteye.com/blog/2272223 1.Ambari是什么 1.1Ambari为什么出现 前面已经花了大量篇幅...原创 2016-01-20 16:54:41 · 284 阅读 · 0 评论 -
ambari实战 (2)ambari安装
ambari实战 (1)ambari介绍 http://zilongzilong.iteye.com/blog/2272263ambari实战 (2)ambari安装 http://zilongzilong.iteye.com/blog/2272223 1.Ambari 的安装准备 1.1 用VMWARE搭建三台linux虚拟机,三台机器配置免...原创 2016-01-20 16:55:08 · 270 阅读 · 1 评论 -
hive实战(1)hive安装准备
1.安装Hadoop环境,参见 http://zilongzilong.iteye.com/blog/22455472.安装hbase环境,参见http://zilongzilong.iteye.com/blog/22544603.安装MySQL 注意:安装MySQL不是必须的,hive自带数据库Derby也是可行的,那为什么要推荐安装MySQL呢,原因是Derby只...原创 2016-02-02 16:52:37 · 152 阅读 · 0 评论 -
hive实战(2)hive安装和管理
1.下载并解压hivecd /opttar -zxvf apache-hive-1.2.1-bin.tar.gzmv apache-hive-1.2.1-bin hive-1.2.1 2.配置环境变量 vi /etc/profileexport HIVE=/opt/hive-1.2.1export PATH=${HIVE}/bin:${PATH} ...原创 2016-02-02 17:23:40 · 218 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(7)hbase 性能优化
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)hadoop2.7.1安装http://aperise.iteye.com/blog/2245547(4)hbase安装准备h...原创 2016-03-14 13:20:35 · 291 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.1.2集群环境搭建(10) hadoop hbase kerberos
(1)hadoop2.7.1源码编译 http://zilongzilong.iteye.com/blog/2246856(2)hadoop2.7.1安装准备 http://zilongzilong.iteye.com/blog/2253544(3)hadoop2.7.1安装 http://zilongzilo...原创 2016-03-30 17:26:59 · 309 阅读 · 0 评论 -
《Hadoop.The.Definitive.Guide.4th.Edition.2015.3》学习笔记
一.读后感 最近读完了《Hadoop.The.Definitive.Guide.4th.Edition.2015.3》英文第4版,个人感觉这本书是hadoop目前最权威、最全面、最靠谱的书籍,强烈建议大家好好研读。不建议大家去读hadoop权威指南第1版、第2版和第3版,第3版我也看完了,但是里面的知识已经与当前Apache hadoop 2.X严重脱节,比如第3版还在...原创 2017-07-02 23:42:56 · 418 阅读 · 0 评论 -
hadoop 压缩 gzip biz2 lzo snappy
集成snappy和LZO压缩格式的一般步骤如下: 1)编译hadoop-xxx-master.zip得到一个hadoop-xxx-0.0.1-SNAPSHOT.jar和native/Linux-amd64-64/*.so等文件; 2)拷贝上面的jar和so文件到hadoop或者hbase的目录 优雅的做法是:1)编译hadoop-xxx-master.zip得到一个h...原创 2017-10-24 08:50:49 · 174 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(9)spring-hadoop实战
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547(4)hbase安装准备...原创 2015-11-04 18:09:35 · 162 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(6)snappy安装
(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com/blog/2253544 (3)1.x和2.x都支持的集群安装 http://aperise.iteye.com/blog/2245547 (4)hbase安装准备 ...原创 2015-11-04 18:01:04 · 253 阅读 · 0 评论 -
hadoop 压缩 gzip biz2 lzo snappy
集成snappy和LZO压缩格式的一般步骤如下:1)编译hadoop-xxx-master.zip得到一个hadoop-xxx-0.0.1-SNAPSHOT.jar和native/Linux-amd64-64/*.so等文件; 2)拷贝上面的jar和so文件到hadoop或者hbase的目录 优雅的做法是:1)编译hadoop-xxx-master.zip得到一个h...原创 2017-10-23 21:57:20 · 3047 阅读 · 0 评论 -
《Hadoop.The.Definitive.Guide.4th.Edition.2015.3》学习笔记
《Hadoop.The.Definitive.Guide.4th.Edition.2015.3》学习笔记原创 2017-07-02 23:52:06 · 8192 阅读 · 1 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(10)基于ZK的Hadoop HA集群安装
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547(4)hbase安装准备...原创 2016-06-18 00:50:20 · 421 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(3)1.x和2.x都支持的集群安装方式
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547(4)hbase安装准备...原创 2015-09-23 16:51:45 · 497 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(1)hadoop2.7.1源码编译
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547(4)hbase安装准备...原创 2015-09-30 00:06:27 · 244 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(8)雅虎YCSB测试hbase性能测试
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547(4)hbase安装准备...原创 2015-10-13 17:45:27 · 428 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(2)hadoop2.7.1安装准备
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547(4)hbase安装准备...原创 2015-11-01 00:26:31 · 520 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(4)hbase安装准备
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547(4)hbase安装准备...原创 2015-11-04 16:49:20 · 385 阅读 · 0 评论 -
Hadoop2.7.1+Hbase1.2.1集群环境搭建(5)hbase安装
(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog/2253544(3)1.x和2.x都支持的集群安装http://aperise.iteye.com/blog/2245547(4)hbase安装准备...原创 2015-11-04 17:06:14 · 1485 阅读 · 0 评论 -
Hadoop 3.x主要变化(相对于Hadoop 2.x)
今天有人问Hadoop 3.x的主要变动在哪里,这里在官网(http://hadoop.apache.org/docs/r3.0.0/index.html)查了下,总结简单翻译如下:1.要求JDK>=1.72.HDFS支持纠删码 与副本相比纠删码是一种更节省空间的数据持久化存储方法。标准编码(比如Reed-Solomon(10,4))会有...原创 2018-02-01 16:59:31 · 2344 阅读 · 2 评论