- 博客(11)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
原创 Docker下配置阿里云镜像加速
摘要:在使用docker下载镜像时,在国内使用官方的Docker registry下载时速度很慢,庆幸国内还有镜像加速服务。目前支持Docker镜像的有阿里云和DaoCloud两家。本文将详细讲解镜像服务的具体配置方法。docker使用阿里云镜像库加速注册阿里云开发者帐号帐号https://cr.console.aliyun.com/登陆后取
2016-12-06 16:13:51 5204
原创 Cloudera Manager最新版5.13.0安装方式总结
今天准备在Cloudera公司的网站上查找一下有关ClouderaManager有关的安装方式,官网网址:https://www.cloudera.com/,突然发现网站最底层有个语言选项,竟然有中文,果断转换成中文,看着舒服多了,中文官网网址:http://cn.cloudera.com/。只是主页支持了中文,但是里面的文档其实还是英文版的,只好慢慢啃吧。输入网址:https://ww
2017-12-29 11:22:23 1862
原创 公司生产环境RHEL6.4下的Cloudera环境搭建详解
1 准备安装介质1.1 底层服务器服务器比较多,有HP,DELL,IBM多家服务器。1.2 虚拟化选用vmsphere的虚拟化1.3 操作系统选用Redhat Enterprise Linux 6.4作为操作系统,下载地址:http://www.redhat.com1.4 Java开发与运行环境选用Oracle jdk1.7.0_55作为JAVA开发与
2017-12-17 15:59:04 2053
原创 大数据平台的选择
接触大数据已经有将近3个年头了,从最开始的Apache系列开源开始研究学习,到后来接触过华为的大数据平台,但是华为的大数据平台是收费的,所以最终选择了免费的CDH集群,周末没事突然想对比一下市面上的大数据平台。 目前Hadoop有不少发行版:华为发行版 收费 、Intel发行版 收费 、Cloudera发行版(Cloudera’sDistribution Including A
2017-12-17 13:47:55 6251 1
原创 最新gitlab在CentOs7.3中的安装
最近需要构架容器管理平台,里面有个DevOps功能,准备用git版本进行管理,经过调研准备用gitlab开源的软件进行管理。记录了自己在虚拟机中的安装过程。 1. 安装依赖软件并设置开机启动yum install curlpolicycoreutils openssh-server openssh-clientssystemctl enablesshd systemctl st
2017-12-16 19:15:32 1409
原创 04-Kafka Broker启动脚本及对应源码解析
我们已经在IDEA集成工具中导入了Kafka源代码,现在我们先从应用角度去分析一下Kafka启动的过程。 最近因为工作原因要对Kafka源码进行二次开发,所以就开始着手源码的学习。1.首先我们先看一下kafka-server-start.sh脚本 kafka在启动的过程中我们会用到%KAFKA_HOME%下的bin目录下的kafka-server-start.sh../conf
2017-07-28 16:12:43 1165 1
原创 03-eclipse创建maven项目进行Kafka Producer的测试
前面已经部署好了Kafka集群并且在利用kafka集群提供的脚本测试通过,下面要进入Java开发环境搭建。一、环境描述 1、server2008下 eclipse(kepler) 2、本机建立了虚拟机系统: redhat 6.4 ip:192.168.5.130,192.168.5.132,192.168.5.133
2017-07-27 15:28:27 1858
原创 02-kafka环境搭建及测试
集群的搭建,首先我们准备了3台虚拟机,在虚拟机中配置好了基础的环境,如Java,scala等配置。如下#java setJAVA_HOME=/opt/jdk1.7.0_79JRE_HOME=$JAVA_HOME/jrePATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.j
2017-07-27 15:02:12 442
原创 01-Kafka源码编译阅读环境搭建
开发环境: Oracle Java 1.7.0_79 + Idea15.0.2 +Scala 2.10.4+Gradle 4.0.1 + Kafka 0.9.0.1一、Gradle安装配置Kafka代码自0.8.x之后就使用Gradle来进行编译和构建了,因此首先需要安装Gradle。Gradle集成并吸收了Maven主要优点的同时还克服了Maven自身的一些局限性——你可以访
2017-07-27 13:58:28 731
原创 IDEA构建Alluxio最新源码阅读环境
1.本教程主要讲解的是在IDEA中构建Alluxio最新的源码阅读环境,本文构建的是Alluxio的Branches Master。如下图2.利用Git工具获取GitHub远程的源代码操作如下。3.利用Git工具下载后的源码如下。4.打开IDEA工具,开始加载源码。注意点:以为Alluxio项目是Maven为管理工具,在加载
2016-12-22 13:27:30 974
原创 Alluxio1.3.0源码编译
最近研究有关Alluxio的有关信息,首先我们从Alluxio的远代码出手,直接利用工具去编译源码,这样以后可以更好的二次开发。1.环境Hadoop 2.6.0Spark 1.6.0Java 1.7RHEL6.4Maven工具 3.3.9 2.下载: wget https://github.com/Alluxio/alluxio/archive/
2016-12-22 09:58:36 1144
window系统下开发hadoop2.2出现报错
2015-06-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人