2018年05月_Demoatnes

原创 Hadoop搭建笔记（26）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。48、Zookeeper集群的搭建:Zookeeper保证分布式服务更加高可靠，一般是3台、5台、7台；单机版，集群下载：[root@hadoop01~]# cd /home/[root@hadoo...

2018-05-31 21:04:48 385

原创 Hadoop搭建笔记（25）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。46、Rpc协议案例：47、Zookeeper的基本概念：1、Zookeeper是什么：Apache ZooKeeper网址：http://zookeeper.apache.org/Apac...

2018-05-31 15:47:55 149

原创 Hadoop搭建笔记（24）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。42、Maven的安装：maven：本地仓库1.在Windows中安装maven（写代码用maven管理）apache-maven-3.3.9-bin安装包位置在：D盘的VM中①解压到当前目录 ...

2018-05-29 21:14:26 200

原创 Hadoop搭建笔记（23）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。40、Ssh免登陆配置：上面集群搭建好，也已经测试成功，但是在启停集群服务时需要输入密码，如果是几十台的就要一直输入密码，密码多次输入会导致服务不能正常启动或停止借助ssh的免登陆：ssh：安全的一...

2018-05-29 16:56:48 879

原创 Hadoop搭建笔记（22）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。38、Hadoop的集群配置02：[root@hadoop01 hadoop-2.7.1]# ll ./etc/hadoop/mapred-site.xml.template -rw-r--r--....

2018-05-28 21:21:12 442

原创 Hadoop搭建笔记（21）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。36、克隆服务器：克隆hadoop1,克隆成hadoop3修改网卡信息 vi /etc/udev/rules.d/70-persistent-net.rules删掉：PCI device0x...

2018-05-28 16:24:34 179

原创 Hadoop搭建笔记（20）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。34、Yarn的流程介绍：HadoopMapReduce1简单的运行流程：两个Client，每个颜色的Client代表一个单个的作业 Job Submission ：作业提交，提交给Job Tra...

2018-05-27 17:59:14 217

原创 Hadoop搭建笔记（19）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。32、Hdfs的文件读写流程：写数据流程：HDFS Clicnt：能操作文件的地方open调用了一个类，这个类叫DistributedFilesystem（分布式文件系统）打开Distribut...

2018-05-26 15:07:04 198

原创 Hadoop搭建笔记（18）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。31、Hdfs 的相关内容介绍：官网：http://hadoop.apache.org/index.htmlHadoop三大核心、四大模块：HDFS的介绍：HDFS设计目标：注解上面的3.4....

2018-05-24 21:24:38 296

原创 Hadoop搭建笔记（17）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。30、Hadoop 单机版安装及应用：三种安装模式：Local (Standalone) Mode单机版Pseudo-Distributed Mode伪分布式Fully-Distribu...

2018-05-24 15:44:26 452

原创 Hadoop搭建笔记（16）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。29、Hadoop的简单介绍：Apache Hadoop官网地址：http://hadoop.apache.org1.Hadoop是什么？Apache Hadoop平台是一个可靠的、可扩展的、可...

2018-05-23 21:17:29 208

原创 Hadoop搭建笔记（15）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。27、shell中的文件引入：（在一个文件里引入另一个文件的代码）和其他语言一样，shell也可以包含外部脚本，这样可以很方便封装一些公用的代码作为一个独立的文件。shell文件包含的语法格式如下：...

2018-05-23 16:30:13 242

原创 Hadoop搭建笔记（14）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。25、shell中的循环、casein、continue、break：循环：for、while、untilfor循环：for var in item1 item2…itemN 【item1 i...

2018-05-22 16:46:38 179

原创 Hadoop搭建笔记（13）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。23、shell中的运算符：shell和其他编程语言一样，支持多种运算符，包括：数学运算符（加，减，乘，除，模）、关系运算符（大，小，比较）、布尔运算符（是，非，and）字符串运算符（判断字符串是否...

2018-05-21 21:16:12 218

原创 Hadoop搭建笔记（12）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。22、shell中的数组和注释：shell数组：bash（shell的一种解释器）支持一维数组（不支持多维数组），并且没有限定数组大小。类似与C语言，数组元素的下标由0开始编号。获取数组中的元素要利...

2018-05-21 15:55:41 148

原创 Hadoop搭建笔记（11）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。20、shell介绍和变量：1、shell介绍shell是一个用C语言编写的程序，它被称为用户使用Linux的桥梁。shell即是一种命令语言，又是一种程序设计语言shell脚本(shell scr...

2018-05-20 21:17:23 190

原创 Hadoop搭建笔记（10）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。19、源码安装和nginx的安装：由于Linux操作系统开放源代码，因而在其上安装的软件大部分也都是开源的软件，列如apache,tomcat,php等软件。开源软件基本都是提供源码下载，源码安装的...

2018-05-20 18:28:00 228

原创 Hadoop搭建笔记（09）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。18、Linux本地yum源的自作：本地yum源制作步骤：1、下载yum源的DVD镜像，镜像名如下：CentOS-6.5-x86_64-bin-DVD1.isoCentOS-6.5-x86_64-...

2018-05-19 23:26:45 241

原创 Hadoop搭建笔记（08）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。16、Linux连接公网：yum的在线安装在线：首先要把Linux连上外网链接外网的四要素：IP、子网源码、网关、DNS(域名要被DNS解析)yum（全称为Yellow dog Updater,Mo...

2018-05-19 10:14:44 230

原创 Hadoop搭建笔记（07）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。14、Linux中二进制包安装（Linux中jdk的安装）-1：JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了J...

2018-05-18 16:03:58 198

原创 Hadoop搭建笔记（06）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。12、Linux中的打包解压、查找、别名设置：1.打包、压缩、查找1.1 打包tar原理-Z 压缩-c打包-x 解包-f必须要-C 指定解包位置-v输出信息zip/us...

2018-05-17 21:26:57 141

原创 Hadoop搭建笔记（05）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。10、文件创建 -1：1、文件操作：进入（某个目录）操作cd进入home目录：[root@hadoop01 ~]# cd /home/查看home目录：[root@hadoop01 home]...

2018-05-17 15:50:32 231

原创 Hadoop搭建笔记（04）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。8、Linux中磁盘相关简单操作 -11.显示系统的磁盘空间用量查看df的意思：mandfdf: 报告文件系统空间使用情况-h 指：human-readable 打印人类能看懂的信息ll/d...

2018-05-16 21:08:19 281

原创 Hadoop搭建笔记（03）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。6、Linux系统级别命令（上）：Linux命令使用情况：command [-option] [路径]（command命令后接：[-option] [路径]可以不要）1.查看当前Linux系...

2018-05-16 15:54:03 425

原创 Hadoop搭建笔记（02）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。4、linux的目录结构连接网络模式配置网络：4.1 Linux的目录结构目录作用/Linux系统的根目录【顶层目录】，一般只存放目录 /bin和/urs/bin命令（二进制）文件目录，...

2018-05-15 21:35:12 257

原创 Hadoop搭建笔记（01）

本文是我学习Hadoop搭建过程中的各种笔记，内容来自于各种公开的教程，起点非常低，从Linux基础开始，直至在PC上搭建Hadoop成功，是真正的从零开始。感谢过程中帮助我的各位认识的和不认识的老师。1、Hadoop简单介绍：http://hadoop.apache.org/releases.htmlHadoop是既：分布式储存，分布式计算的一个工具。Hadoop在计算机集群上面，使用简单编程模...

2018-05-15 15:30:00 384

ZXQjinhu的博客