- 博客(22)
- 资源 (6)
- 收藏
- 关注
原创 Ionic Cordova 环境搭建与打包
1. Ionic Cordova 环境搭建安装Nodejs 这里就不赘述, Ionic需要Nodejs环境如果没有安装过淘宝镜像的小伙伴这里推荐大家先安装, 后面安装Ionic的时候速度快一些。命令:npm install -g cnpm --registry=https://registry.npm.taobao.org安装IonicCordova环境命令: cnpm...
2018-12-13 12:03:46 1069 1
原创 Java对HDFS增删改查遇到的问题
Java对HDFS增删改查遇到的问题1 (null) entry in command string: null chmod 0700的解决方法1.1 在本地配置Hadoop的环境1.2 在https://github.com/SweetInk/hadoop-common-2.7.1-bin下载依赖包1.3 将依赖包中的文件winutils.exe , libwinutils....
2018-12-07 17:47:41 208
转载 6.2 解读WordCount
第6章 MapReduce入门6.2 解读WordCountWordCount程序就是MapReduce的HelloWord程序。通过对WordCount程序分析,我们可以了解MapReduce程序的基本结构和执行过程。6.2.1 WordCount设计思路WordCount程序很好的体现了MapReduce...
2018-12-07 17:07:21 189
转载 5.5 YARN的调度器
第5章 YARN:资源调度平台5.5 YARN的调度器打个比方,Hadoop相当于一台虚拟计算机(由多台计算机构造的集群),那么HDFS就是这台虚拟计算机的文件系统,管理磁盘资源;而YARN负责管理虚拟计算机的CPU和内存资源。在YARN上跑的MapReduce程序(比如5.4节跑的PI和wordcount两...
2018-12-06 16:46:42 118
转载 5.4 YARN集群运行
第5章 YARN:资源调度平台5.4 YARN集群运行HDFS已经启动[root@node1 ~]# jps2247 NameNode2584 Jps2348 DataNode1234[root@node2 ~]# jps2279 Jps2137 DataNode2201 SecondaryNameNode1...
2018-12-06 16:45:44 177
转载 5.2 YARN参数解读与调优
第5章 YARN:资源调度平台5.2 YARN参数解读与调优yarn-site.xml文件默认参数: http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml5.2.1 ResourceManager相关配置参数参数默认值说明yarn.resourcemanager.addre...
2018-12-06 16:44:05 495
转载 5.1 YARN介绍
第5章 YARN:资源调度平台5.1 YARN介绍YARN的全称是Yet Another Resource Negotiator,意为另一种资源调度者。 从Apache Hadoop 2.0开始, Hadoop包含 YARN。5.1.1 Hadoop 1.x与Hadoop 2.x(1)MRv1 在介...
2018-12-06 16:40:44 229
转载 Zookeeper集群搭建步骤及相关知识点深入了解
Zookeeper集群搭建步骤及相关知识点深入了解 1、zookeeper概念zookeeper是一个分布式协调服务:a:zookeeper是为别的分布式程序服务的 b:zookeeper本身就是一个分布式程序(只要半数以上节点存活,zookeeper就能正常服务。) c:zookeeper的服...
2018-12-04 11:10:13 118
转载 3.5 HDFS基本命令
第3章 HDFS:分布式文件系统3.5 HDFS基本命令HDFS命令官方文档: http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html3.5.1 用法[root@node1 ~]# ...
2018-11-25 10:39:28 192 1
转载 3.4 HDFS集群模式
第3章 HDFS:分布式文件系统3.4 HDFS集群模式节点IP角色node1192.168.80.131NameNode,DataNodenode2192.168.80.132SecondaryNameNode,DataNodenode3192.168.80.133DataNode3.4.1 Hadoop环...
2018-11-25 10:38:53 170
转载 3.3 HDFS参数解读
第3章 HDFS:分布式文件系统3.3 HDFS参数解读3.3.1 官方文档Hadoop官方文档地址: http://hadoop.apache.org/docs/r2.7.3/由于Hadoop相关参数页面需要通过FireFox浏览器打开,这里需要你先安装FireFox浏览器。下拉页面,可以在页面左...
2018-11-25 10:38:40 146
转载 3.2 HDFS文件读写
第3章 HDFS:分布式文件系统3.2 HDFS文件读写3.2.1 文件访问权限针对文件和目录,HDFS有与POSIX非常相似的权限模式。 一共提供三类权限模式:只读权限(r)、写入权限(w)和可执行权限(x)。读取文件或列出目录内容时需要只读权限。写入一个文件,或是在一个目录上创建及删除文件或目录...
2018-11-25 10:38:31 194
转载 2.5 WordContent简单应用
第2章 Hadoop快速入门2.5 WordContent简单应用Hadoop的HelloWorld程序2.5.1 创建HDFS目录hdfs命令位于bin目录下,通过hdfs dfs -mkdir命令可以创建一个目录。[root@node1 hadoop-2.7.3]# bin/hdfs dfs -mkdir...
2018-11-25 10:38:05 471
转载 2.4 Hadoop单机运行
第2章 Hadoop快速入门2.4 Hadoop单机运行紧接上一节内容,首先切换到Hadoop根目录 或者cd /opt/hadoop-2.7.3进入Hadoop根目录 通过pwd命令可以知道当前所在目录[root@node1 hadoop-2.7.3]# pwd1注意:本节命令都将在/o...
2018-11-25 10:37:24 207
转载 2.3 Hadoop单机配置
第2章 Hadoop快速入门常见的Hadoop部署模式分为单机模式和集群模式,也称为伪分布式模式和分布式模式。 单机模式(伪分布式)模式是在一个节点上部署所有的Hadoop服务。在使用上,单机模式(伪分布式)模式跟集群模式(分布式模式)是一样的。2.3 Hadoop单机配置2.3节到2.5节内容参考...
2018-11-25 10:37:11 142
转载 2.2 Hadoop下载与安装
2.1 Hadoop下载与安装2.1.1 官网下载打开Apache Hadoop官方网址http://hadoop.apache.org/单击左侧菜单“Releases”将打开发行版页面http://hadoop.apache.org/releases.html单击2.7.3版本下“binary”链接,将进入...
2018-11-25 10:36:07 912
转载 2.1 Hadoop简介
第2章 Hadoop快速入门2.1 Hadoop简介2.1.1 Hadoop编年史(1)2002年10月,Doug Cutting和Mike Cafarella创建了开源网页爬虫项目Nutch。(2)2003 年 Google 发表了一篇技术学术论文关于 Google 文件系统(GFS)。GFS 也就是 Go...
2018-11-25 10:35:58 119
转载 1.7 目录规划
第1章 环境安装配置1.7 目录规划1、总体规划软件安装目录:/opt数据目录:/var/data日志目录:/var/log2、hadoop相关目录按照上面规划,hadoop相关目录如下:软件安装目录:/opt/hadoop2.7数据目录:/var/data/hadoop/var/data/hadoop/na...
2018-11-25 10:35:50 200
转载 centos 7 ssh免密码登录(补充1.6 SSH免密登录)
参考(十分详细):http://blog.csdn.net/newstruts/article/details/46424191目的在搭建Linux集群服务的时候,主服务器需要启动从服务器的服务,如果通过手动启动,集群内服务器几台还好,要是像阿里1000台的云梯hadoop集群的话,轨迹启动一次集群就得几个工程师一两天时间,是不是很恐怖...
2018-11-25 10:35:29 117
转载 1.6 SSH免密登录
第1章 环境安装配置1.6 SSH免密登录1、XShell的一个技巧当多台虚拟机需要执行相同命令时,可以单击XShell右下角的“三条横杠”按钮,选择“全部会话”,这时XShell下方的输入框将显示提示“发送文本到当前XShell窗口的全部会话”比如在XShell下方输入框输入data命令回车后,将该date...
2018-11-25 10:35:13 397
转载 1.5 构建集群
第1章 环境安装配置1.5 构建集群1、集群概念根据百度的解释: 集群是一组相互独立的、通过高速网络互联的计算机,它们构成了一个组,并以单一系统的模式加以管理。一个客户与集群相互作用时,集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。服务器集群是一种提升服务器整体计算能力的解决方案。它...
2018-11-25 10:34:57 296
转载 1.2 安装Linux虚拟机
1.2 安装Linux虚拟机1.2.1 选择Ubuntu还是CentOSUbuntu适合桌面环境,CentOS适合服务器环境1.2.2 下载CentOS1)打开CentOS官网,进入下载页面https://www.centos.org/download/ DVD ISO:可以刻录一张普通DVD光盘。...
2018-11-25 10:34:31 179
软件设计师考试考点突破、案例分析、实战练习一本通(2014版).pdf
2019-07-19
J2EE中文帮助文档
2015-12-15
各类开发帮助文档以及学习教程
2015-01-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人