hadoop
lockie_zou
这个作者很懒,什么都没留下…
展开
-
Hadoop windows本地环境安装
hadoop使用java编写,所以windows安装和java一样也需要配置环境变量。一、下载所需文件JDK下载地址,jdk1.8下载 Hadoop下载,hadoop下载,进去后找到一个版本然后点击 Binary download 下载到本地。 Hadoop windows环境编译工具,winutils下载 ,下载后解压出来 二、安装文件 jdk安装,jdk安装并不复杂,这里就不...转载 2018-10-25 14:44:57 · 7857 阅读 · 4 评论 -
(2)Hadoop核心-java代码对MapReduce的操作
上一篇文件介绍了java代码怎么操作hdfs文件的,hdfs理念“就是一切皆文件”,我们现在搞定了怎么使用java上传下载等操作了接下来就要处理文件了,hadoop的mapreduce模块。一、Hadoop Map/Reduce框架 Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方...原创 2018-12-14 17:47:49 · 2074 阅读 · 1 评论 -
(2)Hadoop核心 -- java代码对MapReduce的例子1
案例一:wordcount字数统计功能1.1 先准备两个txt文件,并上传到hdfs上test1.txthello zhangsanlisi nihaohai zhangsannihao lisix xiaomingtest2.txtzhangsan alisi bwangwu cjiji 7haha xiaomingxiaoming is gril...转载 2018-12-19 16:34:58 · 545 阅读 · 0 评论 -
Hadoop各个配置文件的作用
core-site.xml 其中 fs.defaultFS 配置的地址就是java代码访问的时候的路径,需要配置在java代码中代码中要用IP:9000不能用localhost <configuration> <property> <!-- 这个属性用来指定namenode的hdfs协议的文件系统通信地址,可以指定一个主机+端...原创 2018-11-28 18:03:00 · 5866 阅读 · 0 评论 -
Hadoop环境搭建问题汇总
启动HDFS时dataNode一直没有启动我们执行hdfs启动命令后,再输入 jps 命令查看启动进程,发现没有DataNode进程hadoop namenode -formatsbin/start-dfs.sh原因当我们使用 hadoop namenode -format 格式化namenode时,会在namenode数据文件夹(这个文件夹为自己配置文件中dfs.nam...原创 2018-11-28 16:16:22 · 5365 阅读 · 0 评论 -
Hadoop基础 - Hadoop核心组件之HDFS工作原理
HDFS1.HDFS是Hadoop的存储组件是一个文件系统,用于存储和管理文件,通过统一的命名空间(类似于本地文件系统的目录树)。是分布式的,服务器集群中各个节点都有自己的角色和职责。HDFS为高吞吐量做了优化,尤其在读写大文件(GB级别或更大)时运行最佳。为了维持高吞吐量,HDFS利用超大数据块和数据局部性优化来减少网络输入/输出(I/O)2.HDFS的主要特性还有扩展性和可用性,部分功...转载 2018-11-28 11:43:12 · 498 阅读 · 0 评论 -
Hadoop教程文章分享
Hadoop文章分享,文章来自狮锅艺感谢博主的分享大数据基础知识Hadoop实践(零)—Hadoop作为数据湖http://blog.csdn.net/Wee_Mita/article/details/55805701Hadoop实践(零)—Hadoop项目生态系统http://blog.csdn.net/wee_mita/article/details/55809015Had...转载 2018-11-28 10:28:49 · 445 阅读 · 0 评论 -
Hadoop HDFS常用命令
hadoop fs -cat URI [URI …] 查看文件内容 hadoop fs -copyFromLocal <localsrc> URI 本地文件上传到hdfs,和put命令相似 hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst> hdfs文件下载到本地,和get命令类似 ...原创 2018-11-27 18:33:03 · 665 阅读 · 1 评论 -
CentOS 7安装Hadoop 3.0.0
一、ssh免密登录1、测试是否能免密登录# ssh localhostThe authenticity of host 'localhost (::1)' can't be established.2、设置免密登录1)、去掉 /etc/ssh/sshd_config中的两行注释,如没有则添加,所有服务器都要设置的:#RSAAuthentication yes ...转载 2018-11-27 14:10:10 · 1169 阅读 · 0 评论 -
Hadoop jps各个进程的功能解析
一般如果正常启动Hadoop,我们可以在master上通过jps命令看到以下5个daemons:(单机)[root@master ~]# jps19803 SecondaryNameNode19994 TaskTracker31144 Jps19571 NameNode19672 DataNode19887 JobTracker hadoop2.0以后的版本采用的是YARN作...转载 2018-12-04 15:21:19 · 15853 阅读 · 0 评论 -
Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-xhd
问题分析开始仔细的观察了这个错误的详细信息,看到user=Administrator, access=WRITE。这里的user其实是我当前系统(运行客户端的计算机的操作系统)的用户名,实际期望这里的user=hadoop(hadoop是我的HADOOP上面的用户名),但是它取的是当前的系统的用户名,很明显,如果我将当前系统的用户名改为hadoop,这个肯定也是可以行得通的,但是如果后期将开发...转载 2018-11-29 18:32:48 · 4125 阅读 · 0 评论 -
(1)Hadoop核心 -- java代码对HDFS的操作
之前已经介绍了如何搭建CentOS虚拟机并且安装Hadoop,使用命令成功访问操作Hadoop的hdfs,接下来介绍如果使用java 代码操作Hadoop的hdfs.一、环境准备1.CentOS72.Hadoop3.1.13.SpringBoot2.1.0代码地址:springboot集成hadoop项目代码二、开发准备说明:因为后面设置了虚拟机固定IP为192.168...原创 2018-11-29 13:59:59 · 6852 阅读 · 3 评论 -
有java基础的人转行大数据该如何学习
如果你有JAVA基础上手会更容易一些,因为学大数据前期的基础课程就是java和linux.既然你有java基础就省去了学习者部分课程的基础,而且上手会容易很多!再说说还需要学习哪些大数据技术,可以按我写的顺序学下去。Hadoop这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN,HDFS是存储数据...转载 2018-11-22 18:23:16 · 420 阅读 · 0 评论 -
(3)Hadoop核心-打包编译
maven项目,使用maven package命令打包,把相应的jar包 wordcount.jar ,上传到服务器中。执行命令:hadoop jar wordcount.jar com.zxj.hadoop.demo.mapreduce.wordcount.WordCountDriver /wordcount/input /wordcount/outputjar 说明使用had...原创 2018-12-17 11:56:37 · 348 阅读 · 3 评论