![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
粽子的大数据池
关于大数据的自留田
粽子
这个作者很懒,什么都没留下…
展开
-
MR实例 - Windows运行MapReduce并实现Hadoop序列化【图文】
(所有源码均在https://github.com/zongzhec/HadoopPractise)上一篇介绍了在Windows上编写程序并运行了MapReduce示例:https://blog.csdn.net/zongziczz/article/details/105765158这一次介绍如何进一步实现hadoop的序列化。序列化概述什么是序列化序列化就是把内...原创 2020-04-26 21:24:49 · 204 阅读 · 0 评论 -
MR实例 - 将程序打包在进群上运行【图文】
(所有源码均在https://github.com/zongzhec/HadoopPractise)上一篇是在Windows下运行:https://blog.csdn.net/zongziczz/article/details/105765158下面是打包在集群上运行的步骤。用maven package功能打包,生成jar包。 改成一个方便的名字,拷贝到虚拟机中 ...原创 2020-04-26 18:28:23 · 256 阅读 · 0 评论 -
MR实例 - Windows运行MapReduce【图文】
(所有源码均在https://github.com/zongzhec/HadoopPractise)MapReduce定义Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架。Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上。解释: 如果让我们...原创 2020-04-26 13:44:41 · 739 阅读 · 0 评论 -
集群搭建 - Windows10 系统下运行HDFS【图文】【附源码】
(所有源码均在https://github.com/zongzhec/HadoopPractise)步骤解说1. 安装hadoop2. 创建一个Maven/Gradle工程3. 导入相应的依赖<dependencies> <dependency> <groupId>junit</groupId> ...原创 2020-04-20 20:12:52 · 679 阅读 · 0 评论 -
Hadoop 运行常见问题【图文】
Table of ContentsOutput directory filealready existsOutput directory filealready exists问题描述在运行hadoop程序时,程序报错“Output directory file:XXX already exists”, XXX是之前指定的output目录。原因分析hadoop 运行时...原创 2020-03-08 18:13:52 · 4930 阅读 · 0 评论 -
集群搭建 - Win10下安装Hadoop【图文】
Windows系统下配置Hadoop安装hadoop网上大多只能下载到tar.gz版本,这是Unix系统的。把tar文件下载下来以后,网上寻找"tar to zip"的方法,结果因为hadoop文件过大,转换下载需要付费。(付钱是不可能付钱的)于是乎使用Winrar的功能进行解压。start winrar x -y hadoop-2.7.2.tar.gz解压...原创 2020-04-19 18:28:19 · 417 阅读 · 0 评论 -
集群搭建 - 配置集群的时间同步【图文】
方式:找一个机器作为时间服务器,所有的机器与这台集群时间进行定时的同步。比如每隔十分钟同步一次时间。原因:很多集群操作对时间同步的要求性很高,最高的像HBase,要求不差不能超过秒级。注意:这只是“同步”,并不保证时间一定是正确的。协议:ntp协议步骤:1. 检查ntp是否安装,需要有ntp和ntpdate rpm -qa|grep ntp 检...原创 2020-04-16 20:10:05 · 564 阅读 · 0 评论 -
集群搭建 - 配置Hadoop集群模式【图文】
集群部署规划HDFS: hadoop102:NameNode, DataNode hadoop103: DataNode hadoop104: SecondaryNameNode, DataNodeYARN: hadoop102: NodeManager hadoop103: ResourceManager, NodeManager hadoo...原创 2020-04-14 21:58:21 · 170 阅读 · 0 评论 -
集群配置 - 编写分发脚本
在集群配置的过程中,不可避免的要分发一些文件和配置,此时就可以自行编写一个脚本,用来一键分发。脚本内容说白了就是一个shell脚本,用来查找文件的绝对路径,然后分发。#!/bin/bash#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if ((pcount==0)); then echo no args;exit;fi#2 获取文件名称p1=$1...原创 2020-04-13 15:36:47 · 228 阅读 · 0 评论 -
安装Java和Hadoop
本节讲述如何在 Linux 上安装 Java 和 Hadoop安装及配置步骤登录虚拟机 使用 rpm -qa | grep java 查询当前已安装的java 如果之前没有装过,那就是系统自带的,需要先卸载: rpm -qa | grep java | xargs sudo rpm -e --nodeps 下载jdk并存放于/opt/software 解压压缩包到指定目录:t...原创 2020-03-08 16:30:24 · 133 阅读 · 0 评论