hadoop
文章平均质量分 83
小码农叔叔
这个作者很懒,什么都没留下…
展开
-
hadoop实现求共同好友
hadoop实现求共同好友原创 2022-01-09 16:55:59 · 12650 阅读 · 8 评论 -
hadoop中join操作
hadoop中join操作原创 2022-01-08 17:01:24 · 4708 阅读 · 0 评论 -
hadoop 自定义OutputFormat
hadoop 自定义OutputFormat原创 2022-01-08 12:13:51 · 7130 阅读 · 0 评论 -
hadoop使用combiner合并操作
hadoop使用combiner合并操作原创 2022-01-05 21:41:53 · 4972 阅读 · 0 评论 -
hadoop 实现数据排序
hadoop 实现数据排序原创 2022-01-03 17:07:35 · 17419 阅读 · 217 评论 -
hadoop 自定义分区
hadoop 自定义分区总结原创 2022-01-03 11:23:08 · 13465 阅读 · 37 评论 -
hadoop 切片机制详解
hadoop切片机制详解原创 2022-01-02 17:38:36 · 15005 阅读 · 16 评论 -
hadoop 实现序列化
hadoop 实现序列化原创 2022-01-01 22:13:51 · 17686 阅读 · 8 评论 -
MapReduce之WordCount案例
MapReduce之WordCount案例原创 2022-01-01 16:33:24 · 15734 阅读 · 0 评论 -
Java操作hdfs文件系统
前言在上一篇,我们通过命令行的使用掌握了如何基于hdfs的命令对hdfs文件系统的常用操作,本篇将分享如何基于JavaAPI 操作hdfs文件系统前置准备默认服务器上的hadoop服务已经启动本地如果是windows环境,需要本地配置下hadoop的环境变量本地配置hadoop的环境变量1、官网下载一个与服务器上的hadoop同样的版本包2、将这个路径配置到系统变量中编码环境前置准备使用idea快速构建一个springoot的工程1、导入maven依赖 <depende原创 2021-12-26 17:44:14 · 13022 阅读 · 10 评论 -
HDFS常用文件操作命令汇总
常用的hdfs文件操作命令总结原创 2021-12-26 11:04:44 · 18018 阅读 · 8 评论 -
centos7搭建hadoop
前言hadoop是其他大数据框架的基础运行环境,尤其是hdfs,是其他大数据框架的基础存储载体,因此学习和掌握hadoop对学习大数据很有必要haddop常用的3种运行模式包括:本地模式 ,单机运行,只是用来演示一下官方案例。生产环境不用伪分布式模式,也是单机运行,但具备Hadoop集群所有功能,一台服务器模拟一个分布式的环境完全分布式模式:多台服务器组成分布式环境。生产环境使用本篇将基于centos7系统,在腾讯云环境快速搭建一个单节点的haddop运行环境前置准备一台配置好网络连接原创 2021-12-24 22:06:09 · 15704 阅读 · 7 评论 -
win10搭建hadoop环境
前言学习大数据框架,hadoop是许多其他框架的基础,因此需要掌握如何快速搭建hadoop的应用环境通常来说,hadoop本地模式,伪分布模式和完全分布式,本篇以伪分布式单节点为例,快速在win10电脑上搭建出单节点的hadoop的运行环境,linux环境下可类似的操作环境准备1、前置准备JDK环境,至少JDK1.8,相信JDK的环境安装就不再多说了吧,安装之后,确认下是否安装成功2、下载合适版本的hadoop安装包前往如下链接,https://mirrors.tuna.tsinghua.e原创 2021-06-19 16:31:34 · 1596 阅读 · 0 评论