- 博客(3)
- 收藏
- 关注
RSS订阅原创 hadoop大数据入门篇-hdfs（二）
1.主题 采用MapReduce框架实现wordCount功能 2.适用读者对象 本文适用于hadoop大数据入门初学者 3.基础环境信息 软件 系统 haoop 版本 centos7 2.6.0-cdh5.14.4 4.问题描述 你有一个100TB的文件，存放着大量的单词，每行有多个单词，用逗号分隔，现在你需要计算每个单词的出现次数。 文件内容如下： helllo,world hdfs,world world,hdfs ......
2020-09-06 17:00:47
81
1
原创 hadoop大数据入门篇-hdfs（一）
HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用! HDFS是大数据开发入门必备掌握知识，今天给大家介绍下hadoop一些常用的命令 1.查看hadoop版本 hadoop version 2.创建hdfs文件夹 hadoop fs -mkdir -p hdfs路径 hadoop fs -mkdir -p /tmp/hdfs 3.本地文件上传到hdfs hadoop fs -put 本地
2020-09-06 16:50:39
215
原创 hadoop大数据入门篇-shell常用命令（一）
hadoop大数据入门篇-shell常用命令（一） linux是大数据开发入门必备掌握知识，今天给大家介绍下linux centos7一些常用的命令  
2020-08-08 10:26:14
259
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人