- 博客(3)
- 收藏
- 关注
RSS订阅原创 hadoop大数据入门篇-hdfs（二）
1.主题 采用MapReduce框架实现wordCount功能2.适用读者对象 本文适用于hadoop大数据入门初学者3.基础环境信息软件系统haoop版本centos72.6.0-cdh5.14.44.问题描述你有一个100TB的文件，存放着大量的单词，每行有多个单词，用逗号分隔，现在你需要计算每个单词的出现次数。文件内容如下： helllo,world hdfs,world world,hdfs ......
2020-09-06 17:00:47
73
1
原创 hadoop大数据入门篇-hdfs（一）
HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用! HDFS是大数据开发入门必备掌握知识，今天给大家介绍下hadoop一些常用的命令1.查看hadoop版本hadoop version2.创建hdfs文件夹hadoop fs -mkdir -p hdfs路径hadoop fs -mkdir -p /tmp/hdfs3.本地文件上传到hdfshadoop fs -put 本地
2020-09-06 16:50:39
206
原创 hadoop大数据入门篇-shell常用命令（一）
hadoop大数据入门篇-shell常用命令（一） linux是大数据开发入门必备掌握知识，今天给大家介绍下linux centos7一些常用的命令  
2020-08-08 10:26:14
246
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人