![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
haddoop
小博和小新
嘻嘻嘻哈哈哈
展开
-
hive第二部分
通过参数使用Hive hive -e ‘命令’ hive -e ‘show databases;’hive -f 文件(文件内编写造作命令) hive -f test.sql数据库的相关操作(增删改查) 增:create database [if not exists] 库名; 删: drop database 库名;(若数...原创 2019-12-02 21:35:25 · 404 阅读 · 0 评论 -
Hadoop之Hive的安装部署
前提以制作本地资源库完成安装mysql[root@node01 ~]# yum install -y mysql mysql-server mysql-devel已加载插件:fastestmirror, security设置安装进程Determining fastest mirrorsc6-media ...原创 2019-11-19 22:16:00 · 213 阅读 · 0 评论 -
一周学习之MapReduce总结
分步式并行计算框架Map Reduce是指实现某项任务或某项工作从开始到结束的计算过程或流的结构MapReduce计算框架图示:分布式并行计算架构一个大的任务被拆分成多个小任务,每个小任务同时执行。按照执行流程进行计算。MapReduce核心思想分而治之,先分后和(只有一个模型)Map负责数据拆分 map: [k1,v1] → [(k2,v2)]Reduce负责数据合并 red...原创 2019-11-15 20:31:08 · 356 阅读 · 0 评论 -
hadoop Mapreduce执行流程
第一步:inputFormatinputFormat 在hdfs(分布式文件系统)文件系统读取要进行计算数据 输出给split第二步:splitsplit把数据进行逻辑分割,切分成多个任务输出给RR(RecordReader)第三步:RR(RecordReader)RR将切分后的数据转换成key(键)value(值)进行输出key:每一行行首字母的偏移量(到段首的差值)value:每...原创 2019-11-13 21:49:52 · 204 阅读 · 0 评论