Hadoop
VincentQB
就是一混子
展开
-
使用hive实现wordcount
使用hive实现wordcount的小实验原创 2018-01-01 23:03:35 · 704 阅读 · 0 评论 -
非交互式使用hive的方法简单记录
非交互式使用hive的方法简单记录原创 2018-01-09 16:45:23 · 291 阅读 · 0 评论 -
hive 分区表简单梳理
hive 分区表简单梳理原创 2018-01-10 12:21:12 · 5018 阅读 · 0 评论 -
sqoop搭建测试
sqoop搭建测试原创 2018-01-26 17:47:10 · 622 阅读 · 0 评论 -
hive export/import逻辑迁移命令简单梳理
hive export/import逻辑迁移命令简单梳理原创 2018-01-10 13:05:09 · 808 阅读 · 0 评论 -
hadoop2.6.0-cdh5.7.1伪分布式编译安装
环境相关:OS:CentOS release 6.9IP:192.168.1.10MEM:10G(推荐4G以上)DISK:50G1. 主机克隆,基础环境部署参照《CentOS6实验机模板搭建部署》 克隆一台实验机,调整内存为10G,并进一步配置主机名和hosts文件:hostname hadoop001echo "$(grep -E '127|::1' /etc原创 2017-12-30 18:39:19 · 897 阅读 · 0 评论 -
spark-2.2.0-bin-2.6.1-cdh5.7.1 编译部署(一)
环境相关:OS:CentOS release 6.9 IP:192.168.77.10 MEM:10G(推荐4G以上) DISK:50G1. 相关说明本次编译使用Apache官方源码包,非CDH版本的spark源码包本次编译的hadoop环境为CDH版本的hadoop-2.6.0-cdh5.7.1源码编译包本次编译的hive环境为CDH版本的hive-1.1...原创 2018-03-15 11:43:14 · 536 阅读 · 0 评论 -
spark-2.2.0-bin-2.6.1-cdh5.7.1 编译部署(二)
环境相关:OS:CentOS release 6.9 IP:192.168.77.10 MEM:10G(推荐4G以上) DISK:50G1. 相关说明参见《hadoop2.6.0-cdh5.7.1伪分布式编译安装》第1到第3部分,生成编译包参见《hive-1.1.0-cdh5.7.1编译安装部署》第1到第2部分,生成编译包2. 主机克隆,基础环境部署...原创 2018-03-15 12:34:53 · 431 阅读 · 0 评论 -
spark-2.2.0-bin-2.6.1-cdh5.7.1 编译部署(三)
1. 相关说明:spark编译部署后市需要做优化调整的,特别是生产环境,本篇会不断记录更新优化调整点。2. 调整spark-shell日志输出级别:# 进入spark家目录的conf目录cd /usr/local/spark/conf# 配置spark-shell的日志级别cp -av log4j.properties.template log4j.properties...原创 2018-03-17 10:49:47 · 407 阅读 · 0 评论 -
spark history server
环境相关:OS:CentOS release 6.9 IP:192.168.77.10 MEM:10G(推荐4G以上) DISK:50G1. 相关说明我们可以部署spark history server将我们运行的spark任务日志保存下来,备查备用。 spark history server是一个守护进程服务,有相应的WebUI,使用方便。 本实验需要spark...原创 2018-03-21 11:05:22 · 755 阅读 · 0 评论 -
hive DML 简单梳理
hive DML 简单梳理原创 2018-01-09 16:33:29 · 292 阅读 · 0 评论 -
hive DDL 简单梳理
环境相关: OS:CentOS release 6.9 IP:192.168.77.10 hadoop-2.6.0-cdh5.7.1 hive-1.1.0-cdh5.7.1 mysql5.11. 相关说明学习hive的HQL的DDL相关语法,建议对照官方WIKI,因为语法参数较多,而且和SQL多有相似,不建议记忆,梳理一下,记住相关可以原创 2018-01-05 23:06:57 · 418 阅读 · 0 评论 -
hive UDF 测试样例开发
hive UDF 测试样例开发原创 2018-01-12 12:22:58 · 10016 阅读 · 0 评论 -
hive 守护进程模式简介 JDBC连接测试样例
hive 守护进程模式简介 JDBC连接测试样例原创 2018-01-10 13:12:56 · 946 阅读 · 0 评论 -
hive的JOIN和SQL执行计划解读
hive的JOIN和SQL执行计划解读原创 2018-01-14 15:20:51 · 3080 阅读 · 0 评论 -
hive-1.1.0-cdh5.7.1编译安装部署
环境相关: OS:CentOS release 6.9 IP:192.168.1.10 MEM:10G DISK:50G hadoop-2.6.0-cdh5.7.1 伪分布式已启动,即在hadoop上部署hive mysql5.1 部署于另外一台机子之上或本机皆可1. 编译环境部署在本机或另外一台机子上部署原创 2017-12-30 21:04:31 · 730 阅读 · 0 评论