zhangbinu

CDH集群启动后使用Hive报错：解决方案：查看状态二个namenode节点都为standby状态：$./hdfs haadmin -getServiceState namenode1standby$./hdfs haadmin -getServiceState namenode2standby在CM界面手动切换即可：...

因工作需求，要将mysql的数据导入到Hive中通过Spark SQL进行分析，经过一翻周折，完成了这个自动化脚本，算是实现需求的第一步，也算是在Shell编程这条路上算是迈出了第一步。mysql中每天一张表，hive中一个表，按时间分区，如dt=180820.以下是导数据的Shell脚本：#!/bin/bashsource /etc/profilehost=127.0.0.1...

因数据量过大，运行sqoop跑不动或者卡内存，于是通过写脚本分批导入到HDFS，然后再加载到Hive表中。 shell脚本如下：#!/bin/bashsource /etc/profilehost=127.0.0.1for((i=1; i<=100; i++))do start=$(((${i} - 1) * 100000 + 1)) end=$(...

默认记录和字段分隔符\n 每行一条记录^A 分隔列（八进制 \001）^B 分隔ARRAY或者STRUCT中的元素，或者MAP中多个键值对之间分隔（八进制 \002）^C 分隔MAP中键值对的“键”和“值”（八进制 \003）...

因统计需求，要指将Spark SQL计算好的结果，从Hive导出到Mysql数据库，于是写了个批量导的脚本。 运行参数： 开始时间 结束时间 注意点： 1. 在shell中，sqoop语句的每一行末尾不能有多余的空格，否则执行时报错！ 2. shell中的if条件判断，只能是数字和才能比较大小，需要将时间转成时间戳！ 代码如下：#!/bin/bashsource /etc/pr...

Scan类常用方法说明1. 指定需要的family或column ，如果没有调用任何addFamily或Column，会返回所有的columnsscan.addFamily();scan.addColumn();2. 指定最大的版本个数。如果不带任何参数调用setMaxVersions，表示取所有的版本。如果不掉用setMaxVersions，只会取到最新的版本scan.setMax...