1. 使用insert......select......\
语法:
insert overwrite table dest_table partition(dt='xxxxxx')selectc1,c2from src_tablewhere......
复制代码
select中的字段顺序与dest_table的一定要一致,字段名与dest_table的最好要一致。
- 映射时是以字段顺序为准,不以字段名或字段别名为准。
- insert overwrite是覆盖目的路径下已存在的数据文件。
- insert into是继续添加记录,该路径下之前的数据依然存在。
- 会自动添加新分区信息,会自动新建分区路径。
2. 从本地导入数据文件:load data local inpath
语法:
hive> load data local inpath '/home/a/b/c/xxxx.txt' overwrite into table dest_table partition(dt='xxxxxx');
复制代码
实例:
$ hive -e "load data local inpath '/home/a/b/c/tb_v1.txt' into table test.tb_test partition(dt='2020-03-10') "
hive> dfs -du -h hdfs://d/test.db/tb_test/dt=2020-03-10 ;131 hdfs://d/test.db/tb_test/dt=2020-03-10/tb_v1.txt141 hdfs://d/test.db/tb_test/dt=2020-03-10/tb_v1_copy_1.txt -- 重命名的文件hive> select * from tb_test where dt = '2020-03-10';OK123 华为Mate10 31 999.0 20 2020-03-10456 华为Mate30 31 2999.0 30 2020-03-10789 小米5 31 800.0 20 2020-03-101235 小米6 31 900.0 100 2020-03-104562 OPPO Findx 31 3900.0 50 2020-03-10123 华为1010Mate10 31 999.0 20 2020-03-10 -- 如下是第二次复制过来的5条记录456 华为3030Mate30 31 2999.0 30 2020-03-10789 小米5 31 800.0 20 2020-03-101235 小米6 31 900.0 100 2020-03-104562 OPPO Findx 31 3900.0 50 2020-03-10Time taken: 0.051 seconds, Fetched: 10 row(s)hive>
复制代码
- 目的表要先存在,不然报错。
- 如果该分区路径和分区信息不存在,会自动新建分区路径和添加分区信息,不用add partition ,能直接查数。大数据培训
- 这里的本地是指安装Hive的机器。
- 该命令相当于复制,把源文件复制到指定分区路径下,源文件依然存在。
- 导入的文件格式要与表的INPUTFORMAT格式相同才能查到数据,比如这里表的INPUTFORMAT是text格式 所以导入也需要txt格式的文件,不然查不到数。
- 用overwrite时,相当于覆盖,目的路径下已存在的所有文件和子目录全被移动到回收站,然后再复制。
- 用into时,相当于复制,目的路径下已存在的文件不变,如果存在同名文件,后面复制过来的文件会被重命名成新文件。
- 最好写上源文件的绝对路径。
3. 从hdfs导入数据文件:load data inpath ,不用写'local'
语法:
hive> load data inpath 'hdfs:....../part-r-00000001.lzo' overwrite into table dest_table partition(dt='xxxxxx');
复制代码
实例:
hive> load data inpath 'hdfs://d/test.db/tb_test/dt=2020-03-08/tb_v2.txt' overwrite into table test.tb_test2 partition(dt = '2020-03-08');
日志:Loading data to table test.tb_test2 partition (dt=2020-03-08)Partition test.tb_test2{dt=2020-03-08} stats: [numFiles=1, numRows=0, totalSize=131, rawDataSize=0]OKTime taken: 0.767 seconds
hive> dfs -du -h hdfs://d/test.db/tb_test/dt=2020-03-08 ;-- 原数据文件已不存在
hive> dfs -du -h hdfs://d/test.db/tb_test2/dt=2020-03-08 ;131 hdfs://d/test.db/tb_test2/dt=2020-03-08/tb_v2.txthive> select * from test.tb_test2 ;OK123 华为Mate10 31 999.0 20 2020-03-08456 华为Mate30 31 2999.0 30 2020-03-08789 小米5 31 800.0 20 2020-03-081235 小米6 31 900.0 100 2020-03-084562 OPPO Findx 31 3900.0 50 2020-03-08Time taken: 0.407 seconds, Fetched: 5 row(s)
复制代码
这里是把hdfs上的文件移动(剪切)到目的分区的路径下,源文件已不存在。
4. 从hdfs复制数据文件:dfs -cp
语法:
hive> dfs -cp scr_path/dt=xxxx/* dest_path/dt=xxxx/ ;hive> alter table dest_table add partition(dt='xxxx');hive> select * from dest_table where dt = 'xxxx'
复制代码
- 目的路径要先存在,不然报错'No such file or directory',
- 需要再手动执行add partition才能查到数据
- 源路径的'/*'表示路径下的所有文件
- 这是复制,源文件依然存在。
- 如果复制的文件较大,则需要等待几分钟或十几分钟,且期间不会有日志输出(distcp有日志输出)。期间输入新的命令也不会有反应。
5.从hdfs移动数据文件:dfs -mv
语法:
hive> dfs -mv scr_path/dt=xxxx/* dest_path/dt=xxxx/ ;hive> alter table dest_table add partition(dt='xxxx');hive> select * from dest_table where dt = 'xxxx';
复制代码
- 目的路径要先存在,不然报错'No such file or directory',
- 需要再手动执行add partition才能查到数据。
- 这是剪切(移动),源文件已不存在。
6. 从hdfs复制数据文件:distcp
$ hadoop distcp 配置参数(-pt -overwrite等)hdfs:......源表1/dt=xxxx/*hdfs:......源表2/dt=xxxx/*hdfs:......目的表/dt=xxxx$ hive -e "select * from 目的表 where dt = 'xxxx'"
复制代码
distcp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成。
7. 从本地上传(复制)数据文件 : dfs -put
语法:
hive> dfs -put 'home/a/b/c/t1.txt' dest_path/dt=xxxx
复制代码
8.从本地上传(复制)数据文件 : dfs -copyFromLocal
hive> dfs -copyFromLocal 'home/a/b/c/t1.txt' dest_path/dt=xxxx