Hive建表（一） 建表语法和导入hdfs数据

最新推荐文章于 2024-12-06 14:17:11 发布
最新推荐文章于 2024-12-06 14:17:11 发布
阅读量4.5k 收藏 11
点赞数 2
分类专栏： 大数据 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zp17834994071/article/details/106648695
版权
本文介绍了Hive作为数据分析工具的优势，并详细讲解了如何创建Hive的内部表和外部表，包括列定义、数据类型和存储格式。此外，还提到了数据导入HDFS的步骤，以及删除库和表的操作。在创建数据库时，要注意字符集的选择，以避免出现错误。
摘要由CSDN通过智能技术生成

为什么要用Hive?
前面我用MapReduce端join操作两张表，大家也看到很麻烦，而现在有一个工具可以不用那么麻烦的去写MapReduce程序了，只需要用Hive就可以照样显示需要的结果。

 Hive是基于Hadoop的一个数据仓库工具；它是MapReduce的一个封装，底层就是MapReduce程序；
 Hive可以将结构化的数据文件（按照各字段分类的数据）映射成一张虚表，并提供类SQL查询功能；
 有了Hive后我们就不用再写麻烦的MapReduce程序了。
 说白了Hive的本质是把SQL语句转化成了MapReduce程序。

Hive中处理的数据分两部分存放：
① 处理的结构化数据，存储在HDFS中
② 表的元数据存储在元数据库mysql中

表的元数据和mysql中的结构化数据，通过映射，构成一张虚表，用于Hive查询数据分析。
接下来就看如何建表，其实和mysql语法有很多类似地方；
在添加mysql配置的时候就已经配置好了数据库名叫hive。

数据表分为内部表和外部表
（1）内部表(管理表)
HDFS中为所属数据库目录下的子文件夹
数据完全由Hive管理，删除表(元数据)会删除hdfs中数据
（2）外部表(External Tables)
数据保存在指定位置的HDFS路径中
Hive不完全管理数据，删除表(元数据)不会删除hdfs中数据

新建一张外部表
cerate external table [if not exists] customs(
cust_id string,
cus

最低0.47元/天 解锁文章
3.2.1 数据仓库工具 -- Hive(安装配置、建库建表、数据导入导出)
weixin_47134119的博客
02-01 1418
3.2.1 数据仓库工具 – Hive 文章目录3.2.1 数据仓库工具 -- Hive一、Hive概述1. Hive的优点2.Hive的缺点3.Hive架构二、Hive安装与配置2.1 Hive安装配置2.1.1、MySQL安装1、删除MariaDB2、安装依赖3、安装MySQL4、启动数据库5、查找root密码6、修改 root 口令7、创建 hive 用户2.1.2、Hive 安装1、下载Hive软件，并解压缩2、修改环境变量3、修改 Hive 配置4、拷贝 MySQL JDBC 驱动程序5、初始化
Hive实战-建表相关操作
进击的数据小白
05-08 1528
内部表&外部表 在Hive创建表的语法中有一个关键字是EXTERNAL，该关键字表示表的类型，在Hive中一共有两种类型的表：MANAGED_TABLE(内部表)和EXTERNAL_TABLE(外部表)。如果没有加EXTERNAL关键字，则创建表都是管理表，两种表有以下的区别： 在导入数据到外部表，数据并没有移动到自己的数据仓库目录下(如果指定了location的话)，也就是说外部表中的数据并不是由Hive自己来管理的，而内部表则不一样，是由数据仓库来管理的； 在删除表的时候，Hive将会把属于表
HIve：创建hive表并通过HDFS文件进行导入数据（速度最快）
小栋哟
11-29 6269
最近这个项目做hive建表在导入数据的时候，数据量大的时候难免会慢一点，现在又发现了一种新的导入数据方式； 使用hdfs的文件进行导入，所以要使用的话就得先把文件上传到hdfs再操作 三个前提：1.文件必须已经上传到hdfs，否则不行。2.这个表必须是不存在的，不能在已表上进行叠加数据；3.必须是目录级别，不能具体到文件；如果目录底下有多个文件，将会把所有文件数据都导入进去；如果正好需要将目录...
Hive建表语句Location与HDFS创建目录
Time_Needer的博客
07-21 2275
建外部表使用LOCATION，读取到数据，同时插入数据，会在LOCATION位置新生成文件000000_0，然我删除外部表，数据文件还在，证明外部表功能还在。 我建内部表使用LOCATION，读取到数据，同时插入数据也会生成新文件，但如我删除内部表，数据文件都会消失，整个目录都会删除掉，也正好符合内部表的功能。 我建立外部表，不使用LOCATION，会在默认在/hive/warehouse/数据库名称/表名 建立目录，然后插入数据，会生成新文件，删除表。目录和文件都还在。符合外部表功能。 建立内部表，不使.
HDFS、Hive 和 MapReduce 开发及原理
最新发布
Davina_yu的博客
12-06 572
描述：Hive是一个基于Hadoop的数据仓库工具，允许用户使用类似于SQL的语言查询存储在HDFS中的数据。特点SQL接口：支持标准SQL语法，降低了大数据分析的学习曲线。数据抽象：将非结构化或半结构化的数据映射为表，便于管理和查询。多种存储格式：支持ORC、Parquet、TextFile等多种存储格式，优化查询性能。可扩展性：可以通过自定义函数（UDF）、聚合函数（UDA）和表函数（UDTF）扩展功能。描述：MapReduce是一种编程模型，用于并行处理大规模数据集。
hbase hdfs外部表_HBase从hdfs导入数据
weixin_34033915的博客
01-12 307
需求：将HDFS上的文件中的数据导入到hbase中实现上面的需求也有两种办法，一种是自定义mr，一种是使用hbase提供好的import工具一、hdfs中的数据是这样的每一行的数据是这样的id name age gender birthday(my_python_env)[root@hadoop26 ~]# hadoop fs -cat /t1/*1 zhangsan 10 m...
Hive建Hdfs外部分区表
BabyFish13
04-12 4278
1、目录及数据准备 hadoop dfs -rmr /tmp/oss_access_test/2017-04-01 hadoop dfs -mkdir -p /tmp/oss_access_test/2017-04-01/ hadoop dfs -cp /tmp/oss_access/2017-04-01/sz-98-72_localhost_access_log.2017-04-01.*.tx
hive 通过csv文件创建表
热门推荐
遥望......
10-18 1万+
1.建表 create table mytable(userid string,name string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES ( "separatorChar" = ",", "quoteChar" = "'", "escapeChar"
hive建表时插入数据
07-28
需要注意的是，根据具体的需求和数据来源，选择合适的方式来插入数据到Hive表中。 #### 引用[.reference_title] - *1* *2* *3* [Hive 创建表、导入数据和插入数据操作]...
hive与mysql的语法区别_HIVE基本语法(创建删除修改表和表结果)以及分区详细讲解...
weixin_39622980的博客
01-27 1304
HIVE小结HIVE基本语法HIVE和Mysql十分类似建表规则CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENT table_comment][PARTITIONED BY (col_name data_type [COMMENT c...
hive实战开发-2（建表、写数、加载数据到hdfs、动态分区、列转行）
xfysq_的博客
04-20 199
建表、写数、加载数据到hdfs、动态分区、列转行
hive学习day02---建表语句
W_X_L11的博客
10-15 461
语句示范： create [EXTERNAL] table vv_stat_fact ( userid string, stat_date string, tryvv int, sucvv int, ptime float ) PARTITIONED BY ( 非必选；创建分区表 dt string) clustered by (userid) into 3000 buckets // 非必选；分桶子 ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' /
hive内部表与外部表区别详细介绍
yanhan_huang的专栏
07-08 1239
问题导读： 1.创建内部表与外部表的区别是什么？ 2.external关键字的作用是什么？ 3.外部表与内部表的区别是什么？ 4.删除表的时候，内部表与外部表有什么区别？ 5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什么样子的？ 6.磁盘，hdfs,hive表他们之间的过程是什么样子的？
【数据库】将CSV和TXT文件导入hive表中
J小白的博客
09-05 5167
对于csv和txt文件导入hive表，区别在于二者的分隔符不同，这一点在建表语句中体现出来。下面是两种方式的导入方式步骤： 1.将csv文件导入到hive表 (1)建表语句： USE database; CREATE TABLE table( ssid int comment 'ssid', orderid int comment 'orderid' ) C...
hive 内部表 外部表 创建
qq_43192537的博客
09-02 2064
hive 内部表 外部表 创建
Hive load hdfs文件生成hive表
qq_40771567的博客
12-17 3509
1、上传文件到hdfs hdfs dfs -put ./user_id.csv /team/profile/test; 2、创建表(进入hive客户端) create table tmp.profile_need_match_view_users(id string) row format delimited fields terminated by '\t'; 3、load到hive表 load data inpath '/team/profile/test/user_id.csv' into
hive的数据模型之内部表和外部表
枣泥馅的博客
04-27 315
hive的数据模型 hiv的数据模型有6种： 内部表 外部表 分区表 静态分区 动态分区 桶表 视图 物化视图 内部表 从hive上创建的表通过hive存储到hdfs上的表叫内部表 默认：在/user/hive/warehouse/目录下（hdfs上的目录） 删除内部表：元数据、数据都会被删除 ...
hive 数据库 表 列（DDL）
qq_43192537的博客
09-22 1246
hive 数据库 表 列（DDL）
【Hive】创建Hive表格，从HDFS中加载数据
懂得一千零一种,赋予你失败的方法！
12-25 8237
文章目录一、创建Hive基础表二、上传HDFS数据集三、Hive表加载数据集 一、创建Hive基础表 CREATE DATABASE IF NOT EXISTS test; USE test; CREATE EXTERNAL TABLE student ( name STRING, age INT, gpa string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' S.
一键实现mysql数据抽取并生成hive建表语句
这一过程对于大数据处理和分析尤为重要，因为Hive是一个建立在Hadoop之上的数据仓库工具，可以用来进行数据挖掘，而MySQL是一个广泛使用的数据库管理系统。自动化这一过程可以大幅提高开发效率，减少重复性劳动，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值