hive lateral view 与explode

最新推荐文章于 2022-04-28 18:54:49 发布
最新推荐文章于 2022-04-28 18:54:49 发布
阅读量440 收藏
点赞数
分类专栏： 大数据 文章标签： sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/103870027
版权
大数据 专栏收录该内容
537 篇文章 547 订阅 ¥49.90 ¥99.00
订阅专栏
本文介绍了Hive中的Lateral View和Explode操作，主要用于行转列。explode函数能将数组或Map类型的数据转换为列输出，而lateral view结合explode可将一行数据拆分为多行，便于进一步的聚合操作。举例说明了如何在SQL查询中使用lateral view和explode处理数据。
摘要由CSDN通过智能技术生成

行转列：explode

将输入的一行数组或者map转换成列输出
语法：explode(array (or map))
在这里插入图片描述

SELECT explode(myCol) AS myNewCol FROM myTable;

在这里插入图片描述
多行转换：lateral view
lateral view用于和split, explode等UDTF一起使用，它能够将一行数据拆成多行数据，在此基础上可以对拆分后的数据进行聚合。


                

                
                
        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  快乐骑行^_^
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
Hive lateral view 和 explode的区别和使用

				
			

			

				

					qq_39783601的博客
				

				

					03-28
					
					887
					
				

			

		

		

			
				
1、explode
将一行数据转换成列数据，可以用于array和map类型的数据。
就是将hive一行中复杂的array或者map结构拆分成多行。

用于array的语法如下：


select explode(arraycol) as newcol from tablename;

explode()：函数中的参数传入的是arrary数据类型的列名。
newcol：是给转换成的列命名一个新的名字...

			
		

	



                

              
                



	

		

			

				
					
【Hive SQL】Hive Sql 列转行（lateral view 与 explode 、posexplode）详解

					
最新发布

				
			

			

				

					qq_34446614的博客
				

				

					06-21
					
					841
					
				

			

		

		

			
				
将hive某列一行中复杂的 array 或 map 结构拆分成多行（只能输入array或map）。通常，explode函数会与lateral view一起结合使用;

			
		

	



                


  
              

                


	

		

			

				
					
hive的udtf函数一（lateral view explode）

				
			

			

				

					zll_1234的博客
				

				

					05-25
					
					933
					
				

			

		

		

			
				
基础介绍：
1.explode函数
explode函数以array类型数据输入，然后对数组中的数据进行迭代，返回多行结果，一行一个数组元素值
ARRAY函数是将一列输入转换成一个数组输出。
例如：
SELECT explode(array(1,2,3)) AS element;
OK
element
1
2
3
Time taken: 0.327 seconds, Fetched: 3 row(s)

数据准备：
1	zhang3	"sing","tennis","running"	"beijing":"d

			
		

	





	

		

			

				
					
Hive SQL中的lateral view explode

				
			

			

				

					数据森麟
				

				

					03-31
					
					3万+
					
				

			

		

		

			
				
公众号后台回复“图书“，了解更多号主新书内容
作者：胖里
来源：胖里的日常
标题中直接写lateral view explode是我鲁莽了，毕竟这俩不是法定cp，也并不是不能分开各自生活。...

			
		

	



		

			
		



	

		

			

				
					
Hive SQL中的 lateral view 与 explode（列转行）以及行转列

				
			

			

				

					积一时之步，臻千里之遥程
				

				

					03-28
					
					4万+
					
				

			

		

		

			
				
文章目录一、列转行Explode炸裂函数posexplode()函数Lateral View例子1例子2例子3例子4——多列炸裂 Posexplode例子5二、行转列例子1例子2
一、列转行
行转列：将多个列中的数据在一列中输出
列转行：将某列一行中的数据拆分成多行
Explode炸裂函数
将hive某列一行中复杂的 array 或 map 结构拆分成多行（只能输入array或map）
语法
explode(col)

select explode(arraycol) as newcol from tabl

			
		

	





	

		

			

				
					
hive lateral view 与 explode详解

					
热门推荐

				
			

			

				

					bitcarmanlee的博客
				

				

					07-16
					
					17万+
					
				

			

		

		

			
				
1.explodehive wiki对于expolde的解释如下：explode() takes in an array (or a map) as an input and outputs the elements of the array (map) as separate rows. UDTFs can be used in the SELECT expression list and as

			
		

	





	

		

			

				
					
Lateral View用法 与 Hive UDTF explode

				
			

			

				

					Stay hungry, Stay foolish
				

				

					10-29
					
					530
					
				

			

		

		

			
				
转：http://blog.csdn.net/oopsoom/article/details/26001307





Lateral View是Hive中提供给UDTF的conjunction，它可以解决UDTF不能添加额外的select列的问题。
1. Why we need Lateral View？
当我们想对hive表中某一列进行split之后，想对其转换成1 to N

			
		

	





	

		

			

				
					
python 实现 hive中类似 lateral view explode的功能示例

				
			

			

				

					12-17
				

			

		

		

			
				
在处理分隔符分隔的数组数据时，Hive 提供了一种称为 `lateral view` 的机制，配合 `explode` 函数可以将单一记录中的数组元素拆分成多条记录。本文主要探讨如何在 Python 中模拟实现 Hive 的 `lateral view explode...

			
		

	





	

		

			

				
					
hive lateral view explode列拆分与行转列用法

				
			

			

				

					qq_35684452的博客
				

				

					03-14
					
					3914
					
				

			

		

		

			
				
在日常工作中，我们在处理数据时，会遇到某个列存在多个数据的情况，如果想拿到这个列里面每个数据进行后续处理的话，这种情况下有两种处理方式：

第一种：如果这个列多个数据是固定数目，可以使用split切分

第二种：如果是不定数目，下面我们就来看看这种情况要怎么处理。

先创建一张临时表供测试，sql如下：


-- 执行引擎：spark引擎
-- 1.创建表
create table tmp.tmp1(book_name string comment '书名',character_name string co

			
		

	





	

		

			

				
					
Hive Lateral View + explode 详解

				
			

			

				

					大数据
				

				

					04-28
					
					1万+
					
				

			

		

		

			
				
hive中的函数分为3类,UDF函数、UDAF函数、UDTF函数

UDF：一进一出
	UDAF:聚集函数，多进一出，类似于：count/max/min
	UDTF:一进多出,如explore()、posexplode()，UDTF函数的时候只允许一个字段
百度explode()时，经常会出现lateral view + explode相关的文章，很少单独写explode()。分别了解ecplode() 与lateral view的各自作用很重要，不然过程都不知道实现的，换个UDTF函数就不会使用了。
..

			
		

	





	

		

			

				
					
hive列转行（lateral view explode）

				
			

			

				

					Romantic_sir的博客
				

				

					04-04
					
					598
					
				

			

		

		

			
				
1．函数说明 

explode(col)：将 hive 一列中复杂的 array 或者 map 结构拆分成多行。 

lateral view 用法：lateral view udtf(expression) tableAlias AS columnAlias 

解释：用于和 split, explode 等 UDTF 一起使用，它能够将一列数据拆成多行数据，在此基础上可以对拆分后的数据进行聚...

			
		

	





	

		

			

				
					
Hive lateral view explode

				
			

			

				

					weixin_30346033的博客
				

				

					06-08
					
					164
					
				

			

		

		

			
				
select 'hello', x from dual lateral view explode(array(1,2,3,4,5)) vt as x结果是：hello  1hello  2hello  3hello  4hello  5来自为知笔记(Wiz)
转载于:https://www.cnblogs.com/lishouguang/p/4560840.html...

			
		

	





	

		

			

				
					
Hive之explode和lateral view

				
			

			

				

					weixin_30341745的博客
				

				

					09-26
					
					551
					
				

			

		

		

			
				
Hive之explode

一. explode, 行转列。
1.1. 用于array类型的数据

table_name 表名
array_col 为数组类型的字段
new_col array_col被explode之后对应的列

select explode(array_col) as new_col from table_name
1.2. 用于map类型数据时的语法如下

由于ma...

			
		

	





	

		

			

				
					
【hive】explode 与 lateral view

				
			

			

				

					xianqi_h的专栏
				

				

					05-02
					
					211
					
				

			

		

		

			
				
// explode 与 lateral viewhttps://blog.csdn.net/bitcarmanlee/article/details/51926530https://blog.csdn.net/oopsoom/article/details/26001307https://blog.csdn.net/inte_sleeper/article/details/7196114// 用...

			
		

	





	

		

			

				
					
hive中的Lateral View

				
			

			

				

					东杰书屋
				

				

					07-02
					
					1万+
					
				

			

		

		

			
				
通过Lateral view可以方便的将UDTF得到的行转列的结果集合在一起提供服务。
因为直接在SELECT使用UDTF会存在限制，即仅仅能包含单个字段，如下：

hive> select my_test(“abcef:aa”) as qq,my_test(“abcef:aa”) as ww from sunwg01;
FAILED: Error in semantic analysis

			
		

	





	

		

			

				
					
LATERAL VIEW explode

				
			

			

				

					七七的博客
				

				

					09-29
					
					172
					
				

			

		

		

			
				
category_name 是给 explode(category) 列起的别名
select movie,category_name 
from 
(
	select movie,category from 
	move_table
)a
LATERAL VIEW explode(category) tmpTable as category_name;
-- category_name 是给 explode(category) 列起的别名




			
		

	





	

		

			

				
					
hive lateral view explode

				
			

			

				

					06-28
				

			

		

		

			
				
### 回答1：
Hive 中的 lateral view explode 是用来将一个表中的一列数组类型的数据拆分成多行，每一行对应数组中的一个元素。这样可以方便地对数组中的元素进行计算和分析。使用方法如下: 

```
SELECT ... FROM table_name 
LATERAL VIEW explode(array_column_name) exploded_table_alias AS column_alias
```

其中 array_column_name 是数组类型的列名，exploded_table_alias 是拆分后的表的别名，column_alias 是拆分后新增的列的别名。
   

### 回答2：
Hive Lateral View Explode 是 Hive 的一种语法，可以将数组或者 Map 类型的列，展开成多行数据。Lateral View 关键字是用来处理嵌套类型的数据，而 Explode 函数可以将数组或 Map 类型的列展开成多行数据，每一行包含一组键值对或值。这个语法语句会将每个数组或 Map 对象分解成独立的行，其中包含了键和值。这样对于数组或 Map 中的数据就可以进行分组、过滤、排序等操作，这种方式可以方便的处理多类型数据。 

它的基本语法如下：

select a.id, b.device_name
from   user_info a lateral view explode(a.devices) b as device_name;

这个语句的主要作用是将 user_info 表中的 devices 列展开成多行数据，每行数据包含一个用户设备名称和设备id。此时，可以通过 device_name 字段来分组、过滤、聚合等操作，从而方便地对数据进行处理。Lateral View 和 Explode 结合使用，可以方便的处理复杂数据类型，挖掘数据更深层次的信息，使数据分析更加高效、方便、精准。 

总的来说，Hive Lateral View Explode 能够方便地将数组或 Map 类型的列进行展开，使得数据处理更加方便和高效。使用它可以应对各种统计需求，分析更加深入有效。同时也要注意到 Lateral View Explode 这种语法可能会影响计算效率，因此在实际的使用中需要仔细设计和优化查询语句，以提高计算效率。   

### 回答3：
Hive Lateral View Explode 是在 Hive 中用于将一个数组或 Map 字段转换为行的扩展函数。它通过创建新行来展开数组或 Map 字段中的每个元素，以便更容易地进行查询和分析。

在 Hive 中，数组和 Map 字段是常见的数据类型，用于存储多个值或键值对。但是，这些类型常常难以查询和分析，因为它们不能直接展开成一些行。Lateral View Explode 解决了这个问题。它允许将数组和 Map 字段展开成多行，这样就可以更轻松地进行分析和查询。

使用 Lateral View Explode 函数，可以将数组字段展开成多行，每行包含数组中的一个元素。例如，假设有一个包含成绩的数组字段 grades，它包含多个数字。使用 Lateral View Explode 函数，可以将 grades 字段展开成新的一组行，每一行包含一个成绩。

另外，Lateral View Explode 也可用于 Map 字段，使每个键值对都展开成一行。Lateral View Explode 还可以与其他 Hive 函数结合使用，以进一步扩展查询。

总之，Lateral View Explode 是 Hive 中一个重要的扩展函数，它可将数组和 Map 字段转换成行，方便查询和分析。使用 Lateral View Explode 函数可以大大简化数据分析的过程，提高查询效率，并使数据更加有用。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
快乐骑行^_^

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值