spark concat_ws,collect_set

最新推荐文章于 2024-03-14 17:43:34 发布
最新推荐文章于 2024-03-14 17:43:34 发布
阅读量7.1k 收藏
点赞数
分类专栏： hive spark 文章标签： spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuiqiuuuu/article/details/72809178
版权
spark 同时被 2 个专栏收录
23 篇文章 0 订阅
订阅专栏
hive
22 篇文章 0 订阅
订阅专栏 
concat_ws


hive > select product_id, concat_ws('_',collect_set(promotion_id)) as promotion_ids from product_promotion group by product_id;
OK
5112 960024_960025_960026_960027_960028
5113 960043_960044_960045_960046
Time taken: 3.116 seconds
concat_ws实现将多行记录合并成一行
collect_set
from pyspark.sql import functions as F
F.collect_set("di_ware_no")
这里的collect_set的作用是对di_ware_no去重，值得注意的是，必须保证di_ware_no的类型是string类型

                

        

        

    

  


    

      

        

            

              
                
                  zhuiqiuuuu
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Spark 对每个groupby的每个group的string进行concat

				
			

			

				

					Talk Is Cheap
				

				

					11-24
					
					1001
					
				

			

		

		

			
				
concat_ws and collect_set

			
		

	



                

              
                



	

		

			

				
					
Spark SQL 实现 group_concat

				
			

			

				

					Islotus
				

				

					07-11
					
					3538
					
				

			

		

		

			
				
Spark SQL 实现 group_concat环境：Spark 2.0.1 以下貌似需要至少Spark 1.6支持，未实测（网友yanshichuan1反馈spark 1.5.1同样支持，感谢）表结构及内容：+-------+---+
|   name|age|
+-------+---+
|Michael| 29|
|   Andy| 30|
| Justin| 19|
| Justin| ...

			
		

	



                


  
              

                


	

		

			

				
					
mysql collect_set_spark sql  concat_ws() collect_set() collect_list() 字段值拼接

				
			

			

				

					weixin_28871731的博客
				

				

					01-18
					
					2571
					
				

			

		

		

			
				
spark sql collect_set、collect_list 、concat_ws都用来做字段拼接，其实和mysql中的字段拼接函数差不多，请参考Mysql中concat()、concat_ws()和 group_concat() 字段拼接的用法1.concat_ws()函数concat_ws()-CONCAT With Separator ，用分隔符来拼接字段spark中concat_w...

			
		

	





	

		

			

				
					
【FAQ】Hive collect_set()无序、collect_list()有序和concat_ws()使用

				
			

			

				

					loongshawn的博客
				

				

					07-14
					
					1万+
					
				

			

		

		

			
				
需求来源
对列值分组，并按一定顺序排序，最后多行合并一行，合并值左到右逆序排列。
问题描述
select
  t.id,
  concat_ws(',', collect_set(t.class))
from
  temp t
group by
  t.id

原始temp数据




id
class




loongshaw
1


loongshaw
2


loongshaw
3


loongshaw
4


期望值




id
class




loongshaw
1,2,3,4



.

			
		

	



		

			
		



	

		

			

				
					
SparkSQL中的collect_set()函数对于输入类型的限制

				
			

			

				

					qq_16759443的博客
				

				

					07-17
					
					4789
					
				

			

		

		

			
				
在HQL中，collect_set() 支持各种类型的字段的聚合；

-- HQL 中可以执行如下操作
SELECT	ssoid,
	collect_set(nickname)[0] AS nickname,
	collect_set(nat_code)[0] AS nat_code,
	collect_set(reg_brand)[0] AS reg_brand,
	collect_set(r...

			
		

	





	

		

			

				
					
spark sql 中concat_ws和collect_set的使用

				
			

			

				

					麻辣灬小笼包的博客
				

				

					04-09
					
					6721
					
				

			

		

		

			
				
concat_ws和collect_set一般搭配使用
官方释义
collect_set
collect_set(expr) - Collects and returns a set of unique elements.
concat_ws
concat_ws(sep, [str | array(str)]+) - Returns the concatenation of the strings separated by sep.
1.concat_ws: 用指定的字符连接字符串
连接字符串：
conca

			
		

	





	

		

			

				
					
SQL---行转列，列转行（concat,concat_ws,collect_set）

				
			

			

				

					xiaobai666666C的博客
				

				

					06-13
					
					1046
					
				

			

		

		

			
				
concat_ws则不然，只要有一个字符串不为null，就不会返回null,concat_ws需要指定分隔符。concat_ws也是将两个字符串连接成一个字符串,concat_ws需要指定分隔符。concat所要连接的字符串中出现了null，则整体连接结果为null。collect_set是将某列元素转化为数组返回。concat函数用于将两个字符串连接成一个字符串。注意:collect_set无序且会去重。

			
		

	





	

		

			

				
					
hive中的concat，concat_ws，collect_set用法

					
热门推荐

				
			

			

				

					waiwai3的博客
				

				

					01-16
					
					6万+
					
				

			

		

		

			
				
需求：对用户的订单进行分析，将不同订单类型分别多少单展示出来，每个用户一行
原数据：





user
order_type
order_number


user1
delivered
10


user2
returned
1


user1
returned
3


user2
delivered
20



目标：



			
		

	





	

		

			

				
					
spark sql 之 collect_set collect_list 后WrappedArray 取值

				
			

			

				

					鸟语清晨
				

				

					05-26
					
					3077
					
				

			

		

		

			
				
示例：demo数据




userId
place




1001
北京


1001
上海


spark建立的虚拟表 userPlaceView。根据用户ID进行分组，用collect_set(place)获取place信息。
spark sql 函数查询 地址
Dataset<Row> resultDataSet = SqlContext.sql("select userId, collect_set(place) as place from userPlaceView group b

			
		

	





	

		

			

				
					
记录一下spark SQL里concat_ws和collect_set的作用

				
			

			

				

					weixin_42379136的博客
				

				

					10-21
					
					1万+
					
				

			

		

		

			
				
官方文档：

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$

 

concat_ws: 用指定的字符连接字符串

例如：

连接字符串：

concat_ws("_", field1, field2)，输出结果将会是：“field1_field2”。

数组元素连接...

			
		

	





	

		

			

				
					
spark ,hive collect_list全局保持顺序

				
			

			

				

					servletwjx的博客
				

				

					07-06
					
					2465
					
				

			

		

		

			
				
https://www.cnblogs.com/zhnagqi-dream/p/11912317.html


			
		

	





	

		

			

				
					
hive 列转行—collect_set()/collect_list()/concat_ws()函数的使用场景

				
			

			

				

					weixin_42326851的博客
				

				

					11-24
					
					4186
					
				

			

		

		

			
				
【hive】列转行—collect_set()/collect_list()/concat_ws()函数的使用场景

			
		

	





	

		

			

				
					
使用SparkSQL时使用SQL语句中的COLLECT_SET和后期处理需要注意问题

				
			

			

				

					Ran_记忆犹新的博客
				

				

					06-28
					
					5203
					
				

			

		

		

			
				
在使用SparkSQL的SQL语句进行聚合后拼接时，需要使用CONCAT_WS进行多字段拼接，再使用COLLECT_SET进行收集，返回一个Array数组的集合。

如：


 val imo_type_sql =
      """
        |SELECT IMO, MMSI, COLLECT_SET(CONCAT_WS("~",ShipType, count)) as type_cou...

			
		

	





	

		

			

				
					
1. sparksql:函数使用:concat_ws,collect_set,RANK， DENSE_RANK， ROW_NUMBER

				
			

			

				

					zhuchunyan_aijia的博客
				

				

					02-03
					
					925
					
				

			

		

		

			
				
concat_ws: 用指定的字符连接字符串

例如：

连接字符串：

concat_ws("_", field1, field2)，输出结果将会是：“field1_field2”。

数组元素连接：

concat_ws("_", [a,b,c])，输出结果将会是："a_b_c"。



collect_set: 把聚合的数据组合成一个数组，一般搭配group by 使用。

例如有下表T_...

			
		

	





	

		

			

				
					
Spark2 Dataset之collect_set与collect_list

				
			

			

				

					weixin_34336292的博客
				

				

					11-25
					
					384
					
				

			

		

		

			
				
collect_set去除重复元素；collect_list不去除重复元素select gender, concat_ws(',', collect_set(children)), concat_ws(',', collect_list(children)) from Affairsgroup by gender


// 创建视图 
data.createO...

			
		

	





	

		

			

				
					
Hive中的CONCAT、CONCAT_WS与COLLECT_SET函数

					
最新发布

				
			

			

				

					weixin_44852067的博客
				

				

					03-14
					
					2766
					
				

			

		

		

			
				
concat用于连接字符串。concat_ws用于按照指定的分隔符连接字符串。与group by和concat_ws一起使用可以实现"列转行。

			
		

	





	

		

			

				
					
SparkSQL_经典案例分析_数据表行列变化转换分析_collect_list()&collect_set()&str_to_map函数

				
			

			

				

					yj2434的博客
				

				

					11-05
					
					1129
					
				

			

		

		

			
				
import org.apache.spark.sql.SparkSession

/**
 * 数据的行列变化：
 * 多行数据到一行数据中
 * 例如：
 * +--------+----+-----+           +--------+---------+-----+
 * |username|item|price|           |username|item     |price|
 * +--------+----+-----+           +--------+--------

			
		

	





	

		

			

				
					
concat_ws collect_set 排序

				
			

			

				

					07-28
				

			

		

		

			
				
根据引用\[1\]和引用\[2\]的内容，可以使用concat_ws函数结合collect_set函数来进行排序。首先，将collect_set函数改为collect_list函数或sort_array函数进行排序。例如，使用sort_array(collect_set(t.class), false)来对字段进行排序。然后，使用concat_ws函数将排序后的字段进行拼接。最后，根据需要使用group by语句对结果进行分组。这样就可以实现concat_ws和collect_set的排序功能。引用\[1\]\[2\]
#### 引用[.reference_title]
-  *1* [SQL之concat()、collect_set()、collect_list()和concat_ws()用法](https://blog.csdn.net/weixin_48272780/article/details/128243152)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
-  *2* [hive中的拼接函数（concat,group_concat,concat_ws,collect_set）](https://blog.csdn.net/zll_1234/article/details/106329025)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
-  *3* [hive concat_ws列转行排序问题](https://blog.csdn.net/qq_37067752/article/details/125238271)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值