saprk rdd使用中遇到的一个典型问题

最新推荐文章于 2021-07-12 14:15:20 发布
最新推荐文章于 2021-07-12 14:15:20 发布
阅读量959 收藏
点赞数
分类专栏： saprk 文章标签： spark rdd
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanghytc/article/details/72553029
版权

最近公司在做推荐系统相关的项目, 目前使用的是spark2.1.1 中的ML 中的机器学习包ALS, 在开发的时候需要计算物品矩阵的相似度 这样就要涉及到两两矩阵进行计算,但是如何得到这两个矩阵, 已经得到了一个ItemFactor, 也有全部的item信息, 而向量呢就是根据这两个取值得到的, 为了体验一下楼主当时多low,看下图:





写的多low, 

itemFactors这个对象先取出所有的itemIds 到driver端, 然后又遍历itemFactors这个对象,得到其中每一个itemId,然后又根据collect到driver
的itemIds又得到一个向量,很明显,在executor端又使用了itemFactors这个对象,这是不行的,所以一直报空指针错误
 

 


 
 


 
 


 
 


 
 


 
 


 
 


 
 


 
 


 
 


 
 


 
 


 
 


 
 


 
 


 
 


 

                

        

        

    

  


    

      

        

            

              
                
                  zhanghytc
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
Spark RDD原理与代码实例讲解

				
			

			

				

					程序员光剑
				

				

					08-04
					
					277
					
				

			

		

		

			
				
Spark RDD原理与代码实例讲解
1. 背景介绍
1.1 大数据处理的挑战
随着数据量的爆炸式增长,传统的数据处理方式已经无法满足实时性、高吞吐量的大数据处理需求。Hadoop MapReduce等批处理框架虽然能够处理海量数据,

			
		

	



                

              
                



	

		

			

				
					
Spark RDD 原理与代码实例讲解

					
最新发布

				
			

			

				

					程序员光剑
				

				

					06-07
					
					316
					
				

			

		

		

			
				
RDDpartitionii1nRDDpartitioni​i1n​其中,partitionipartitioni​表示RDD的第iii个分区,nnn为分区总数。每个分区可以看作一个数组,存储了RDD的部分数据。标准化# RDD 原理与代码实例讲解随着大数据技术的不断发展，RDD（弹性分布式数据集）作为核心抽象，已经在大数据处理领域得到了广泛应用。

			
		

	



                


  
              

                


	

		

			

				
					
RDD编程初级实践

				
			

			

				

					JR's 博客
				

				

					06-10
					
					642
					
				

			

		

		

			
				
RDD编程初级实践1、需求描述2、环境介绍系统介绍本实验的编程环境3、数据来源描述1)	Pyspark交互式编程2)	编写独立应用程序实现数据去重3)	编写独立应用程序实现求平均值问题4、数据上传及上传结果5、数据处理过程描述pyspark交互式编程编写独立应用程序实现数据去重编写独立应用程序实现求平均值问题6、经验总结
1、需求描述
在当今信息化时代中，随着大数据的快速发展情况下，大数据应用于社会的各方面的发展及进步。通过实验使我们熟悉Spark的RDD基本操作和键值对操作；以及熟悉使用RDD编程解决实际

			
		

	





	

		

			

				
					
Spark开发学习之RDD编程

				
			

			

				

					花菜回锅肉的博客
				

				

					07-12
					
					324
					
				

			

		

		

			
				
Spark开发学习之RDD编程
什么是RDD
RDD(Resilient Distributed Dataset)是分布式数据集，是Spark设计里最为核心的概念。在RDD出来之前，所有的分布式批处理计算系统都是从存储中读取数据到计算完成后将结果写入存储的模型，这种计算模型在处理数据集迭代运算时效率不高，为了解决这一问题，RDD应运而生。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2kjsbB89-1626070161978)(spark-structure.png)]


			
		

	



		

			
		



	

		

			

				
					
完全平方数

				
			

			

				

					青烟绕指柔的博客
				

				

					01-14
					
					179
					
				

			

		

		

			
				
题目链接：完全平方数

首先可以想到二分。
然后我们对于 2 的完全平方数来说，全部计算即可，3也同理。但是对于6来说，被计算了2次，所以需要减去。然后对于4来说，已经被2计算过了，跳过即可。
其实我们不难发现，这就是莫比乌斯函数。

AC代码：
#pragma GCC optimize("-Ofast","-funroll-all-loops")
#include<bits/stdc++.h>
#define int long long
using namespace std;
const i

			
		

	





	

		

			

				
					
推荐系统矩阵分解详解之spark ALS

				
			

			

				

					bitcarmanlee的博客
				

				

					05-17
					
					3734
					
				

			

		

		

			
				
1.推荐系统与spark
做推荐系统的同学，一般都会用到spark。spark的用途相当广泛，可以用来做效果数据分析，更是构建特征与离线训练集的不二人选，同时spark streaming也是做实时数据的常用解决方案，mllib包与ml包里面也实现了很多常用的算法，是针对大数据集分布式算法最常用的算法框架。因此能熟练掌握spark的使用算是做推荐系统的基本功。
2.ALS算法
spark mllib/ml中，recommendation包里只有一个算法:ALS，估计做过推荐系统相关的同学，都会或多或少用过A

			
		

	





	

		

			

				
					
Spark技术内幕读书笔记：Spark核心——RDD实现详解

				
			

			

				

					Big_data_implicit_
				

				

					01-28
					
					438
					
				

			

		

		

			
				
————Spark技术内幕读书笔记————
深入解析内核架构设计与实现原理
Spark究竟解决了什么问题？

1.背景：
在spark出现之前，hadoop的迅速发展，hadoop分布式集群，把编程简化为自动提供 位置感知性调度，容错，以及负载均衡的一种模式，用户就可以在普通的PC机上运行超大集群运算，hadoop有一个非常大的问题：hadoop是基于流处理的，hadoop会从(物理存储)hdfs中加载数据，然后处理之后再返回给物理存储hdfs中，这样不断的读取与写入，占用了大量的IO，后来hadoop出现

			
		

	





	

		

			

				
					
Spark部署中的关键问题解决之道--许鹏.pdf

				
			

			

				

					08-21
				

			

		

		

			
				
本文详细讨论了Apache Spark部署过程中的关键问题及解决方案。Spark作为一款高效的大数据处理框架，支持快速、大规模的数据处理和分析。解决部署过程中的关键问题对于保证Spark应用的性能和稳定性至关重要。  首先，...

			
		

	





	

		

			

				
					
Spark分布式计算原理（RDD依赖关系，RDD优化，spark-submit）

				
			

			

				

					May_J_Oldhu的博客
				

				

					11-19
					
					396
					
				

			

		

		

			
				
Spark分布式计算原理一.Spark RDD依赖关系1.Spark WordCount运行原理2.为什么需要划分Stage3.RDD依赖关系4.DAG工作原理5.Spark shuffle二.RDD优化1.RDD持久化（1）RDD缓存机制（2)  缓存策略StorageLevel（3）缓存应用场景（4）使用注意事项（5）检查点：类似快照（6）检查点与缓存的区别2.RDD共享变量（1）广播变量（2）累加器3.RDD分区设计4.数据倾斜三.加载常用外部数据源1.装载CSV数据源（1）使用SparkContex

			
		

	





	

		

			

				
					
Spark-Scala-RDD 入门问题汇总

				
			

			

				

					左手121
				

				

					08-17
					
					4109
					
				

			

		

		

			
				
Spark-Scala-RDD 入门问题汇总最近一段时间一直在了解Spark。作为初学者在这记录一些自己的新的，方便自己以后查看。
系统运行版本是：Hadoop 2.7.2 / Spark 2.0.0 / Scala 2.11.8 
编辑器： IDEA1：在Spark上如何运行程序    编写的程序必须打包并在终端运行。不能直接在编辑器上运行，这是因为程序运行的时没有提交给spark集群。
2：搭建

			
		

	





	

		

			

				
					
spark空指针错误可能的原因之一——df.rdd.toDF

				
			

			

				

					自渡
				

				

					10-11
					
					1869
					
				

			

		

		

			
				
这空值动不动就Null point error，是个巨大的坑，昨天调试了一天的程序发现，dataframe转rdd进行类似于filter一些的操作，最后count的时候就会报空指针的错误，但是df不转为rdd而是直接df.filter(func)的话，就可以不报错地完美运行。究其根本...待下回分解。

关于spark/Scala的空值处理：

https://www.cnblogs.com/wwxbi/p/6011422.html

https://blog.csdn.net/u012798083/art

			
		

	





	

		

			

				
					
Spark应用（一）提取RDD内部信息和信息放入RDD

				
			

			

				

					legotime的博客
				

				

					03-08
					
					4437
					
				

			

		

		

			
				
提取RDD内部信息
     对于提取RDD内部信息有的人或许认为是一件非常简单的事情，“直接foreach操作不就行了？”。如果RDD不是为了分布式式计算。那么這样的逻辑就完全可以。
直接在外部顶一个可变量A，然后遍历RDD，A放入RDD遍历逻辑中，遍历完之后，就可以提取RDD内部的信息。但是RDD是为分布式而设计，也就是说，你這样的逻辑
放在一个分布式中就行不通了。下面看一个例子
im

			
		

	





	

		

			

				
					
Spark编程之基本的RDD算子之cogroup，groupBy，groupByKey

					
热门推荐

				
			

			

				

					stevekangpei的博客
				

				

					07-24
					
					1万+
					
				

			

		

		

			
				
Spark编程之基本的RDD算子之cogroup，groupBy，groupByKey
1) cogroup [Pair], groupWith [Pair]
首先来看一下它的api。def cogroup[W](other: RDD[(K, W)]): RDD[(K, (Iterable[V], Iterable[W]))]
def cogroup[W](other: RDD[(K, W)], n

			
		

	





	

		

			

				
					
rdd算子中能使用rdd的引用吗？

				
			

			

				

					tanglizhe1105的博客
				

				

					03-21
					
					3528
					
				

			

		

		

			
				
rdd算子中调用的客户函数坚决不能出现任何形式的rdd引用，否则会报很严重的错误： 
 java.lang.ClassCastException: org.apache.spark.MapOutputTrackerWorker cannot be cast to org.apache.spark.MapOutputTrackerMaster这是因为客户函数将以闭包的形式发送至各个worker。若客户

			
		

	





	

		

			

				
					
Spark面试常见问题(一)--RDD基础

				
			

			

				

					钟晚语夕的专栏
				

				

					05-14
					
					1649
					
				

			

		

		

			
				
1 RDD基础知识
1.1 Spark的RDD五大特性
1.1.1 A list of partitions
  RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。
   对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片...

			
		

	





	

		

			

				
					
Spark RDD编程初级实践遇到的问题已经解决方法

				
			

			

				

					05-24
				

			

		

		

			
				
在Spark RDD编程初级实践中，常见的问题与解决方法如下：  1. 数据丢失或计算结果不正确  可能原因：  - 数据源读取错误 - 数据清洗不完整 - 数据处理逻辑错误  解决方法：  - 检查数据源是否正确读取 - 检查数据...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值