CoordinateMatrix To IndexedRowMatrix or To RowMatrix then SVD

最新推荐文章于 2021-02-26 20:49:46 发布
最新推荐文章于 2021-02-26 20:49:46 发布
阅读量2.3k 收藏 3
点赞数
文章标签： MLlib SVD spark-1.0.0
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuqing2020/article/details/37692137
版权

             目前，从spark1.0.0的scala 文档   来看，MLlib下的linalg包下的分布式矩阵，有三种：RowMatrix,  IndexedRowMatrix, CoordinateMatrix. 除了CoordinateMatrix没有SVD方法，RowMatrix 有SVD，PCA方法，IndexedRowMatrix有SVD方法。但是CoordinateMatrix对于大的稀疏矩阵而言是最好的选择，如果想做SVD分解，该怎么办呢？

         方法是有的，CoordinateMatrix 可以通过toIndexedRowMatrix(),转化成IndexedRowMatrix，然后再做分解。CoordinateMatrix还可以通过toRowMatrix()函数转化成RowMatrix（通过源代码发现本质是先转化成IndexedRowMatrix，然后再转化成RowMatrix），然后再做SVD，PCA。但是有个问题值得考虑。这个过程中是将CoordinateMatrix的元素(行，列，值）通过扩充

最低0.47元/天 解锁文章
麦兜NG
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
spark mlib坐标矩阵（Coordinate Matrix）
鸭梨的博客
02-13 1435
坐标矩阵CoordinateMatrix是一个基于矩阵项构成的RDD的分布式矩阵。每一个矩阵项MatrixEntry都是一个三元组：(i: Long, j: Long, value: Double)，其中i是行索引，j是列索引，value是该位置的值。 坐标矩阵一般在矩阵的两个维度都很大，且矩阵非常稀疏的时候使用。 CoordinateMatrix实例可通过RDD[MatrixEntry]实例来创建，其中每一个矩阵项都是一个(rowIndex, colIndex, elem)的三元组 import or
LearnOpenGL 总结记录<3> Matrices, Coordinate Systems
aa20274270的博客
01-26 278
OpenGL 的 矩阵乘法 矩阵在左边。   坐标系 To transform the coordinates in one space to the next coordinate space we’ll use several transformation matrices of which the most important are the model, view and pr...
对于CoordinateMatrix使用toRowMatrix()转换后，行数变少的问题（行粘连）
DayOneMore的博客
02-26 233
问题描述： 对于mat = CoordinateMatrix(entries)，mat 使用rowMat = mat.toRowMatrix() 转换后，行数变少。 通过进一步查看rowMat发现，出现了几行粘连的情况： 程序代码如下： rowNum = 0 colNum = 0 valNum = 0 mtxEntries = [] with open("A.out") as fileA: [rowNum_S, colNum_S, valNum_S]
Spark Mllib之数据类型 - 基于RDD的API
大雄没有叮当猫的博客
09-03 569
微信公众号:数据挖掘与分析学习 MLlib支持存储在单个机器上的局部向量和矩阵，以及由一个或多个RDD支持的分布式矩阵。局部向量和局部矩阵是用作公共接口的简单数据模型。其底层线性代数运算由Breeze提供。在监督学习中使用的训练示例在MLlib中称为“labeled point”。 1.局部向量(Local Vector) 局部向量具有整数类型和基于0的索引和双精度浮点型，存储在单个机器上。...
spark mlib行索引矩阵
鸭梨的博客
02-13 327
索引行矩阵IndexedRowMatrix与RowMatrix相似，但它的每一行都带有一个有意义的行索引值，这个索引值可以被用来识别不同行，或是进行诸如join之类的操作。 其数据存储在一个由IndexedRow组成的RDD里，即每一行都是一个带长整型索引的本地向量。 与RowMatrix类似，IndexedRowMatrix的实例可以通过RDD[IndexedRow]实例来创建 案例 import org.apache.spark.mllib.linalg import org.apache.spar.
NumericalComputingWithMATLAB.zip_A Guide to MATLAB?
07-15
此外，书中还会涉及向量和矩阵的线性代数运算，包括特征值和特征向量的计算、矩阵分解（如LU分解、QR分解和SVD分解）等。 数值计算的核心部分，例如插值、拟合、数值积分和微分，也是本书的重点内容。通过实例，...
DCT_SVD.rar_DCT和SVD_Under Attacks_dct to svd_噪声攻击_自适应鲁棒
07-14
本文提出一种在原始视频DCT(离散余弦变换)与SVD(奇异值分解)域自适应嵌入水印的算法。算法首先将视频流分割成一个个场景,场景中的视频图像被变换到DCT-SVD域中,水印量化嵌入在最大奇异上,实现了水印盲检测。同时实验...
[introduction_to_linear_algebra][gilbert_strang].zip
06-22
8. 矩阵分解：矩阵分解是将一个矩阵转化为几种特定形式的组合，如奇异值分解（SVD）、QR分解、LU分解等。这些分解在数据分析、图像处理和控制系统等领域有广泛的应用。 9. 应用场景：线性代数不仅在数学中占有重要...
RISC-V SVD 文件生成工具
最新发布
10-03
RISC-V SVD 文件生成工具。详细说明见博文 RISC-V 之一 使用 ARM CMSIS 的 SVD 文件辅助调试 https://itexp.blog.csdn.net/article/details/127144450
Spark中组件Mllib的学习 RowMatrix行矩阵
冰雪的专栏
06-01 3603
1解释 分布式行矩阵有：基本行矩阵、index 行矩阵、坐标行矩阵、块行矩阵 功能一次增加 2.代码： /** * @author xubo * ref:Spark MlLib机器学习实战 * more code:https://github.com/xubo245/SparkLearning * more blog:ht
关于SparkMLlib的基础数据结构Spark-MLlib-Basics
热门推荐
canglingye的专栏
11-20 2万+
此部分主要降价写关于MLlib的集中基础的数据结构
Machine Learning On Spark——第二节：基础数据结构（二)
weixin_33979203的博客
09-14 106
作者：周志湖 微信号：zhouzhihubyond 本节主要内容 IndexedRowMatrix BlockMatrix 1. IndexedRowMatrix的使用 IndexedRowMatrix，顾名思义就是带索引的RowMatrix，它采用case class IndexedRow(index: Long, vec...
Spark中组件Mllib的学习16之分布式行矩阵的四种形式
Keep Learning
05-23 3020
更多代码请见：https://github.com/xubo245/SparkLearning Spark中组件Mllib的学习之基础概念篇 1解释 分布式行矩阵有：基本行矩阵、index 行矩阵、坐标行矩阵、块行矩阵 功能一次增加2.代码：/** * @author xubo * ref:Spark MlLib机器学习实战 * more code
Spark机器学习库之数据类型——scala版本
hechenghai
10-11 1630
1.本地向量         本地向量的基类是 Vector,我们提供了两个实现 DenseVector 和 SparseVector。我们建议通过 Vectors中实现的工厂方法来创建本地向量:（注意:Scala语言默认引入的是 scala.collection.immutable.Vector,为了使用MLlib的Vector,你必须显示引入org.apache.spark.mllib.li
Spark Distributed matrix 分布式矩阵
weixin_33921089的博客
05-06 216
RowMatrix行矩阵 import org.apache.spark.rdd.RDD import org.apache.spark.mllib.linalg.Vectors import org.apache.spark.mllib.linalg.distributed.RowMatrix val df1 = Seq( | (1.0, 2.0, 3.0...
理工学---数据基础---大数据---spark中的数据类型
12-01 7954
本文是对官方文档的翻译整理1、数据类型Local vector(本地向量) Labeled point(带标签数据点) Local matrix(本地矩阵) Distrubuted matrix(分布式矩阵)：RowMatrix、IndexedRowMatrix、CoordinateMatrix、BlockMatrix MLlib支持存储在单个机器上的本地的向量和矩阵，以及一个或多个RDD组
Python中数据类型的转换
谢公子的博客
11-03 6123
bytes<-->str a="hello" #str字符型 #str转换为bytes类型 b=a.encode("utf-8") 或 b=bytes(a.encode("utf-8") ) 或 b=bytes(a,encoding="utf-8") #bytes类型转换为str类型 c=b.decode("utf-8") 或 c=str(b,encoding=...
"深入了解SVD算法及其应用
# SVD推荐算法及其应用 SVD推荐算法（Singular Value Decomposition，Singular Value Decomposition，以下简称SVD）是一种在机器学习领域广泛应用的算法，它不仅可以用于降维算法中的特征分解，还可以用于推荐系统...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值