[机器学习]范数 常用参考汇集

最新推荐文章于 2024-07-26 08:47:46 发布
最新推荐文章于 2024-07-26 08:47:46 发布
阅读量882 收藏 5
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouxinxin0202/article/details/77965984
版权
本文主要探讨了机器学习中范数的作用，包括向量和矩阵范数，特别是L1和L2范数在正则化中的意义。通过知乎专家的解释，解释了范数作为距离度量的本质，以及L1范数的稀疏性特点。同时，提到了核范数如何近似矩阵的秩，并且讨论了L1范数在求解问题时的次微分特性。
摘要由CSDN通过智能技术生成

       每次看到范数总感觉似曾相识又解释不清，鉴于上周苏宁面试被问了L1范数和L2范数，回答不清，故决定好好梳理一通。

1. 知乎大神，理解的角度

1）作者：Faaany

链接：https://www.zhihu.com/question/21868680/answer/136376374
来源：知乎

范数的本质是距离，存在的意义是为了实现比较。范数其实是一个函数，它把不能比较的向量转换成可以比较的实数。

最低0.47元/天 解锁文章
Lucky和小白
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python实现次梯度(subgradient)和近端梯度下降法 (proximal gradient descent)方法求解L1正则化
fangfanglovezhou的博客
01-28 4611
l1范数最小化 考虑函数，显然其在零点不可微，其对应的的次微分为： 注意，的取值为一个区间。 两个重要定理： 1）一个凸函数，当且仅当，为全局最小值，即为最小值点； 2）为函数（不一定是凸函数）的最小值点，当且仅当在该点可次微分且。 考虑最简单的一种情况，目标函数为： 对应的次微分为： 进一步可以表示为： 故，若，最小值点为： 若，最小值点为： 若，最小值点为： 简而言之，最优解，通常被称为软阈值（soft threshold）算子。 subgradient...
对范数求偏导数
lilong117194的博客
09-24 1万+
首先介绍点基础知识，另一方面也算是巩固下： A−1A^{-1}表示A的逆矩阵; ATA^T表示A的转置; AHA^H表示Hermitian矩阵(A的共轭转置矩阵A∗==A)基础（1）迹（Trace）eig(A)表示A的特征值（2）行列式（Determinant）（3）特例2*2矩阵以上是摘自：The Matrix Cookbook 也可参考维基百科：Matrix calculusL1范数的次
SQL语言入门（非常详细）零基础入门到精通，收藏这一篇就够了
Python84310366的博客
07-05 1460
一、SQL 概述1、什么是 SQLSQL 指结构化查询语言，全称是 Structured Query Language。SQL 让您可以访问和处理数据库，包括数据插入、查询、更新和删除。SQL 在1986年成为 ANSI（American National Standards Institute 美国国家标准化组织）的一项标准，在 1987 年成为国际标准化组织（ISO）标准。2、SQL语言的版本历史。
史上最全SQL基础知识总结(理论+举例)
热门推荐
PILIpilipala的博客
02-13 19万+
SQL基础知识一、SQL 概述1、什么是 SQL2、语法要求二、SQL 分类三、DDL（Data Definition Language）：数据定义语言基本操作1.操作数据库2.数据类型3.操作表四、DML（Data Manipulation Language）：数据操作语言1.插入数据2.修改数据3.删除数据五、DCL（Data Control Language）：数据控制语言1.创建用户2.给用户授权3.撤销授权4.查看用户权限5.删除用户6.修改用户密码（以root身份）六、DQL（Data Quer
图解SQL基础知识，小白也能看懂的SQL文章
Python84310366的博客
07-27 1368
本文介绍关系数据库的设计思想： 在 SQL 中，一切皆关系。
SQL 速成手册（非常详细）零基础入门到精通，收藏这一篇就够了
最新发布
Python_0011的博客
07-26 559
内容概要：包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…从 table1 选择所有行，并包括 table2 中与 table1 指定列值匹配的行，如果 table2 中没有匹配的行，那么结果集中 table2 的列将显示为 NULL。网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。
机器学习中的范数规则化之各种范数1
08-03
总结起来，机器学习中的范数规则化是控制模型复杂度和防止过拟合的重要手段。L0、L1和L2范数分别对应于不同的参数约束和模型特性，它们的选择和调整直接影响到模型的泛化能力和性能。通过理解这些概念，我们可以更好...
机器学习中的范数规则化1
08-04
本文将深入探讨机器学习中的两种常用范数规则化：L0范数和L1范数。 L0范数，也被称为“零范数”，它不是真正的数学意义上的范数，而是表示向量中非零元素的个数。如果我们将L0范数应用于模型的参数矩阵W，目标就是...
机器学习常用数学知识
01-28
讲述了机器学习常用的一些数学知识，如矩阵、特征值、期望、方差、高斯函数、高斯径向基函数、范数、方向导数、梯度等
机器学习中线性代数相关概念
06-17
在机器学习中，范数被广泛应用于正则化技术中，以防止模型过拟合，提高模型的泛化能力。常见的范数包括L1范数和L2范数，它们分别对应于向量中各元素绝对值之和与平方和的开方。 - **梯度下降法**：是一种常用的优化...
机器学习预备知识pdf
06-04
机器学习预备知识主要涵盖了几大核心概念和任务类型，这些是理解并实施机器学习的基础。首先，我们要了解数据集的基本组成，包括样本（sample）或实例（instance）、特征（feature）和属性（attribute）。样本是数据...
范数（norm） ：L-P，L0，L1，L2范数的简单介绍
weixin_58045467的博客
06-07 6948
我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，就是用范数来度量的，不同的范数都可以来度量这个大小，就好比米和尺都可以来度量远近一样；
范数的知识点总结---0 1 2
Enjoy324的博客
11-05 4606
范数 引入范数 我们很容易比较两个数的大小， 2< 3 , 4<9。 但是如果想比较的是向量怎么比较呢？例如（0，0，7，8） 和 （1，2，3，4）谁的长度大？ 其实这个问题很不严谨， 因为我们现在还没有定义什么是这两个向量的长度。所以引入范数概念 现在，我们可以简单理解范数的意义就是，衡量一个多维向量的长度。范数越大，向量的长度也就越大 2.常用的范数 注意：向量的2范数即为向量的F范数，是一个概念；矩阵的2范数 跟 矩阵的F范数不是一个概念，矩阵A的2范数等于A的最大奇异值，矩阵的F范数
R语言之矩阵操作和运算
一米阳光
04-13 6777
1.转置运算     对于矩阵A，函数t(A)表示矩阵A的转置，如： > A=matrix(1:6,nrow=2); > A;      [,1] [,2] [,3] [1,]    1    3    5 [2,]    2    4    6 > t(A);      [,1] [,2] [1,]    1    2 [2,]    3    4 [3,]    5  
几种范数的比较
cyz0202的博客
03-23 1256
主要比较L1/L2范数 先推荐一篇很好的文章，说得很清楚 L0、L1、L2范数在机器学习中的应用 过两天来整理^^
核范数为什么能近似凸矩阵的秩
xiaoju1029的专栏
09-01 6507
https://www.zhihu.com/question/26471536 第一问：nuclear norm 是奇异值的和，rank是非零奇异值的个数。nuclear norm能近似rank就跟 norm能近似norm一样。 第二问： 1) 首先矩阵诱导范数是凸的：令，则凸，故凸。特别地，凸（即奇异值的最大值）。 2) 因为是的对偶范数（一个是和，一个是最大值，就和norm
范数、范数化的本质
data+scenario+science+insight
05-17 211
范数、范数化的本质 范数的本质：比较 数学的角度总让人捉摸不透，我引用我院邹教授上课时候的一段话来说明。 “ 佟湘玉有一天在同福客栈说：“额滴神呐，展堂，你说隔壁的赛貂蝉有什么好。”老白：“她没没你温柔，没你贤惠，没你大气，没你端庄。”佟湘玉：“那为啥你们总往她那跑呢?”老白：“因为他的相貌是满分啊”。 ” 看到没有？如果用二范数来衡量赛貂蝉和佟湘玉，那么可以说佟湘玉并不占下风，但是压不住人家赛貂蝉有一个满分啊，也就是说，从无穷范数的角度来看，赛貂蝉的稳稳超过佟湘玉的。 再..
几种范数的简单介绍
Kobe Bryant的专栏
06-25 11万+
什么是范数？我们知道距离的定义是一个宽泛的概念，只要满足非负、自反、三角不等式就可以称之为距离。范数是一种强化了的距离概念，它在定义上比距离多了一条数乘的运算法则。有时候为了便于理解，我们可以把范数当作距离来理解。在数学上，范数包括向量范数和矩阵范数，向量范数表征向量空间中向量的大小，矩阵范数表征矩阵引起变化的大小。一种非严密的解释就是，对应向量范数，向量空间中的向量都是有大小的，这个大小如何度量，
[机器学习]Lasso，L1范数，及其鲁棒性
小白
11-23 7216
前言：本文包括以下几个方面，1. 介绍Lasso，从最初提出Lasso的论文出发，注重动机；2. L1和L2范数的比较，注重L1的稀疏性及鲁棒性；3. 从误差建模的角度理解L1范数1. lasso最早提出Lasso的文章，文献[1]，已被引用n多次。注：对于不晓得怎么翻译的英文，直接搬来。1) 文献[1]的动机：在监督学习中，ordinary least squares(OLS) estimate...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值