L1正则化求导中的一个式子的理解proxh(x)=argminu(t||X||1+1/2||u−x||22)二范数平的和一范数求和的极小值取值的理解

||X||1为一范数,||u−x||22为二范数的平方。因为是二范数的平方,所以每一维的x值互不相关,一次只要求一维下的最小值就可以了,一维下的最小值,是一个二次函数和绝对值函数的关系问题,如下图所示:

当x远大t时,在二次函数图像的中轴左侧,因为线性函数为递减,二次函数为递增,但是刚开始增的幅度很小,所以函数值下降,但后来增的幅度很大,所以最小值一定出现在二次函数中轴和y轴之间,且取得最小值的自变量u值为x-t。当x逐渐减小,使得在中轴和y轴之间,二次函数增加的幅度总小于线性函数减小的幅度,当二次函数的导数的复数等于线性函数的导数时,是他们之间“幅度差”变化的转折点,这点的u值为x-t,所以当x-t大于0时,标题的式子等价于取消绝对值符号,且为正的式子,用导数等于0,可以得出u=x-t时,为最小值。同理当x小于-t时,u=x+t,为最小值;当x处于两者之间时,u必定等于0时取得最小值。

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值