惩罚因子（penalty term）与损失函数（loss function）

penalty term 和 loss function 看起来很相似，但其实二者完全不同。

 

惩罚因子：

penalty term的作用是把受限优化问题转化为非受限优化问题。

比如我们要优化：

min f(x) = $x^2 - 10x$  x 受限于 g(x) = x -3 <= 0

我们可以利用惩罚因子，将上述问题转化为非受限约束问题，也就是拿掉g(x)的限制。