GZKPeng的博客

原创 python中的@，以及@在tensorflow中的作用

====转载请注明出处====Python中的@：援引廖雪峰老师对装饰器的解释以及一些自己对装饰器的理解：python中在代码运行期间动态增加功能的方式，称之为“装饰器”（Decorator）。@是装饰器的语法。装饰器是在函数调用之上的修饰，这些修饰仅是当声明一个函数或者方法的时候，才会应用的额外调用。 我们可以用装饰器来增加计时逻辑来检测性能，或者引入日志等等。函数也是一个对象，而且函数对象可以...

转载 转载孟岩老师的：理解矩阵

前不久chensh出于不可告人的目的，要充当老师，教别人线性代数。于是我被揪住就线性代数中一些务虚性的问题与他讨论了几次。很明显，chensh觉得，要让自己在讲线性代数的时候不被那位强势的学生认为是神经病，还是比较难的事情。可怜的chensh，谁让你趟这个地雷阵？！色令智昏啊！线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。比如说，在全国一般工科院系教学中应用最广泛的...

转载 从拉普拉斯讲到谱聚类

从拉普拉斯矩阵说到谱聚类0 引言    11月1日上午，机器学习班第7次课，邹博讲聚类（PPT），其中的谱聚类引起了自己的兴趣，他从最基本的概念：单位向量、两个向量的正交、方阵的特征值和特征向量，讲到相似度图、拉普拉斯矩阵，最后讲谱聚类的目标函数和其算法流程。    课后自己又琢磨了番谱聚类跟拉普拉斯矩阵，打算写篇博客记录学习心得， 若有不足或建议，欢迎随时不吝指出，thanks。1 矩阵基础  ...

转载 转载：机器学习中的范数规则化之（二）核范数与规则项参数选择

三、核范数       核范数||W||*是指矩阵奇异值的和，英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说，可能大家就会陌生点。那它是干嘛用的呢？霸气登场：约束Low-Rank（低秩）。OK，OK，那我们得知道Low-Rank是啥？用来干啥的？       我们先来回忆下线性代数里面“秩”到底是啥？举个简单的例子吧：       对上面的线性方程组，第一个方程和第二个方程...

转载 转载：机器学习中的范数规则化之（一）L0、L1与L2范数

监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们的训练误差会很小。但训练误差小并不是我们的最终...

原创 softmax、softmax损失函数；交叉熵、交叉熵损失函数