机器学习
文章平均质量分 92
zizi7
这个作者很懒,什么都没留下…
展开
-
反向传播四个基本方程
定义zjl=∑kwjklakl−1+bjl(1.1)ajl=σ(zjl)(1.2)C=12∑j(yj−ajl)2(1.3)\begin{aligned}z_j^l&=\sum_kw_{jk}^la_k^{l-1}+b_j^l&(1.1)\\a_j^l&=\sigma(z_j^l)&(1.2)\\C&=\frac{1}{2}\sum_j(y_j-a_j^l)^2&(1.3)\end{aligned}zjlajlC=k∑wjklakl−1+b原创 2021-05-19 22:32:50 · 515 阅读 · 1 评论 -
常用优化方法总结
目录梯度下降及其变体基于梯度下降的优化方法动量NesterovAdagradAdadeltaRMSpropAdam梯度下降及其变体包含梯度下降、随机梯度下降、小批量梯度下降梯度下降GDwk+1=wk−γk∇f(wk)(1)w_{k+1}=w_k-\gamma_k\nabla f(w_k) \tag{1}wk+1=wk−γk∇f(wk)(1)每次更新参数需要计算整个数据集优点:对凸问题可以保证取得全局最小,非凸问题局部极小缺点:计算量大,可能造成内存不足,无法在线更新模型随机梯度下原创 2021-04-26 22:43:46 · 501 阅读 · 0 评论 -
高斯混合模型GMM
高斯混合模型(Gaussian Mixed Model)是多个高斯分布函数的线性组合,理论上可以拟合出任意类型的分布,通常用于无监督聚类问题设随机变量XXX,高斯混合模型如下所示p(x)=∑k=1KπkN(x∣μk,Σk)p(x)=\sum_{k=1}^K{\pi_k}N(x|\mu_k,\Sigma_k)p(x)=k=1∑KπkN(x∣μk,Σk)其中N(x∣μk,Σk)N(x|\...原创 2020-01-06 14:29:43 · 2433 阅读 · 0 评论 -
图像语义分割(1)- FCN
在图像处理领域,图像的分割主要考虑像素灰度的变化,区分不同的前后景。之前的一个系列《图像分割技术(1)》对主流算法做了概述图像的语义分割则不仅是区分每个像素的前后景,更需要将其所属类别预测出来,属于计算机视觉领域原创 2017-08-11 15:12:37 · 28321 阅读 · 7 评论 -
深度残差网络 ResNet
作为 CVPR2016 的 best paper,何凯明的文章【1】针对深层网络梯度弥散导致的SGD优化难题,提出了 residual(残差)结构,很好的解决了模型退化问题,在50层、101层、152层甚至1202层的网络上测试均获得了很好的效果。原创 2017-08-10 15:05:26 · 5613 阅读 · 0 评论 -
图像语义分割(2)- SegNet
SegNet【1】是FCN 的一个改进版,由 Cambridge 提出,旨在解决自动驾驶或智能机器人的图像语义分割原创 2017-08-15 17:03:41 · 4059 阅读 · 0 评论 -
图像语义分割代码实现(2)
针对《图像语义分割(2)- SegNet》介绍的 SegNet 算法,主要参考官方项目主页,在 CamVid 数据集上做训练和测试原创 2017-08-17 14:42:22 · 5685 阅读 · 0 评论 -
图像语义分割代码实现(1)
针对《图像语义分割(1)- FCN》介绍的FCN算法,以官方的代码为基础,在 SIFT-Flow 数据集上做训练和测试。介绍了如何制作自己的训练数据数据准备原创 2017-08-14 18:09:21 · 18446 阅读 · 4 评论 -
r-cnn系列代码编译及解读(3)
本文基于 Joseph Redmon 提出的 YOLO2 算法,针对其算法代码实现做以下工作: 1)完成代码的安装与编译 2)使用自己的数据训练 darknet 模型 3)修改源代码(C代码),增加检测功能的python接口原创 2017-07-24 11:09:07 · 947 阅读 · 0 评论 -
【R-CNN系列目标检测】(6)YOLO2算法
算法【1】以 YOLO 为基础,从准确度和速度上做改进,最终在保持原有速度的同时将精度提升到了76%左右;提出了联合训练(同时训练目标检测和分类)的方法,在COCO和ImageNet上得到一个能实现9000种目标实时检测的网络原创 2017-07-13 16:36:31 · 6204 阅读 · 0 评论 -
r-cnn系列代码编译及解读(2)
本文针对RBG的 faster rcnn 代码,做以下工作: 1)完成安装及配置 2)使用自己的数据做训练和测试原创 2017-06-28 16:20:04 · 1633 阅读 · 0 评论 -
图像语义分割(3)- Dilated Convolutions
Dilated Convolutions【1】直接丢掉池化层,使用膨胀(空洞)卷积的方法实现原创 2017-08-18 16:22:33 · 11386 阅读 · 3 评论 -
【R-CNN系列目标检测】(1)R-CNN算法
重点参考《深度学习(十八)基于R-CNN的物体检测》和《RCNN学习笔记(1):Rich feature hierarchies for accurate object detection and semantic segmentation》R-CNN(Regions with Convolutional Neural Network Features)【1】是RBG大神将CNN引入目标检测领域的开原创 2017-04-21 10:57:17 · 2881 阅读 · 0 评论 -
【R-CNN系列目标检测】(7)SSD算法
【1】SSD(Single Shot MultiBox Detector)算法可以理解为 YOLO + Faster R-CNN 的进化方法。原创 2017-07-27 15:33:21 · 1731 阅读 · 0 评论 -
图像语义分割(4)- DeepLab_v1
简单来说,DeepLab_v1【1】就是 FCN + CRF(条件随机场)原创 2017-09-01 16:30:00 · 1552 阅读 · 0 评论 -
Caffe Solver里参数解释
CAFFE SOLVER参数解释原创 2017-11-21 17:03:32 · 1070 阅读 · 0 评论 -
支持向量机(2)-应用
常用的SVM库实现有:libsvm、liblinear、svm-pref原创 2017-11-22 18:34:48 · 452 阅读 · 0 评论 -
支持向量机(1)-概念及推导
SVM概念及推导原创 2017-11-20 15:58:34 · 455 阅读 · 0 评论 -
Tensorflow fine-tunning AlexNet
包括Tensorflow下的 AlexNet 网络模型搭建、测试、使用自己的数据做 fine-tunning、批量测试训练结果主要参考文章《Finetuning AlexNet with TensorFlow》,文章《TensorFlow微调AlexNet》是对其的翻译tensorflow 比 caffe 要快很多。。。AlexNet网络搭建每个卷积和池化层后添加了输出尺寸原创 2017-12-14 18:43:24 · 923 阅读 · 0 评论 -
r-cnn系列代码编译及解读(4)
本文基于 Liu W 提出的 SSD 算法,针对其算法实现做以下工作: 1)完成代码的安装与编译 2)使用自己的数据训练 SSD 模型SSD 编译安装SSD 基于 CAFFE 实现,因此过程跟 faster-rcnn 差不多: 1)clone 工程git clone https://github.com/weiliu89/caffe.gitcd caffegit原创 2017-08-22 09:18:50 · 918 阅读 · 0 评论 -
一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉
作者:史丹利复合田来源:CSDN原文:https://blog.csdn.net/tsyccnh/article/details/79163834版权声明:本文为博主原创文章,转载请附上博文链接!关于交叉熵在loss函数中使用的理解交叉熵(cross entropy)是深度学习中常用的一个概念,一般用来求目标与预测值之间的差距。以前做一些分类问题的时候,没有过多的注意,直接调用现成的库...转载 2019-04-26 11:27:30 · 340 阅读 · 0 评论 -
【R-CNN系列目标检测】(5)YOLO算法
YOLO【1】是RBG挂名的目标检测算法。YOLO不再套用R-CNN的思路,而是将目标检测转换为回归问题,极大提升了检测速率:标准版达到45fps,简化版达到155fps原创 2017-07-03 15:27:25 · 1949 阅读 · 0 评论 -
ubuntu下安装nvidia驱动、cuda、cudnn
问题主要出在nvidia驱动的安装上,主要由于双显卡的原因 主要内容:安装 nvidia驱动、安装 cuda、安装 cudnn; 解决t470网卡不识别问题,系统备份方法 环境硬件:thinkpad t470p(940mx) 软件:ubuntu 14.04.5、显卡驱动版本375.66、cuda8.0、cudnn5.1安装nvidia驱动简单的方法是 在“附加驱动”里更新原创 2017-06-09 11:20:45 · 9788 阅读 · 1 评论 -
使用Caffe对图像做训练、分类的流程总结
1. 环境操作系统:windows7, 显卡:NVIDIA GTX 780Caffe是直接从官方GitHub上down下来的,之前安装教程推荐了Happynear的版本,但不知道为什么,我只要使用GPU模式电脑就直接黑屏重启,折腾了好久还以为显卡坏了(有人说是供电不足),但用官方的版本则没问题。2. 数据准备1)将带标签图像数据按6:2:2(根据Andrew机器学习课程笔记原创 2016-02-24 17:03:16 · 7272 阅读 · 3 评论 -
Python爬虫/文本处理/科学计算/机器学习/数据挖掘兵器谱
原文:Python爬虫/文本处理/科学计算/机器学习/数据挖掘兵器谱曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后,第一个作品课程图谱也是选择了Python系的Flask框架,渐渐的将自己的绝大部分工作交给了Python。这些年来,接触和使用了很多Python转载 2016-03-04 15:10:41 · 1065 阅读 · 0 评论 -
机器学习框架、库
英文原文:Awesome Machine Learning中文翻译:推荐!国外程序员整理的机器学习资源大全本文汇编了一些机器学习领域的框架、库以及软件(按编程语言排序)。C++计算机视觉CCV —基于C语言/提供缓存/核心的机器视觉库,新颖的机器视觉库OpenCV—它提供C++, C, Python, Java 以及 MATLAB接口,并支持Wi转载 2016-03-04 15:07:26 · 1319 阅读 · 0 评论 -
卷积神经网络全连接层转换为卷积层获得heatmap
理论部分转自 http://blog.csdn.net/u010668083/article/details/46650877实验部分全连接层换卷积层的出处大约是yahoo的一篇论文“Multi-view Face Detection Using Deep Convolutional Neural Networks”。论文使用 AlexNet转载 2015-10-30 09:58:15 · 22515 阅读 · 4 评论 -
Andrew机器学习课程笔记(6)[End]—— 机器学习的一个应用实例
andrew机器学习课程关于图像OCR实例部分的总结原创 2015-10-12 21:21:39 · 740 阅读 · 0 评论 -
Andrew机器学习课程笔记(5)—— 推荐系统、大数据下的机器学习
Andrew机器学习课程推荐系统与大数据部分的总结原创 2015-10-10 14:49:43 · 828 阅读 · 0 评论 -
Andrew机器学习课程笔记(4)—— 异常检测
Andrew机器学习课程异常检测部分的总结原创 2015-10-10 11:34:27 · 1252 阅读 · 0 评论 -
Andrew机器学习课程笔记(3)—— K均值、SVM、PCA
对课程中SVM、KMean和PCA部分的总结原创 2015-09-10 19:43:22 · 2409 阅读 · 0 评论 -
Andrew机器学习课程笔记(1)——梯度下降、逻辑回归
前言之前用到相关算法的时候,或多或少在其他博客上看到Andrew的算法解析。这次决心利用空闲时间完整的看看Andrew的课程视频,果真是获益匪浅!大神讲课思路非常清晰,算法的来龙去脉理的很透彻,在很多地方给了我一种茅塞顿开的感觉。因此在这里开一个系列专门记录下我听课的笔记,以后也好温故而知新~梯度下降(GD)的技巧1. 特征缩放特征归一化是机器学习中经常用到的一种技巧,原创 2015-07-24 09:42:29 · 1022 阅读 · 0 评论 -
Windows_X64 + ATI显卡 + VS2013 安装Caffe
主要内容参考的 windows+caffe+vs2013+cuda6.5配置记录 ,对其中的一些笔误做了修正,遇到了些别的错误,一并解决1. 依赖库boost原文使用的安装包,很方便:boost_1.56_0-msvc-12.0-64.exeGlog+Gflag+Protobuf+LevelDB+HDF5+LMDB+Openblas原文提供了一个编译好的包,所有东西一并解决:3原创 2015-08-20 11:27:38 · 2136 阅读 · 0 评论 -
人脸识别(2)--fisherface
人脸识别--fisherface原创 2016-11-02 11:38:22 · 4897 阅读 · 0 评论 -
【R-CNN系列目标检测】(4)FASTER R-CNN算法
faster r-cnn【1】是Ross Girshick对 fast r-cnn 算法的改进。简单网络(ZF)目标检测速度达到17fps,在PASCAL VOC上准确率为59.9%;复杂网络(VGG-16)达到5fps,准确率78.8%原创 2017-05-26 18:14:09 · 3706 阅读 · 0 评论 -
r-cnn系列代码编译及解读(1)
本系列针对RBG在github上的fast r-cnn代码,做安装配置及解读工作 本文解决由于CAFFE版本的更新导致的fast r-cnn编译失败的问题原创 2017-05-02 19:27:34 · 4334 阅读 · 0 评论 -
【R-CNN系列目标检测】(3)FAST R-CNN算法
重点参考《读DL论文心得之Fast RCNN》fast r-cnn【1】是Ross Girshick在2015年对上一年的SPP-Net算法做的改进。作者在VGG16网络的测试表明:fast r-cnn在训练阶段比r-cnn快了9倍,比spp-net快了3倍;在测试阶段比r-cnn快了213倍,比spp-net快了10倍;同时精度也有一定提升r-cnn和spp-net的不足1)r-cnn 和 spp原创 2017-05-03 20:16:24 · 2141 阅读 · 0 评论 -
【R-CNN系列目标检测】(2)SPP-Net算法
重点参考《深度学习(十九)基于空间金字塔池化的卷积神经网络物体检测》SPP-Net(Spatial Pyramid Pooling)是何凯明2014年提出的方法【1】,通过解决传统CNN无法处理不同尺寸输入的问题对同年的R-CNN算法做改进,实验结果表明SPP方法比R-CNN快了近100倍从算法架构上,SPP-Net与R-CNN相似:通过Selective Search获取候选区域,最后也是使用SV原创 2017-04-21 19:17:16 · 3506 阅读 · 0 评论 -
使用libcaffe为工程添加深度学习功能
很多时候需要在自己的解决方案里添加caffe的功能,基本思路是在工程(x64)里添加编译好的libcaffe.lib(使用windows版本)。原创 2017-02-09 18:32:34 · 3535 阅读 · 1 评论 -
Jacobian矩阵和Hessian矩阵
转自 http://jacoxu.com/jacobian%E7%9F%A9%E9%98%B5%E5%92%8Chessian%E7%9F%A9%E9%98%B5/1. Jacobian在向量分析中, 雅可比矩阵是一阶偏导数以一定方式排列成的矩阵, 其行列式称为雅可比行列式. 还有, 在代数几何中, 代数曲线的雅可比量表示雅可比簇:伴随该曲线的一个代数群, 曲线可以嵌入转载 2017-03-02 14:02:42 · 414 阅读 · 0 评论