DeepLearning
关注
分享
扫一扫
zjguilai
公众号：从零归一（ID: zj201954yqx）
10年前高考的逆袭者，10年后的IT男转型成功者。从零归一的周而复始，在即将步入第二批奔三的队伍之际,清算过往，从零起航。在这里你能找到从零开始的勇气，抵达目标的方法和化零为整的心境。
展开
-
李宏毅 机器学习 -2017- Gradient Descent
由梯度（偏微分）和学习速率来更新新的训练参数，Gradient为Loss等高线的法线方向，注意负号2）Learning Rate的调节方法1）画出loss的更新曲线2）自动调Learning Rate(与目标远的时候调高learning Rate,近的时候调低Learning Rate)3)针对每个不同的参数设置不同的learing Rate:(Adagrad):每次更新w参数的时候在...原创 2019-05-08 10:54:50 · 165 阅读 · 0 评论 -
李宏毅-DeepLearning-2017-Unsupervised Learning:Neighbor Embedding
数据降维的方法：Manifold Learning(流行学习)1、什么是流形流形学习的观点：认为我们所能观察到的数据实际上是由一个低维流行映射到高维空间的。由于数据内部特征的限制，一些高维中的数据会产生维度上的冗余，实际上这些数据只要比较低的维度就能唯一的表示。所以直观上来讲，一个流形好比是一个d维的空间，在一个m维的空间中（m>d）被扭曲之后的结果。需要注意的是流形并不是一个形状，而...原创 2019-05-21 23:31:52 · 858 阅读 · 0 评论 -
李宏毅-DeepLearning-2017-Unsupervised Learning:Deep Auto-encoder
Auto-encoder使用神经网络进行降维。由于这里是无监督学习，因此encoder的训练过程需要采用decoder同时进行训练，如下图所示。这与PCA的过程类似，首先通过输入的图片，乘以矩阵W，得到降维后的数据，然后对于降维数据乘以前述矩阵的转置，可以得到预测的输出图片。auto-encoder就是比PCA多加了几个Hidden layer结果对比：auto-encoder的结果较...原创 2019-05-22 00:34:32 · 377 阅读 · 1 评论 -
AI算法工程师学习资料汇总
数学：1)x线性代数：http://immersivemath.com/ila/index.html深度学习：阿里DP_AI:http://www.huaxiaozhuan.com/吴恩达学生博客总结：http://imshuai.com/tag/deeplearning-ai-notes/红色石头：https://redstonewill.com/2271/程序员集镇：Googl...原创 2019-05-17 15:18:49 · 689 阅读 · 0 评论 -
机器学习的激励函数的故事
1）七种激活函数列举：2）解析列举3）总结：1）最早的是sigmoid,它与tanh换汤不换药，都有梯度饱和效应的局限，让大部分网络瘫痪，2）目前最常用的是ReLU，但是一定要注意参数初始化和学习率的选择设置(这里还是个问题！！！)3）为了提高模型精度，我们会去考虑那部分输出为零一下的梯度，于是分别出现了：Leaky ReLU,参数化ReLU,随机化ReLU,和指数化ELU...原创 2019-06-12 21:12:54 · 3012 阅读 · 4 评论 -
机器学习的过程（代表性的思维图片）：演变-核心基础-数学思维
1）机器学习的演变机器学习的工作方式①选择数据：将你的数据分成三组：训练数据、验证数据和测试数据②模型数据：使用训练数据来构建使用相关特征的模型③验证模型：使用你的验证数据接入你的模型④测试模型：使用你的测试数据检查被验证的模型的表现⑤使用模型：使用完全训练好的模型在新数据上做预测⑥调优模型：使用更多数据、不同的特征或调整过的参数来提升算法的性能表现2. 机器学习所处的位置...原创 2019-06-12 22:40:37 · 772 阅读 · 0 评论 -
MNIST机器学习方法介绍（1）
1.1.1 简介**下载MNIST数据集，并打印一些基本信息：python download.py1.1.2 实验：将MNIST数据集保存为图片python save_pic.py1.1.3 图像标签的独热表示打印MNIST数据集中图片的标签：python label.py1.2.1 Softmax 回归python softmax_regression.py1.2.2...原创 2019-05-29 15:25:54 · 697 阅读 · 0 评论 -
tensorboard超全代码解释（调试网络）
tensorboard代码解析1）简单激活关闭graph的方法【1】程序1.0# coding: utf-8import tensorflow as tfa = tf.constant(2)b = tf.constant(3)x = tf.add(a, b)with tf.Session() as sess: # 激活 tensorboard,把graph文件夹设在当前代...原创 2019-06-07 01:19:46 · 1212 阅读 · 0 评论 -
机器学习数学知识第一期复习指南
第一期偏重于基础的数学思维搭建，关于泛函，复变函数，离散函数，凸优化，数值分析等数学的领域将在第二期进行学习和掌握原创 2019-06-13 16:48:12 · 178 阅读 · 0 评论 -
基于梯度下降思想的主流优化算法对比
针对参数化特征映射模型：线性模型，神经网络，和卷积神经网络，我们通常先通过这些模型得到分值向量，再通过损失函数来评价模型的的参数优劣：如何取得最优值呢？？？*什么是优化算法？优化算法的功能，是通过改善训练方式，来最小化(或最大化)损失函数E(x)。模型内部有些参数，是用来计算测试集中目标值Y的真实值和预测值的偏差程度的，基于这些参数，就形成了损失函数E(x)。比如说，**权重(W...转载 2019-06-02 16:20:20 · 611 阅读 · 0 评论 -
机器学习-目标函数-总结
目标函数思维导图总结：1.分类任务交叉墒损失函数在一般的分类问题上最为常用，而且效果还比合页损失函数要好合页损失函数在支持向量机的分类当中最为常见，有时也会作为神经网络的目标函数坡道损失函数可以消除合页损失函数在抵抗噪声能力差的问题，可以提升模型的泛化能力，其中的s一般依靠类别数C而定（-1/（C-1）），称之为截断点。大间隔交叉墒损失函数强调不仅要求分...原创 2019-06-14 01:06:00 · 1024 阅读 · 4 评论 -
用Python编写CNN的网络结构（便于进行网络分析和论文书写）
draw_convnetPython script for illustrating Convolutional Neural Network (ConvNet)Example imageWith flag_omit=FalseWith flag_omit=True代码：from matplotlib.patches import Circlefrom matplotlib.pa...原创 2019-06-10 14:47:22 · 3145 阅读 · 0 评论 -
深度学习：网络正则化方法归纳
L2正则化L1正则化Elastic 正则化最大范数约束原创 2019-06-15 22:12:04 · 321 阅读 · 0 评论 -
机器学习总结1：四种变量表示方法以及范数的求法
1：变量表示方法2.变量的范数的应用意义监督机器学习问题无非就是“minimizeyour error while regularizing your parameters”，也就是在规则化参数的同时最小化误差。最小化误差是为了让我们的模型拟合我们的训练数据，而规则化参数是防止我们的模型过分拟合我们的训练数据。多么简约的哲学啊！因为参数太多，会导致我们的模型复杂度上升，容易过拟合，也就是我们...原创 2019-06-10 17:31:27 · 1971 阅读 · 0 评论 -
机械学习：数学篇：线性代数：向量（1）
重点：1）向量的范数在机器学习正则化的运用，矩阵的在机器人中力的计算，工程图像的三维空间像素的计算方法，2）特殊矩阵在机器学习的应用：雅可比矩阵：神经网络反向传播的证明，Hissian矩阵：在判断函数图凹形问题：正定矩阵，负定矩阵的含义3）函数的梯度向量：梯度下降法，牛顿法...原创 2019-06-15 23:46:52 · 284 阅读 · 0 评论 -
机器学习CNN的应用实战思维导图
自己根据本书的看完之后依照目录做的思维导图，贯穿CNN的全部应用：原创 2019-06-17 11:26:30 · 342 阅读 · 0 评论 -
tensorflow文件读取操作
#coding=utf-8import tensorflow as tfimport numpy as npdefreadMyFileFormat(fileNameQueue):reader = tf.TextLineReader() key, value = reader.read(fileNameQueue) record_defaults = [[1], [1], [1]...转载 2019-05-16 15:35:43 · 543 阅读 · 0 评论 -
李宏毅 机器学习-2017-Classification
**分类器的方法：几率模型：1）Model function set2）goodness of a function3)Find the best function:easy**高斯分布生成个点的独立概率的乘积的最大值作为衡量，高斯分布的衡量标准实验结果： 维度太低，没有很好地边界来区分它们，所以映射到高维提升方式1：同用一个高斯模型的方差...原创 2019-05-08 15:41:37 · 169 阅读 · 0 评论 -
李宏毅 机器学习-2017-Logistic Regression
Softmax function**Generative 和 Discriminative的优缺点，更适用的场合**Softmax 是对Z1,Z2,Z2做标准化原创 2019-05-08 17:10:47 · 162 阅读 · 0 评论 -
李宏毅 DeepLearning-2017-简述DP
先画的连接图，决定了function set(Model),的structure如何决定layer的数目和层数：直觉，经验DeepLearning 制造的问题：如何制造transform structure 变成了 如何创建network structure，自己去寻找best function set...原创 2019-05-08 17:52:59 · 175 阅读 · 0 评论 -
李宏毅 深度学习 -2017-backpropagation
前馈神经网络与回馈神经网络 如何求得L(w,b)/w的偏微分呢？进而通过反馈神经网络求的更新的weight和bias进行下一次的迭代：**第一步：明确微积分求导法则(Chain Rule)****第二步：从output layer开始进行往前迭代，一直迭代到weight**...原创 2019-05-08 21:11:37 · 223 阅读 · 0 评论 -
李宏毅 DeepLeaning-2017-Tips for DP
**1.首先控制Train Data上的结果 train set上的performance一定要作为先检查的标准2.进而再看在Testing Data上的结果3.1好，2不好就是Overfitting**举例：在train set中的performance 56的layder就比20的差，所以在testing set的performance就无法断定是overfitting注意：自...原创 2019-05-09 11:09:27 · 163 阅读 · 0 评论 -
李宏毅 DeepLearning -2017-Hello world of deep learning (keras)and Demo
第一步：搭积木：设置神经网络框架（k re a s）新版的keras2.0将output_dim改成了unit，最后选择输出的activation为softmax保证输出介于（0～1）之间第二步：设置loss function来衡量model的优越性和学习走向第三步：Train部分，设置优化方法opt（都是gradient 的方法），batchSize:实际中是把训练数据分成随机的等分块...原创 2019-05-09 21:09:59 · 296 阅读 · 0 评论 -
机器学习的理论基础-1：矩阵1
1.名词：矩阵，张量，转置，主对角线，广播2.矩阵和向量相加–>广播eg：##广播 矩阵加向量import numpy as np a=np.array([[1,2,3],[4,5,6],[7,8,9]]) c=[1,2,3] print(a) b= a+100 print(b) d=a+c print(d) e =a/...原创 2019-05-07 14:40:58 · 1420 阅读 · 0 评论 -
李宏毅 DeepLearning -2017-CNN
CNN是fully connected network的简化225=9*25张新图片1111—》55整型省略只定义输出层的layer层的fully Connected Feedforward network原创 2019-05-09 23:56:39 · 354 阅读 · 0 评论 -
李宏毅 DeepLearning -2017- CNN
fully connected network就可以解决问题，为什么要自己搭建CNN??为了让设计network的参数变少三个理由：CNN架构：Cnn是FCN的简化系统convolution 卷积内核 经过Filter1,和Filter2的Convolution的卷积内核得到的是Feature Map二值灰度图Convolution operateRGB图像 covolut...原创 2019-05-10 09:53:04 · 243 阅读 · 0 评论 -
李宏毅 机器学习-2017-Regression学习笔记
自己听课感觉不错的地方，做个笔记，不喜勿喷！！！1）Goodness of FunctionLoss Function:L(w,b)w,b = argminL(w,b)Gradient Desent梯度下降法来寻抓最小的Loss**注意：这种梯度和三维图大多用matlab来辅助完成和教学演示很有可能陷入局部最优解，看人品，计算出来的偏微分为零就终止了2）我w,b的偏微...原创 2019-05-07 22:17:09 · 253 阅读 · 0 评论 -
李宏毅 -DeepLearning-2017-Why Deep
主讲内容：CNN DNN的优势！！！！！CNN的layer层数越深，得到的word Error就越低，因为层数越深，参数就会越多，同时就会得到更好的结果，如图：那么我们拿两个参数几乎一样的参数的cnn但是层数不一样，一个是高瘦，另一个是矮胖的比较哪个更好呢？例如：图中箭头双方模型的参数树木是接近的。我们会发现，一层的矮胖的network的performance的能力是有限的，那么怎么来衡...原创 2019-05-10 22:16:10 · 273 阅读 · 0 评论 -
tensorflow.contrib.slim库的详解
TensorFlow-Slim使用方法说明翻译自：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/slimTensorFlow-SlimTF-Slim是Tensorflow中一个轻量级的库，用于定义、训练和评估复杂的模型。TF-Slim中的组件可以与Tensorflow中原生...转载 2019-05-15 17:22:53 · 14407 阅读 · 1 评论 -
李宏毅 DeepLearning-2017-Semi-supervised Learning
对我们来说，我们从来不缺都是data，但是缺的是有label的data,所以需要semi-supervised Learning这里unlabel data是只告诉我们function Model的输入，但是不告诉输出，而且unlabeled data远大于labels dataunlabeled data伴随着一些分布的假设，semi-supervised Learning 是否有用决定于...原创 2019-05-11 15:19:38 · 273 阅读 · 0 评论 -
机器学习的数学基础总结（理论翻看）
机器学习的数学基础总结链接：https://pan.baidu.com/s/1Wp1qPZjWjlw60hXVQ1ye5g提取码：bpry原创 2019-05-11 15:25:26 · 448 阅读 · 0 评论 -
李宏毅 DeepLearning-2017-Unsupervised Learning PCA-linear Dimension Reduction
化繁为简：把比较复杂的input变成比较简单的output无中生有：generation 找个可以画图的function降维表达的意义：不同的image用同一个cluster,做降维处理，那么如何确定设置多少个cluster呢？？？第一把输入数据分成K个cluster每个cluster都找一个center，作为初始center,(k random Xn from X)从train ...原创 2019-05-11 17:17:15 · 243 阅读 · 0 评论 -
tensorborad的name_scope操作与tf.slice，tf.concat
tf.name_scope() 和 tf.variable_scope() 的用法和玄机2018.01.25 11:52 13603浏览摘要: tf.name_scope()和tf.variable_scope()是两个作用域，一般与两个创建/调用变量的函数tf.variable() 和tf.get_variable()搭配使用。它们搭配在一起的两个常见用途：1)变量共享，2)tensorbo...原创 2019-05-16 10:49:15 · 142 阅读 · 0 评论 -
DeepLearning:线性代数（向量矩阵行列式）（2）
思维导图，便于查阅和学习原创 2019-06-18 11:11:19 · 300 阅读 · 0 评论