zr7116的博客

原创 算法时间效率

看最有效的执行次数 第三部分代表执行次数K/t表示 中间是等于的目标https://www.bilibili.com/video/av50121598/动态搜索 回溯 递归 常考...

原创 损失函数

损失函数一般有四种，平方损失函数，对数损失函数，HingeLoss0-1损失函数，绝对值损失函

原创 word2vec

https://www.cnblogs.com/pinard/p/7249903.html 3/4 很好4.Negative Sampling负采样方法　　　　现在我们来看看如何进行负采样，得到neg个负例。word2vec采样的方法并不复杂，如果词汇表的大小为VV,那么我们就将一段长度为1的线段分成VV份，每份对应词汇表中的一个词。当然每个词对应的线段长度是不一样的，高频词对应的线段...

原创 迁移学习

以google inception 为例有三种方法：1.上百万张图片直接自己训练2.直接在池化层后面接自己的输出层 用池化层前面的数据 只训练后面的输出层 吧1000的分类转为自己的分类3.在后面接神经元，对整体进行训练，但先面的学习率设置的很小 对前面进行微调...

原创 重要的CNN网络 知识及对比

https://blog.csdn.net/u010402786/article/details/52433324 Google inception

原创 CNN代码

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#每个批次的大小batch_size = 100#定义初始化权值 在卷积层中 是卷积核 在全连接层是权值 和偏置def weight_variable(shape): initial=tf.truncated_n...

原创 word2vec

目录数据稀疏解决办法：一般说一句话的一个词一般依赖于前面1、2个词 所以一般预测一个次并不是考虑前面所有词 而是考虑前面相邻的几个词 n-gram 有点马尔科夫性的意思但n_grams是基于词频的有时序性的 空间逻辑有相似性的不能用简单频率计算one-hot：数据稀疏 词转化的向量之间没有语义联系对应解决办法 word2vec 同一语言相似语义在一起...

原创 循环网络 2017nips主题

增强学习 GAN 深度学习用于其他隐马尔科夫模型:参数过多RNN:梯度裁剪：防止梯度爆炸绝对值很大会以一定比例减小 绝对值很小 保持不变 正向传播 反向传播：正向传播是已知输入和参数求中间值和输出值，反向是利用求出来的值去反推参数W和B的导数，然后梯度下降批量采样：图片直接一个或几个取 这里取一次取几个词...

原创 Fine-tuning：通过微调来迁移学习

在原数据集上 用大量数据训练模型 通过微调直接用到实践中迁移学习思想：如果只有一个小数据集 训练模型最后得到的模型效果可能不太好 此时考虑可以有没有在大数据集上有没有训练好的模型把除了最后一层的模型直接copy过来 对最后一层初始化 在进行训练image fine-tune模型...

原创 图像增强

对一张图片 旋转 亮度 颜色 截取一小块像素

原创 优化算法 优化器

目录数据量的角度 3个：一般用的梯度下降方法：数学角度 梯度下降：一般梯度下降：随机梯度下降：小批量梯度下降：梯度下降 学习率比较：从梯度大小方向上考虑：都是基于股票上的EMS思想 （Exponential Moving Average）是指数移动平均值。 动量梯度下降法 + RMSprop =Adam动量梯度下降法：加快梯度下降RMSpro...

原创 使用Gluon对原始图像文件分类（CIFAR-10） 个人小结

想自己调参不走捷径的话请忽略以下内容===================== SPOILER ALERT！！！ ========================我来分享一下我以前自己train cifar10的经验。 调参的话基本上根据resnet和densenet两篇paper。 我之前用最大的densenet的话val 可以到96.5%-96.7% 不过8卡titan x train...

原创 NiN

1.全用卷积 不用全连接 a。用全连接模型会比较大 AlexNet模型大小700M 400-500M是最后全连接 b。全连接 容易过拟合 需要加入dropout 批量归一 =》要调参 效果不一定那么好2.用小网络 看起来比较小的完整的网络嵌在一起 1*1卷积核...

原创 卷积神经网络

原创 Batch Normalization(批量归一化)

Batch Normalization(批量归一化)https://blog.csdn.net/shuzfan/article/details/50723877

原创 怎么在一个Python运行另一个文件 及 导入自己的模块

一定要注意 Colab 中加入自己的模块后第一次运行后 ，如果对模块改名 还是用原来的名进行调用，用改后的模块名调用会报错 但运行改名后的 .ipynb .py文件还是可以的 且导入的模块只能是.py结尾 (暂时知道的是这样)此文件是通过 .ipynb download 转为py格式https://www.cnblogs.com/gengyi/...

原创 Google Colab 免费GPU使用

https://www.jianshu.com/p/2cf00bb9db34 建立连接https://blog.csdn.net/cocoaqin/article/details/79184540 建立连接https://www.cnblogs.com/gengyi/p/10080035.html 【colaboratory】ModuleNotFoundError: No...

原创 李沐 代码

博文http://bestzhangjin.com/2017/10/13/deeplearn/目录深度学习之Mxnet--李沐视频1.1.前言1.2.使用NDArray来处理数据1.3.使用autograd自动求导1.4.从0开始线性回归1.5.使用Gluon实现线性回归1.6.从0开始多类逻辑回归1.7.Gluon版多类逻辑回归2.1.从0开始多层...

原创 深度学习入门

https://zhuanlan.zhihu.com/p/36570549使用a.item()或np.asscalar(a)将大多数NumPy值转换为本机Python类型：import numpy as np# examples using a.item()type(np.float32(0).item()) # <type 'float'>type(np.f...

原创 机器学习 距离 相似度

余弦：空间角度上的相似 皮尔森：计算离散度 协方差单位化（去量纲）杰卡德：交集/并集 集合中元素相似度 计算样本相似度 网页去重 论文查重向量空间余弦相似度：https://www.cnblogs.com/dsgcBlogs/p/8619566.html余弦距离，也称为余弦相似度，是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量...

原创 KNN 及 matplotlib 数据归一化

透明度：样本空间分布相似 则样本很可能相似通过一个与样本数相同的 乱序数组选取一定比例的乱序数组 对应的样本 即完成划分分类准确度： 预测对的结果数/ 总的测试样本数超参数：...

原创 机器学习基础 及 numpy使用

数据有没有标签s 数据实时 变不变化 需不需要进行参数学习 ...

原创 机器学习调参

原创 集成学习与随机森林

最基本的思路：一、 voting - hard voting soft voting =>区别在于少数服从多数带不带权重二、大批量集成学习克服voting模型少 1.对于samples方面 baging pasting 随机取样 2.也...

原创 决策树

非参数学习：对个别数据敏感 高度依赖于调参 生成一个较好的模型决策边界：平行于 x y经济学决策树建模 ==》 机器学习领域 用于集成学习方式创建随机森林 的算法=》可以得到较好的结果 右边比左边确定 右边没有任何不确定性信息熵对应数据不确定性的度量 基尼...

原创 SVM支持向量机

https://www.pkudodo.com/2018/12/16/1-8/ 很好目录线性非线性线性C越大相当于容错空间越小 ==》后面最小化时进行打压的厉害就变成硬间隔了非线性 核函数先特征映射为新特征 进行变形 在点乘 ...

原创 torch 安装

conda install pytorch-cpu -c pytorch pip3 install torchvisionhttps://blog.csdn.net/weixin_39030764/article/details/81042681

原创 序列模型

原创 深入理解Java虚拟机

先通过 （eclipse analysis memory ）定位内容在分析解决分问题 （通过控制循环此次 或 最多创建的次数创建） 不能无限次循环

原创 吴恩达 深度学习

目录浅层网络多样本W b X Z A矩阵向量解析浅层网络 表示输入特征，表示每个神经元的输出，表示特征的权重，上标表示神经网络的层数（隐藏层为1），下标表示该层的第几个神经元。一个神经元相当于进行一次逻辑回归 含有w 转置后1*n n为前面的特征数 或者说神经元数向量 ...

原创 LSTM

https://www.zhihu.com/question/268862438RNN内部通过σ(Wx+b)将输入x转成输出h。这里的参数W每一步都是一样的，即参数共享，其维度为[embed_dim, hidden_size]。lstm 及变体https://www.cnblogs.com/wangduo/p/6773601.html?utm_source=itdadao&...

原创 评价分类结果

实际中我们把真正关注的标记为1（癌症病人 贷款失信人）精准率：预测这个事件为发生 中 事件真正发生 有多少 预测我们关注的事件 预测准确度 做100次预测患病发生 预测正确占多少召回率：事件真实发生中 我们 预测正确的为多少 100...

原创 java 笔试题 一

第一题：class 加载如虚拟机静态代码块 》对象代码块》构造函数 err 和 out两个对象 out带有缓冲 两者打印顺序不定 面向对象的三个基本特征是：封装、继承、多态。https://blog.csdn.net/jiyiqinlovexx/article/details/465...

原创 逻辑回归

https://www.cnblogs.com/ModifyRong/p/7739955.html很好 全面逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。解决分类问题：也可以用于回归 计算相应的概率此时 X一行为一个样本 Y 为一列梯度推导==》...

原创 多项式回归 过拟合 模型泛化 模型误差

很过数据是没有线性关系的==》非线性 =》多项式模拟非线性曲线添加的特征是原来特征的线性组合==》解决非线性问题=》数据集升维 (PCA降维) 有时升维有时降维 =》x^2 x 虽然是同一特征 但我们把它x^2当做是另一个特征Pipeline 创建多项式回归： 通过增加特征 依然使用使用线性回归多项式回归拟合非线性：一个二次曲线...

原创 模型正则化

fdg

原创 主成分分析（PCA）

预处理数据的方法总结（使用sklearn-preprocessing）：https://blog.csdn.net/sinat_33761963/article/details/53433799向量点乘（内积）和叉乘（外积、向量积）概念及几何意义解读：https://blog.csdn.net/dcrmg/article/details/52416832主成分分析（PCA）原理详解：ht...

原创 python 列表 为什么

def ina(): a=[] print('ok') a.append(2)a=[1]ina()print(a)def ina(): print('ok') a.append(2)a=[1]ina()print(a)class Ina: def __init__(self): ...

原创 Python3机器学习 经典算法与应用 线性回归

数学 多元函数求极值： 复合函数： 不同性质的数学函数套在一起（x+1）是一元函数方程 （x+1）^2 就是符合函数 求导先求内部再求外部x^2是二元函数 单函数 直接对自变量操作 有系数或常数项还是单函数最小化二乘法：一直以为是个高大上的玩意...

原创 Numpy中shape（宽，高，层） dot点乘 outer外积

dot outer ==》https://blog.csdn.net/hqh131360239/article/details/79064592三维shape（宽，高，层）np.dot（）执行矩阵 - 矩阵或矩阵 - 向量乘法。这与np.multiply（）和*运算符（相当于Matlab / Octave中的。*）不同，后者执行逐元素乘法。1、dot...