深度学习
东都大白兔
草原上最美的花
展开
-
anaconda指定目录创建环境无效/环境无法创建到指定位置
可能是指定位置没有开启读写权限,如我在这里安装到了anaconda文件夹,则打开该文件夹的属性->安全->编辑。allusers下的权限全都打勾。创建环境时还是分配到C盘。原创 2024-02-28 23:07:33 · 491 阅读 · 0 评论 -
PyTorch_Geometric 安装过程
首先安装torch,如我们在这里安装1.6.0的GPU版本,在官网查找命令在我这里的服务器中,使用conda直接运行命令,可自动配置所需的cuda版本之后进行torch geometric的安装其有四个前置包,找到官网地址 https://pytorch-geometric.com/whl/torch-1.6.0.html这里的1.6.0可改为自己torch的对应版本选择对应的包(cluster、scatter、spline、sparse)下载到本地或者服务器,我所下载的如下进入下载文件夹路原创 2022-02-21 22:34:32 · 2539 阅读 · 0 评论 -
pytorch GPU版安装 与N卡显卡驱动升级 踩坑
首先设置conda的清华源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge conda config --add channels https://mirrors.tuna.tsinghua.edu.原创 2021-06-10 03:08:51 · 2997 阅读 · 2 评论 -
深度学习知识点整理(四)——GAN / 强化学习RL
11-GAN基本思想(方法)初始化一个生成器G判别器D,每一次迭代,step1(先固定G,训练D):G生成一组图片,再从数据库采样真实图片,用这两组对D进行训练,目标是使D对真实图片的评分高,而对G生成的图片的评分低step2(固定D,训练G):G+D构成大网络,G产生图片,D对其识别评分,以此对G进行训练,使得输出数值越大越好结构学习 Structured learning传统机器学习可以表示为函数,即X与Y关系(如回归、分类),忽略成分之间的关系结构学习具有挑战性,机器需要有大局意识和规划原创 2020-06-30 13:48:02 · 2474 阅读 · 0 评论 -
深度学习知识点整理(三)——CNN / CNN网络举例 / RNN / LSTM / 迁移学习
6-CNN-3(理解卷积过程)计算卷积后特征图尺寸(步长1原图大小32,核5,则(32-5)/步长+1=28CNN层次序卷积层->ReLu层->池化层(下采样,压缩数据和参数数量)->全连接层边界0填充不丢弃原图信息,保持特征图与原图大小一致。核大小3 5 7 分别填充宽度1 2 3计算卷积核参数数量如核大小5,则5×5×3+1 (3通道,1个偏置)池化层7-CNN-case studyLeNet-5采用平均池化;Alexnet创新点采用ReLU激活函数;dr原创 2020-06-30 13:46:02 · 3555 阅读 · 0 评论 -
深度学习知识点整理(二)——神经网络理解 / 反向传播 / 激活函数 / 神经网络优化
3. Neural Network Basics& Back Propagation16.从线性分类到两层神经网络linear f=Wx2-layer NN f=W2max(0,W1x)3-layer NN f=W3max(0,W2max(0,W1x))17.常见的激活函数注:更多隐藏单元的数目代表着更大的容量18. 神经网络的一般步骤?模型初始化前向传播计算loss计算梯度反向传播权重更新迭代直到收敛4. Improve DNN -1为什么需要激活函数原创 2020-06-30 13:39:14 · 1638 阅读 · 0 评论 -
深度学习知识点整理(一)——图像分类与标题生成任务
1. 机器学习与深度学习的区别?机器学习:需要人工干预才能成功,使用大量的人类知识来开发有效的算法。深度学习:无需人工执行任何功能创建活动,它定义了自己的最佳功能传统的机器学习需要定义一些手工特征,从而有目的的去提取目标信息, 非常依赖任务的特异性以及设计特征的专家经验。而深度学习可以从大数据中先学习简单的特征,并从其逐渐学习到更为复杂抽象的深层特征,不依赖人工的特征工程,这也是深度学习在大数据时代受欢迎的一大原因。2. Image Classification2. 图像分类有哪些困难和挑战?原创 2020-06-30 13:31:18 · 1278 阅读 · 0 评论 -
CNN 风格迁移模型 原理简述
我们有了两张图片,分别是content图和style图风格迁移本质上是找到一个新的图片,使得风格上趋近于风格图,内容上趋近于内容图而“趋近”在深度学习中体现在loss函数中,所以我们要设定两个losscontent loss度量生成图像的内容和内容图像的内容之间的内容损失style loss度量生成图像的风格和风格图像的风格之间的风格损失不断地更新合成图的信息,得到最终synthetic image观察CNN模型,我们可以看出,对于Content Image来说,浅层卷积..原创 2020-06-25 13:58:18 · 1926 阅读 · 0 评论 -
一层、两层及多层神经网络 与 激活函数作用 理解
一层网络实际上是一个线性函数,即权重W与输入x相乘(偏置项包含其中)当我们增加一层,变为两层神经网络这里的max是将第一层负数结果置为0用权重W2乘第一层结果当我们扩展到三层即更多层,也是类似那么我们不使用max可以吗?我们看到,如果没有max,W1 W2 可以合成一个大的W3,最后还是一个线性分类,没有实质性改变所以,这里的max是不可去掉的,而这里的max,被称作激活函数激活函数:我们看到激活函数有很多种,也可以自己定义,我们上面使用的max...原创 2020-06-24 21:54:50 · 2442 阅读 · 1 评论 -
CNN模型中 卷积层 RELU层 池化层 作用及顺序
卷积层 Convolutional layer卷积运算的目的是提取输入的不同特征类似于CV中的滤波,通过滑动窗口来得到特征图像非线性激活层 Reluf(x)=max(0,x)非线性激活层即保留大于0的值,即保留特征比较好的值,将特征小于0的值舍去池化层 pooling池化(Pooling):也称为欠采样或下采样。主要用于特征降维,压缩数据和参数的数量,减小过拟合,同时提高模型的容错性一般是 卷积层 -> relu -> 池化层...原创 2020-06-24 02:22:25 · 13633 阅读 · 2 评论 -
Keras+CNN模型识别手写数字(mnist)详细分析
CNN模型CNN卷积神经网络,包含卷积层(卷积运算提取输入的不同特征,更多层的网络能从低级特征中迭代提取等复杂的特征),线性整流层(RELU),池化层(卷积后会得到维度很大的特征,将特征切成几个区域,取最大值或平均值,得到新的较小维度特征),全连接层(局部特征结合变成全局特征,计算最后得分)卷积:使用卷积核对图像进行扫描,得到特征图池化:池化即下采样,目的减少特征图详细内容参见:https://blog.csdn.net/liangchunjiang/article/detai.原创 2020-06-03 19:05:38 · 2947 阅读 · 0 评论 -
soft / hard attention 机制 理解——机器学习中的soft 和 hard
Soft attention是一种全局的attention,其中权重被softly地放在源图像所有区域Hard attention一次关注图像的一个区域,采用0-1编码,时间花费较少,但是不可微分,所以需要更复杂的技术来进行训练下图是从果壳网(quora)摘取的一篇回答即在机器学习中soft 常常表示可微分,比如sigmoid和softmax机制而hard常常表示不可微分soft hard attention机制是在图像生成标题任务中被提出的,其原始任务如下:上面是s..原创 2020-05-18 20:20:58 · 2610 阅读 · 0 评论 -
论文解读——神经网络翻译中的注意力机制 以及 global / local attention
论文Effective Approaches to Attention-based Neural Machine Translation这篇论文主要介绍了神经网络翻译中的attention机制的集中改进方式,包括global / localattention以及 input-feeding机制,最后通过实验进行比较本篇博文还将拓展神经网络翻译、注意力机制、soft / hard attention等内容目录论文Effective Approaches to Attention-base...原创 2020-05-18 20:10:51 · 1627 阅读 · 0 评论 -
神经网络与深度学习——神经网络基础与反向传播(CS231n)Neural Network Basics & Back Propagation
回顾之前我们得出了分数函数、损失函数、进而得到数据损失+正则项我们要得到最好的W,为此使用了梯度下降进行优化。对于梯度下降,有数值法(慢)和解析法(快),在实践中,推导解析梯度,使用数值梯度来检查但问题是:线性分类并不强线性分类每类只能学到一个图像,而且只能进行线性决策边界神经网络“神经网络”是一个非常宽泛的术语;更准确地说,它们被称为“全连接网络”,有时也被称为“多层感知器”(...原创 2020-03-11 13:20:24 · 355 阅读 · 0 评论 -
神经网络与深度学习——损失函数与优化(CS231n)Loss Function and Optimization
目的我们讨论线性分类我们要做的:定义一个损失函数,来衡量我们对于训练出来的分数的不满意程度找到一个有效找到减少损失函数的参数的方式(优化)多类支持向量机损失(Multiclass SVM Loss)上图为例,3个样例,共3类,每个数据表示为(xi, yi),分别表示图片和对应标签这个数据集的总体损失为每组损失 Li 的平均值上图右下角意思为:若正确类别的分数比其他的分数都...原创 2020-03-09 12:35:40 · 1055 阅读 · 0 评论 -
神经网络与深度学习——图片分类(CS231n)
图片分类任务计算机视觉的核心任务挑战计算机看到的是像素数值,如 800×600×3的数据,当一只猫图片的时候,像素值也会变化如背景影响、光照、形变、遮挡等机器学习数据驱动输入:手机图片和标签数据学习:使用机器学习训练分类器评测:在一张新图片上判断最近邻算法(KNN)训练过程:记忆训练数据测试过程:对每一张测试图片,找到最邻近的训练图片,读取其标签复杂度对于n张图片,...原创 2020-03-08 15:24:29 · 2176 阅读 · 0 评论 -
深度学习编程环境概念(GPU, Tensorflow, Docker, CUDA, CPU, CUDNN, Keras, Anaconda, PyTorch介绍)
简介在深度学习过程中经常会遇到GPU, Tensorflow, Docker, CUDA, CPU, CUDNN, Keras, Anaconda, PyTorch等名次概念,也一直理不清这些编程环境的层次,所以做一个总结总览越往下越底层解释CPU中央处理器(CPU,central processing unit)作为计算机系统的运算和控制核心,是信息处理、程序运行的最终执行单元。...原创 2020-03-02 23:14:00 · 848 阅读 · 0 评论 -
Python OpenCV MINIST 单张图片像素转化二值化(手写数字识别,时尚服装识别)
手写数字识别,要求28*28像素,白字黑底一开始使用了SciPy来转换出现AttributeError: module 'scipy' has no attribute 'misc' 报错,应该是版本问题,修改无果,采用了更简单的OpenCVimport cv2image = cv2.imread("8.jpg")image2 = cv2.resize(image, (28,...原创 2020-02-21 23:14:22 · 1827 阅读 · 0 评论 -
深度学习概念与人工智能技术之间关系 及机器学习与深度学习区别
AI技术主要包括 机器学习,表征学习(特征学习),深度学习等AI技术包含关系上图为人工智能技术的包含关系可见AI包括机器学习(machine learning),机器学习又包括表征学习(representation learning),深度学习(Deep Learning)又是表征学习的一种AI系统的不同部分上图可见基于规则的系统(Rule-based systems):输入数据 ...原创 2020-02-20 19:09:52 · 2588 阅读 · 1 评论