深度学习
文章平均质量分 95
zxxRobot
这个作者很懒,什么都没留下…
展开
-
给远程服务器安装Anaconda,然后用conda创建新环境
终于有远程工作站可以用啦,记录一下环境配置过程Table of Contents1. 安装Anaconda1.1 下载1.2 安装1.3 查看是否安装成功1.4 conda一些常用命令2. conda创建新环境2.1 创建、激活、退出与删除1. 安装Anaconda1.1 下载到Anaconda官网或清华源地址下载所需的Anaconda 版本至自...原创 2019-10-28 15:32:33 · 25032 阅读 · 4 评论 -
神经网络与深度学习(六)——注意力机制
邱锡鹏《神经网络与深度学习》学习笔记。神经网络与深度学习(六)—— 注意力机制与外部记忆1.1 注意力机制1.1.1 认知神经学中的注意力1.1.2 注意力机制注意力分布加权平均1.1.3 注意力机制的变体1.1.3.1 硬性注意力1.1.3. 2 键值对注意力1.1.3.3 多头注意力1.1.3.4 结构化注意力1.1.3.5 指针网络1.2 自注意力机制1.3 记忆增强神经网络为了减少计算复杂度,我们引入了局部连接,权重共享以及池化操作来简化网络结构。但目前计算机的计算能力依然是限制神经网络发展的瓶原创 2021-02-08 17:23:04 · 6210 阅读 · 4 评论 -
神经网络与深度学习(五)—— 循环神经网络
邱锡鹏《神经网络与深度学习》学习笔记。神经网络与深度学习(五)—— 循环神经网络1.循环神经网络1.1 简单循环神经网络1.1.1 循环神经网络:给网络增加记忆能力1.1.2 简单循环网络1.2 应用到机器学习1.2.1 序列到类别模式1.2.2 同步的序列到序列模式1.2.3 异步的序列到序列模型1.3 参数学习1.3.1 梯度下降1.3.2 随时间反向传播算法1.3.3 实时循环学习算法1.4 基于门控的循环神经网络1.4.1 长程依赖问题1.4.2 长短期记忆网络1.4.3 LSTM 网络的各种变体原创 2021-02-07 09:31:02 · 673 阅读 · 1 评论 -
神经网络与深度学习(四) —— 网络优化与正则化
神经网络模型应用到机器学习的难点主要分为两个大类:1. 优化问题深度神经网络优化十分困难,主要表现为:神经网络的损失函数是非凸函数,找到全局最优解比较困难。(简单粗暴的结论辅助理解:凸函数的局部最优解必然是全局最优解)深度神经网络的参数非常多,训练数据也比较多,因此无法使用计算代价很高的二阶优化方法,而一阶优化方法的训练效率通常比较低。深度神经网络存在梯度消失或爆炸问题。2. 泛化问题深度神经网络拟合能力很强,容易在训练集上过拟合。因此在训练时需要通过一定的正则化方法来改进网络的泛化能力。原创 2021-01-29 12:47:02 · 2178 阅读 · 0 评论 -
神经网络与深度学习(三)——卷积神经网络
2. 卷积神经网络使用全连接前馈网络处理图像会存在两个问题:参数太多局部不变性特征:自然图像中的物体都具有局部不变性特征,比如尺度缩放、平移、旋转等操作不影响其语义信息。而全连接前馈网络很难提取这些局部不变性特征,一般需要进行数据增强来提高性能。卷积神经网络(convolutional neural network,CNN)是一种受生物学上感受野机制的启发而提出的具有局部连接、权重共享及汇聚等特性的深度前馈神经网络。目前的卷积神经网络一般由卷积层、池化层(汇聚层)和全连接层交叉堆叠而成的前馈神原创 2021-01-29 12:42:58 · 1796 阅读 · 0 评论 -
神经网络与深度学习 (二)—— 全连接神经网络
1. 前馈神经网络从机器学习的角度看,神经网络一般可以看做是一个非线性模型,其基本组成单元为具有非线性激活函数的神经元,通过大量神经元之间的连接,使得神经网络成为一种高度非线性的模型。神经元之间的连接权重就是要学习的参数,可以在机器学习框架下通过梯度下降法来进行学习。1.1 神经元典型神经元结构如下:神经元接收D 个输入,用向量x=[x1;x2;⋯ ;xD]\boldsymbol{x}=\left[x_{1} ; x_{2} ; \cdots ; x_{D}\right]x=[x1;x2;⋯;原创 2021-01-29 11:38:30 · 3721 阅读 · 0 评论 -
神经网络与深度学习(一)——机器学习基础
1.人工智能基础概念人工智能简单讲,人工智能就是让机器的行为看起来跟人所表现出来的智能行为一样。‘智能’一词比较难以定义,因此 1950 年图灵提出了著名的图灵测试:一个人在不接触 对方的情况下,通过一种特殊的方式和对方进行一系列的问答.如果在相当长时间内,他无法根据这些问题判断对方是人还是计算机,那么就可以认为这个计算机是智能的。机器学习 Machine Learning,MLML 是指从有限的观测数据中学习出具有一般性的规律,并利用这些规律对位置数据进行预测的方法。传统的机器学习主要关注如何原创 2021-01-29 11:03:34 · 1269 阅读 · 0 评论 -
Jetson AGX Xavier避坑指南(五)——环境搭建2.(python3、conda、ros、pytorch、tensorflow)
jetson AGX Xavier配置python环境Nvidia Jetson AGX Xavier安装ROS、Anaconda、PyTorch及其它依赖库原创 2021-01-05 18:01:16 · 6530 阅读 · 2 评论 -
使用Tmux 解绑SSH远程登录的会话与终端窗口
参考:Tmux 使用教程1. 会话与窗口命令行的典型使用方式是,打开一个终端窗口(terminal window,以下简称"窗口"),在里面输入命令。用户与计算机的这种临时的交互,称为一次会话(session)。会话的一个重要特点是,窗口与其中启动的进程是连在一起的。打开窗口,会话开始;关闭窗口,会话结束,会话内部的进程也会随之终止,不管有没有运行完。在终端窗口用SSH 登录远程计算机时,如果网络突然断线或者关闭窗口,都会造成会话终止,远程进程也随之终止。再次登录的时候,也找不回上一次执行的命令了。原创 2020-08-11 15:43:29 · 965 阅读 · 0 评论