吴恩达深度学习笔记【第三周 浅层神经网络】

最新推荐文章于 2024-10-31 15:13:59 发布
最新推荐文章于 2024-10-31 15:13:59 发布
阅读量160 收藏
点赞数
分类专栏： 深度学习 文章标签： 神经网络 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouv_/article/details/114967843
版权

第三周 浅层神经网络

目录

第三周 浅层神经网络

3.1神经网络概览

3.2神经网络表示（图形的意义）

3.3计算神经网络的输出

3.4多个例子中的向量化

3.5向量化实现的解释

3.6激活函数

3.7为什么需要非线性激活函数

3.8激活函数的导数

3.9神经网络的梯度下降法

3.10直观理解反向传播

3.11随机初始化

 

3.1神经网络概览

注：上标方括号表示不同的层 上标圆括号表示不同的样本

3.2神经网络表示（图形的意义）

 

3.3计算神经网络的输出

单个训练样本：

？

3.4多个例子中的向量化

3.5向量化实现的解释

3.6激活函数

g可能是线性的也可能是非线性的 

tanh 有数据中心化的作用  但是二元分类时用segema Function的另一个特殊作用是用于输出层 使 y^保持在 0~1

但这两种Function都有一种特点 当 z 很大或者 负很多时 斜率很小会降低梯度下降的速度

ReLU（带泄露的线性修正单元）  max（0.01z，z）

ReLU（线性修正函数单元）  在原点可以赋值导数   学习速度很快

隐藏层数 激励函数的热门选择 冷门选择 只有尝试 

3.7为什么需要非线性激活函数

 

3.8激活函数的导数

3.9神经网络的梯度下降法

 

 

3.10直观理解反向传播

就是链式求导法则

目的：是计算导数进行梯度下降法

3.11随机初始化

输入特征少时  隐藏单元太多也不好  很多都在计算相同的东西

 

 

 

sLuca_Tian
关注
专栏目录
吴恩达《深度学习》第二课第三周笔记
u013093426的博客
07-09 1039
改善神经网络之超参调试、batch正则化和程序框架一、调试处理超参数：alpha（学习速率），alpha_decay（学习率衰减率），beta（momentum），beta1，beta2，epsilon（Adam），layers（网络层数），hidden_units（隐藏层神经元数），mini_batch_size（mini-bathc的大小）重要等级：一级：alpha；二级：beta、hidde...
吴恩达深度学习课程学习笔记 第三周 浅层神经网络（中）
m0_57302305的博客
09-24 1107
【3.5 向量化实现的解释】 对不同训练样向量化的神经网络，四个矩阵的行表示神经元个数，列表示样本数目m 到目前为止，我们使用的激活函数只有函数 有很多种激活函数，sigma函数知识其中的一种选择 ...
深度学习笔记：第三周链接汇总
Hurry_Get_in的博客
04-26 123
机器学习的一般策略 本周（第三课）内容有点杂，而且较少，就直接都放在一起了 笔记 网页链接 网页链接 网页链接 网页链接 网页链接 疑问 网页链接 ...
吴恩达深度学习第一门课第三周—浅层神经网络学习笔记
zxt_tong的博客
05-22 1152
这一周主要学习的是含有一个隐藏层的神经网络 ，它的样子如下图：图中从左到右分别为 输入层，隐藏层，输出层。在上一周学习的逻辑回归中，通过直接计算𝑧得到结果𝑎。而这个神经网络中，需要重复计算两次𝑧和𝑎，（每一个圆圈都代表了两步运算，分别为计算z和𝑎），最后得到了最终的输出。同样在逻辑回归中学习了从后向前的计算用来计算导数𝑑𝑎、𝑑𝑧，在神经网络中也有从后向前的计算，看起来就像这样，最后会计算𝑑𝑎[2] 、𝑑𝑧[2]，计算出来之后，然后计算计算𝑑𝑊[2]、𝑑𝑏[2] 等。
【深度学习】吴恩达课程笔记(二)——浅层神经网络、深层神经网络
urge的博客
10-25 580
变量名变量含义l层数n[l]l 层的单元数。
吴恩达深度学习笔记：深层神经网络(Deep Neural Networks)4.1-4.4
weixin_43597208的博客
04-02 1323
尽管对于任何给定的问题很难去提前预测到底需要多深的神经网络，所以先去尝试逻辑回归，尝试一层然后两层隐含层，然后把隐含层的数量看做是另一个可以自由选择大小的超参数，然后再保留交叉验证数据上评估，或者用你的开发集来评估。我们可以看到，第一层（即左边数过去第二层，因为输入层是第 0 层）有 5 个神经元数目，第二层 5 个，第三层 3 个。,这层是第 0 层，这层左边的隐藏层是第 1 层，由此类推。注意，神经网络的层数是这么定义的：从左到右，由 0 开始定义，比如上边右图，是等于这个神经网络所预测的输出结果。
吴恩达深度学习笔记：浅层神经网络(Shallow neural networks)3.1-3.5
weixin_43597208的博客
03-25 1550
本周你将学习如何实现一个神经网络。在我们深入学习具体技术之前，我希望快速的带你预览一下本周你将会学到的东西。如果这个视频中的某些细节你没有看懂你也不用担心，我们将在后面的几个视频中深入讨论技术细节。现在我们开始快速浏览一下如何实现神经网络。上周我们讨论了逻辑回归，我们了解了这个模型(见图 3.1.1)如何与下面公式 3.1 建立联系。接下来使用𝑧就可以计算出𝑎。我们将的符号换为表示输出𝑦^ ⟹ 𝑎 = 𝜎(𝑧),然后可以计算出 loss function 𝐿(𝑎, 𝑦)。
吴恩达深度学习笔记——卷积神经网络（Convolutional Neural Networks）
亦梦亦醒乐逍遥的博客
08-16 2993
卷积神经网络
吴恩达深度学习课程学习笔记 第三周 浅层神经网络（上）
m0_57302305的博客
08-27 154
【3.1 神经网络概览】 如何实现一个神经网络？ 注： x表示输入特征，参数W和b， 中的[1]表示神经网络的“层”，表示与节点相关的量，区分的(i)-表示单个训练样本。 把很多个sigmoid单元堆叠起来构成一个神经网络，节点对应类似z和a的计算。 也可进行反向计算。 【3.2 神经网络表示】 例： 单隐层神经网络，也称双层神经网络（输入层为第0层） =x可表示输入层，a"激活“； 为隐藏层，隐藏层中的值在训练集中无法看到，本例中的是一个四维向量（矩阵形式：紫色字体）..
深度学习笔记：吴恩达第三周浅层神经网络解析
“第三周：浅层神经网络.pdf，吴恩达深度学习与神经网络课程笔记，涵盖了神经网络的基础知识，包括概述、表示、输出计算、向量化、激活函数、非线性需求、导数、梯度下降以及随机初始化。” 在这一周的学习中，我们...
第三周：浅层神经网络.pdf
07-03
在吴恩达的深度学习与神经网络课程笔记中，第三周的内容专注于浅层神经网络。这一周的学习内容涵盖了从神经网络的基本概念，到具体实现神经网络的步骤，再到激活函数的使用、向量化运算以及梯度下降的原理等重要知识...
吴恩达深度学习教程——中文笔记网上资料整理
Superstar02的博客
09-27 1151
深度学习笔记目录 课程地址：https://mooc.study.163.com/university/deeplearning_ai#/c 专栏： https://blog.csdn.net/shikong_/article/category/7288516 https://blog.csdn.net/zc...
用神经网络自动玩游戏
崎山小鹿的专栏
10-22 1782
CartPole是OpenAI gym中的一个游戏测试,车上顶着一个自由摆动的杆子，实现杆子的平衡，杆子每次倒向一端车就开始移动让杆子保持动态直立的状态.env = gym.make('CartPole-v1', render_mode="human") # 使用新版本时，需要指定 render_mode。return policy_net(state).argmax(dim=1).item() # 利用网络选择最优动作。clock.tick(FPS) # 设置帧率为 60 帧/秒。
Pytorch学习--神经网络--最大池化的使用
weixin_68930974的博客
10-28 679
Pytorch学习--神经网络--最大池化的使用（代码2包含dataset、DataLoader、nn.Module、Tensorboard、nn.MaxPool2d的使用）
自监督强化学习：对比预测编码（CPC）算法深度解析
hong161688的博客
10-31 416
自监督强化学习是一种结合自监督学习与强化学习优势的新兴方法。它利用数据的内在结构生成监督信号，从而减少对外部标签的依赖，使智能体能够在无标签或标签稀缺的环境中学习有效的表示。CPC算法则是自监督强化学习中的一种重要算法，它通过对比学习（Contrastive Learning）来提取全局特征，帮助智能体学习有用的状态表示。CPC算法由DeepMind提出，旨在减少无监督学习中对标签的依赖，同时最大化局部信息和全局特征之间的关联。
神经网络与深度学习
huanfeng_AI的博客
10-30 1297
深度学习是机器学习的一个子领域，它专注于使用多层神经网络进行复杂的模式识别和特征提取。所谓“深度”指的是神经网络中隐藏层的数量，通常来说，深度学习模型包含多个隐藏层。这些多层结构使得深度学习模型能够学习到数据的深层特征，从而实现对复杂任务的精确处理。多层结构：深度学习模型通常包含多个隐藏层，这使得模型能够学习到数据的深层特征。非线性激活函数：深度学习模型使用非线性激活函数（如ReLU、sigmoid等），使得模型能够处理非线性问题。大数据支持。
【深度学习】实验 — 动手实现 GPT【二】：注意力机制、注意力掩码、多头注意力机制
最新发布
我们都是被分成两半的人，一边热爱生活，一边憎恨生活。面对生活，我们总是在矛盾的两端摇摆，在反复的矛盾和犹豫中，一边踉跄前行，一边重振旗鼓。我渴望改变，渴望变得更好，渴望找到出口……就像一个溺水人的挣扎，就像一个救生圈。我是一个矛盾集合体，想要变得快乐，但是
10-31 637
（在本书中，我们遵循机器学习和深度学习的常见惯例，即训练样本表示为行，特征值表示为列；在上面的张量中，每一行表示一个词，每一列表示一个嵌入维度。（请注意，此图中的数字已截取至小数点后两位，以减少视觉杂乱；同样，其他图中的数字也被截取。在自注意力机制中，首先计算注意力分数，随后对其进行归一化以得出总和为 1 的注意力权重。接下来，我们将推广该计算，以求得所有的注意力权重和上下文向量。然后，这些注意力权重被用于通过输入的加权求和生成上下文向量。上面我们计算了输入 2 的注意力权重和上下文向量。
深度学习案例：一步步搭建多层神经网络以及应用
STRANGEX-03的博客
10-31 342
该案例来自吴恩达深度学习系列课程一《神经网络和深度学习》第四周编程作业，一步步搭建多层神经网络以及应用，作业内容是搭建一个能够识别猫的多层的神经网络。作业提供的资料包括：训练集、测试集、测试实例、神经网络工具包、加载数据的工具包，下载请移步参考链接一。
基于 GADF+Swin-CNN-GAM 的高创新扰动信号识别模型！
10-30 731
基于格拉姆矩阵GADF+Swin Transformer窗口注意力和CNN-GAM全局注意力的电能质量扰动信号识别模型!
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值