吴恩达机器学习笔记2-神经网络

前向传播(Forward Propagation)

a(1)=x a ( 1 ) = x
a(2)=g(θ(1)x) a ( 2 ) = g ( θ ( 1 ) x )
a(3)=g(θ(2)a(2)) a ( 3 ) = g ( θ ( 2 ) a ( 2 ) )

反向传播(Backward Propagation)

梯度下降算法需要计算梯度,而梯度就是所有参数的偏导数。对于神经网络来说,BP算法是一种计算偏导数的利器。

符号解释

wij——权重
aij——权重处理后的输出,即w*x,i表示第i层,j表示第j个输出
g(x)——激励函数
C——最终的损失函数
yk——实际的标签值

基本公式
C=12k(yktk)2 C = 1 2 ∑ k ( y k − t k ) 2

aij=Nk=1wkj(i1)g[a(i1)k] a i j = ∑ k = 1 N w k j ( i − 1 ) g [ a ( i − 1 ) k ]

δk+1:=Ea(k+1)j δ k + 1 := ∂ E ∂ a ( k + 1 ) j

算法过程

  1. 初始化权重wij
  2. 前向传播。计算每个节点的输出值
  3. 对输出层求
    δk=(yktk)g(ak) δ k = ( y k − t k ) · g ′ ( a k )
  4. 对隐藏层求
    δk=jδk+1wij(k)g(a(k+1)j) δ k = ∑ j δ k + 1 · w i j ( k ) ∗ g ′ ( a ( k + 1 ) j )
  5. 求梯度
    Cnwji=δjg(ai) ∂ C n ∂ w j i = δ j · g ( a i )
  6. 更新权重
    wm+1=wm+αCw w m + 1 = w m + α ∂ C ∂ w

推导过程

  1. 最后一层的权重求导。总损失对权重求导等于先对线性组合求导,乘以线性组合对权重的求导。根据之前的符号设定换成delta,然后根据线性组合a的公式得出后面的导数。
    Cwij(k)=Ca(k+1)ja(k+1)jwij(k) ∂ C ∂ w i j ( k ) = ∂ C ∂ a ( k + 1 ) j · ∂ a ( k + 1 ) j ∂ w i j ( k )

    =δk+1g(akj) = δ k + 1 · g ( a k j )
  2. 隐藏层的求导。

Cwli(k1)=Cakiakiwli(k1)=δkg(a(k1)j) ∂ C ∂ w l i ( k − 1 ) = ∂ C ∂ a k i · ∂ a k i ∂ w l i ( k − 1 ) = δ k · g ( a ( k − 1 ) j )

=jCa(k+1)ja(k+1)jg(aki)g(aki)akiakiwli(k1) = ∑ j ∂ C ∂ a ( k + 1 ) j · ∂ a ( k + 1 ) j ∂ g ( a k i ) · ∂ g ( a k i ) ∂ a k i · ∂ a k i ∂ w l i ( k − 1 )

=jδk+1wij(k)g(a(k+1)j)g(a(k1)i) = ∑ j δ k + 1 · w i j ( k ) ∗ g ′ ( a ( k + 1 ) j ) · g ( a ( k − 1 ) i )

so

δk=jδk+1wij(k)g(a(k+1)j) δ k = ∑ j δ k + 1 · w i j ( k ) ∗ g ′ ( a ( k + 1 ) j )

神经网络的归纳偏置

可以粗略地刻画为在数据点之间平滑插值

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
智慧校园整体解决方案是响应国家教育信息化政策,结合教育改革和技术创新的产物。该方案以物联网、大数据、人工智能和移动互联技术为基础,旨在打造一个安全、高效、互动且环保的教育环境。方案强调从数字化校园向智慧校园的转变,通过自动数据采集、智能分析和按需服务,实现校园业务的智能化管理。 方案的总体设计原则包括应用至上、分层设计和互联互通,确保系统能够满足不同用户角色的需求,并实现数据和资源的整合与共享。框架设计涵盖了校园安全、管理、教学、环境等多个方面,构建了一个全面的校园应用生态系统。这包括智慧安全系统、校园身份识别、智能排课及选课系统、智慧学习系统、精品录播教室方案等,以支持个性化学习和教学评估。 建设内容突出了智慧安全和智慧管理的重要性。智慧安全管理通过分布式录播系统和紧急预案一键启动功能,增强校园安全预警和事件响应能力。智慧管理系统则利用物联网技术,实现人员和设备的智能管理,提高校园运营效率。 智慧教学部分,方案提供了智慧学习系统和精品录播教室方案,支持专业级学习硬件和智能化网络管理,促进个性化学习和教学资源的高效利用。同时,教学质量评估中心和资源应用平台的建设,旨在提升教学评估的科学性和教育资源的共享性。 智慧环境建设则侧重于基于物联网的设备管理,通过智慧教室管理系统实现教室环境的智能控制和能效管理,打造绿色、节能的校园环境。电子班牌和校园信息发布系统的建设,将作为智慧校园的核心和入口,提供教务、一卡通、图书馆等系统的集成信息。 总体而言,智慧校园整体解决方案通过集成先进技术,不仅提升了校园的信息化水平,而且优化了教学和管理流程,为学生、教师和家长提供了更加便捷、个性化的教育体验。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值