python深度学习人工智能BackPropagation链式法则
作者:Swayzzu 发布时间:2023-07-17 12:23:07
1.链式法则
根据以前的知识,如果我们需要寻找到目标参数的值的话,我们需要先给定一个初值,然后通过梯度下降,不断对其更新,直到最终的损失值最小即可。而其中最关键的一环,就是梯度下降的时候,需要的梯度,也就是需要求最终的损失函数对参数的导数。
如下图,假设有一个神经元,是输入层,有2个数据,参数分别是w1和w2,偏置项为b,那么我们需要把这些参数组合成一个函数z,然后将其输入到sigmoid函数中,便可得到该神经元的输出结果。过程中,z对w求导十分好算,就是x1和x2。根据链式法则,如下图左下角所示,我们整体的计算过程就是,通过前向传播求出z对w的偏导,再通过反向传播找到损失函数C对z的偏导。
2.前向传播
计算z对w的偏导:前向传播相当简单,对参数的偏导结果就是参数对应的输入数据,如下图所示。输入数据对于输入层来说就是原始数据1和-1,对于其他层,输入数据就是通过sigmoid转换后的输出结果。
3.后向传播
计算C对z的偏导:
设每一个神经元中,sigmoid函数最终的输出为a,则C对z的偏导,根据链式法则,就可以写作a对z的偏导,乘上C对a的偏导。
a对z的偏导,只是一个sigmoid函数,该函数偏导可以计算。
C对a的偏导,由于a输入进了下一层的多个神经元,假设有2个,因此,C对a的偏导,等于分别对这两个神经元求偏导并求和。比如第一个神经元z' = 输入a*权重w3+...,那么C对这个神经元求偏导,就是C对z'求偏导,乘上z'对a求偏导,后一项十分简单,就是w3;对于z''来说,对a求偏导就是w4
那么问题又变成了,C对z', z''求偏导的结果是什么?
假!如! 损失函数C对z'和z''的偏导已知了:
以上C对z求偏导的计算过程,可以写作以下的式子,括号外就是a对z求偏导,括号内就是C对a求偏导:
这个式子可以看做一个反向传播的神经元,如下图所示:
这个神经元中,损失函数C对sigmoid转化前的z' 和z''求导的结果,就是输入,权重w3,w4是输入对应的权重,将这两个输入乘上参数后相加,再和sigmoid函数对z的导数相乘,最终得到C对z的偏导。而sigmoid对z的导数,这个是常数,并且已经是确定了的,因为我们通过前向传播计算,就已经能够将其确定。
有了第一个反向传播的输出结果,那么就可以有隐藏层的其他神经元所需要的结果,以此类推,对于所有神经元,我们均可算出损失函数对其z的偏导。有了这个,那么我们结合z对w的偏导,就可以计算出每一个参数w的梯度。从而进行梯度下降。
4.计算方式整理
假设我们计算的是输出层,那么我们通过前向传播后,已经得到了一个输出了,于是就已经有损失函数C了,同时前向传播也让我们得到了z'和z'',那么所有需要的数据已就绪,可以直接计算出来C对z'和z''的偏导。
假如我们计算的是中间层,在计算C对z'的偏导的时候,还需要下一层通过反向传播给到的C对两个其他z的结果,那么我们就继续往下计算,继续寻找下一层计算的时候,需要的下下一层的信息,一直到输出层后,我们得到一个,再往回推,以此递归计算前面待定的所有项。
5.总结
既然我们需要输出层的内容作为反向传播的输入,我们在进行完前向传播之后,就别考虑前面需要什么求导了,干脆直接从结尾开始算起,得到每一层的损失函数C对每一个z的偏导即可。
至此,我们得到了每一个神经元前向传播的z对w的偏导(其实就是sigmoid转化后的输出a),以及每一个神经元反向传播后的C对z的偏导,二者相乘,就得到了我们需要的结果,也就是每一个参数的梯度。
来源:https://blog.csdn.net/Swayzzu/article/details/121010780


猜你喜欢
- 本文实例讲述了Python常用特殊方法。分享给大家供大家参考,具体如下:1 __init__和__new____init__方法用来初始化类
- 1 插件安装想要在vscode中使用jupyter,首先我们需要在vscode中安装插件Jupyter。在拓展中搜索jupyter直接安装即
- 目录1、背景2、C# 语言3、Python 语言4、技术分析1、背景我们先看这个题目:标题:137. 只出现一次的数字 II难度:中等htt
- //主键 ALTER TABLE tablename add new_field_id int(5) UNSIGNED DEFAULT 0
- PyTorch上的常用数据类型如下Data typedtypeCPU tensorGPU tensorSize/bytes32-bit fl
- 机器学习分两大类,有监督学习(supervised learning)和无监督学习(unsupervised learning)。有监督学习
- vue-amap是对高德地图JS API进行封装的、适用于vue项目的地图组件库。在笔者开发的很多项目中都有用到,相比直接使用高德地图JS
- 快速掌握 Mysql数据库对文件操作的封装在查看Mysql对文件的操作中,它在不同的操作系统上对文件的操作,除了使用标准C运行库函数,包括o
- Windows版本下的python并没有内置串口通讯的pyserial的库,所以需要自己下载。参照了网上的教程,有许多用的pip的安装方式,
- 来做一个快速测验-以下代码输出什么?vals := make([]int, 5)for i := 0; i < 5; i++ { va
- Python来进行查询和替换一个文本字符串?可以使用sub()方法来进行查询和替换,sub方法的格式为:sub(replacement, s
- 本文实例讲述了php版银联支付接口开发的方法。分享给大家供大家参考,具体如下:支付接口现在有第三方的支付接口也有银行的支付接口。这里就来介绍
- 引言图片减去均值后,再进行训练和测试,会提高速度和精度。因此,一般在各种模型中都会有这个操作。那么这个均值怎么来的呢,实际上就是计算所有训练
- 根据SalesOrderID排序,取第16-18行这3条记录。方法一:(最常用的分页代码, top / not in)SELECT &nbs
- 首先要注册一个账号密码,通过账号密码登录,并且滑块验证,自动输入搜索关键词,进行跳转翻页爬取数据,并保存到Excel文件中。代码运行时,滑块
- 因此,常常出现这样的错误select * from [IND] where INDID>10unionselect * from [I
- mysql安装启动两种方法如下所示:方法一(简单版):1.cmd进入mysql安装的bin目录:mysqld.exe –install2.n
- 检测是否注册成功<% Set Jpeg =Server.CreateObject("Persi
- 一 修改root密码的三种办法方法1: 用SET PASSWORD命令首先登录MySQL。格式:mysql> set password
- 一、ASP.NET处理管道Asp.net处理管道的第一步是创建HttpWorkerRequest对象,它包含于当前请求有关的所有信息。Htt