反向传播BP学习算法Gradient Descent的推导过程
作者：Cyril_KI 发布时间：2022-09-08 09:51:06
BP算法是适用于多层神经网络的一种算法，它是建立在梯度下降法的基础上的。本文着重推导怎样利用梯度下降法来minimise Loss Function。
给出多层神经网络的示意图：
1.定义Loss Function
每一个输出都对应一个损失函数L，将所有L加起来就是total loss。
那么每一个L该如何定义呢？这里还是采用了交叉熵，如下所示：
最终Total Loss的表达式如下：
2.Gradient Descent
L对应了一个参数，即Network parameters θ(w1,w2…b1,b2…)，那么Gradient Descent就是求出参数 θ∗来minimise Loss Function，即：
梯度下降的具体步骤为：
3.求偏微分
从上图可以看出，这里难点主要是求偏微分，由于L是所有损失之和，因此我们只需要对其中一个损失求偏微分，最后再求和即可。
先抽取一个简单的神经元来解释：
因为我们并不知道后面到底有多少层，也不知道情况到底有多复杂，我们不妨先取一种最简单的情况，如下所示：
4.反向传播
l对两个z的偏导我们假设是已知的，并且在这里是作为输入，三角形结构可以理解为一个乘法运算电路，其放大系数为 σ′(z)。但是在实际情况中，l对两个z的偏导是未知的。假设神经网络最终的结构就是如上图所示，那么我们的问题已经解决了：
其中：
但是假如该神经元不是最后一层，我们又该如何呢？比如又多了一层，如下所示：
原理跟上面类似，如下所示：
那假设我们再加一层呢？再加两层呢？再加三层呢？。。。，情况还是一样的，还是先求l对最后一层z的导数，乘以权重相加后最后再乘上 σ′(z′′,z′′′,...)即可。
最后给一个实例：
它的反向传播图长这样：
我们不难发现，这种计算方式很清楚明了地体现了“反向传播”四个字。好了，目标达成！！
5.总结
来源：https://blog.csdn.net/Cyril_KI/article/details/107030538
0
投稿猜你喜欢
TNS简要介绍与应用 Oracle中TNS的完整定义：transparence Network Substrate透明网络底层，监听服务是它- 用户认证组件:功能：用session记录登录验证状态前提：用户表：django自带的auth-userpython3 manage.py c
- 前言序锦很多时候，当我们在使用编辑器的时候，遇到复制粘贴，修改别人代码等等的时候，都会遇到这个让人头疼的问题，那就是如何解决格式问题，今天就
- by leecade ：我聊下我的想法 从功能上看，能不能把JS分成3层结构1 语法设计，选择器，常用函数2 业务逻辑（比如封装好常用的TA
- 今天给大家介绍一个十分好用的Python模块，用来给数据集做一个初步的探索性数据分析(EDA)，有着类似Tableau的可视化界面，我们通过
- 知识点文件读写基础语法字符串处理字符拼接代码解析导入模块import platformimport stringimport random将
- 本次案例使用OpenCV和selenium来解决一下滑块验证码先说一下思路：弹出滑块验证码后使用selenium元素截图将验证码整个背景图截
- 概述在使用Typora写比较长的文章时，需要给章节编号，方便区分层次。如果手动编号，一旦章节顺序改变，很多章节的编号都需要一一手动修改，极其
- pip install prettytable每次添加一行from prettytable import PrettyTable# &nbs
- 本文实例讲述了python实现的DES加密算法和3DES加密算法。分享给大家供大家参考。具体实现方法如下：#################
- 前言最近在用python写一个项目，发现一个很恶心的bug，就是同由一个类生成的两个实例之间的数据竟然会相互影响，这让我非常不解。后来联想到
- 在安装某个包的时候出现如下错误然后按照提示运行python -m pip install --upgrade pip并更新pip后再次运行p
- 本文实例讲述了python面向对象之类属性和类方法。分享给大家供大家参考，具体如下：目标类的结构类属性和实例属性类方法和静态方法01. 类的
- 一、绪论在使用python开发过程中经常会使用到第三方库。因此就涉及到了如何安装、复制移动。二、安装方式第三方库的安装方式1、python自
- 问题你想解析某个XML文档，文档中使用了XML命名空间。解决方案考虑下面这个使用了命名空间的文档：<?xml version=&quo
- 原理：第一步：应用程序把查询SQL语句发给服务器端执行。我们在数据层执行SQL语句时,应用程序会连接到相应的数据库服务器,把SQL语句发送给
- 1.首先打开AutoIt Windows Info 工具，鼠标点击Finder Tool（按住左键不松手），鼠标将变成一个小风扇形状的图标，
- 如何在win7+Python3.5的环境下安装成功scrapy？通过pip3 install Scrapy直接安装，一般会报错：error:
- 最近，QQ的办公版本——TIM进行了一次更新升级。本次更新升级大幅修改了界面的样式，看起来更加的清爽、简洁和高效了。这种界面州的先生还是比较
- python在mysql中插入null空值sql = “INSERT INTO MROdata (MmeUeS1apId) VALUES (
