基于梯度 * 的解决方法:clip gradient
作者：小强的呼呼呼 发布时间：2022-07-24 02:19:09
标签：梯度,clip,gradient
1. 梯度 * 的影响
在一个只有一个隐藏节点的网络中，损失函数和权值w偏置b构成error surface，其中有一堵墙，如下所示
损失函数每次迭代都是每次一小步，但是当遇到这堵墙时，在墙上的某点计算梯度，梯度会瞬间增大，指向某处不理想的位置。如果我们使用缩放，可以把误导控制在可接受范围内，如虚线箭头所示
2. 解决梯度 * 问题的方法
通常会使用一种叫”clip gradients “的方法. 它能有效地权重控制在一定范围之内.
算法步骤如下。
首先设置一个梯度阈值：clip_gradient
在后向传播中求出各参数的梯度，这里我们不直接使用梯度进去参数更新，我们求这些梯度的l2范数
然后比较梯度的l2范数||g||与clip_gradient的大小
如果前者大，求缩放因子clip_gradient/||g||,由缩放因子可以看出梯度越大，则缩放因子越小，这样便很好地控制了梯度的范围
最后将梯度乘上缩放因子便得到最后所需的梯度
3. 有无clip_gradient在GRU模型中的结果比较
无clip_gradient
可以很清楚地发现在2000次迭代出发生了梯度 * ，最终影响了训练的效果。
有clip_gradient
可以发现clip_gradient在前期有效了控制了梯度 * 的影响，使得最终的loss能下降到满意的结果
来源：https://blog.csdn.net/u010814042/article/details/76154391
0
投稿猜你喜欢
今天，在在使用 pycharm 的使用，进行创建 python的时候，发现使用默认的创建的选项使用的python 3环境 。而我系统默认的p- 本文介绍了 setuptools 框架的内容，它是 PEAK 的一个副项目，它提供了比 distutils 更加简单的包管理和发行功能。开始
- //方法1：$ip = $_SERVER["REMOTE_ADDR"];echo $ip;//方法2：$user_IP
- 1、find(sub[, start[, end]])在索引start和end之间查找字符串sub找到，则返回最左端的索引值，未找到，则返回
- 在tensorflow中，我们可以使用 tf.device() 指定模型运行的具体设备，可以指定运行在GPU还是CUP上，以及哪块GPU上。
- 1、背景由于办公需要“每天定时推送某消息用来提醒群里面所有人”，于是决定用企业微信自带的机器人来实现此功能。具体方法我来一一讲述。2、企业微
- 通过界面设计上是能手工操作的，无法达到我批量修改几千台服务器。 因为此了一个脚本来批量执行。 环境：redgate + mssql 2008
- 一、为什么提出python编程的核心是什么？我想要Python实现，这已经不是什么秘密了。WebAssembly它不仅会让Python进入浏
- 我想让一片文章,每到3000字就分到下一条插入到数据库,求高手 <％Dim Content Conte
- TensorFLow能够识别的图像文件，可以通过numpy，使用tf.Variable或者tf.placeholder加载进tensorfl
- 本篇文章通过使用python实现对计算机摄像头的调用从而实现摄像监控的功能。利用opencv的图像处理功能可以轻松对计算机摄像头的调用实现实
- 以前写过一个标签效果，外观虽然好看，但代码不太规范，实现的方法比较繁冗。需要注意的是标签的背景图，两种状态，激活的标签背景为蓝色，反之为灰色
- map是key-value数据结构，又称为字段或者关联数组。类似其他编程语言的集合一、基本语法var 变量名 map[keyty
- 目前，各大搜索引擎如google、百度、雅虎已经对动态页面诸如asp，php有着不错的支持了，只要动态页面后面的参数不要太长，如控制在3个参
- 一、业务需求在使用Python进行业务开发的时候，需要将一些数据保存到本地文件存储，方便后面进行数据分析展示。二、需求分析通过查看需求可得出
- 如下所示：sum = 0n = 99while n > 0: sum = sum + n n = n - 2p
- 如果用户输入的是直接插入到一个SQL语句中的查询，应用程序会很容易受到SQL注入，例如下面的例子:$unsafe_variable = $_
- 一、起源 因子分析的起源是这样的：1904年英
- 以下是一些Python实用技巧和工具，希望能对大家有所帮助。交换变量x = 6y = 5x, y = y, xprint x>>
- 这篇文章主要介绍了Python tkinter三种布局实例详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,
