TensorFlow的自动求导原理分析
作者：qq_25094489 发布时间：2023-06-14 15:22:02
标签：TensorFlow,自动求导
原理：
TensorFlow使用的求导方法称为自动微分（Automatic Differentiation），它既不是符号求导也不是数值求导，而类似于将两者结合的产物。
最基本的原理就是链式法则，关键思想是在基本操作（op）的水平上应用符号求导，并保持中间结果（grad）。
基本操作的符号求导定义在\tensorflow\python\ops\math_grad.py文件中，这个文件中的所有函数都用RegisterGradient装饰器包装了起来，这些函数都接受两个参数op和grad，参数op是操作，第二个参数是grad是之前的梯度。
链式求导代码：
举个例子：
补充：聊聊Tensorflow自动求导机制
自动求导机制
在即时执行模式下，Tensorflow引入tf.GradientTape()这个“求导记录器”来实现自动求导。
计算函数y(x)=x^2在x = 3时的导数：
import tensorflow as tf
#定义变量
x = tf.Variable(initial_value = 3.)
#在tf.GradientTape()的上下文内，所有计算步骤都会被记录以用于求导
with tf.GradientTape() as tape:
#y = x^2
y = tf.square(x)
#计算y关于x的导数(斜率，梯度)
y_grad = tape.gradient(y,x)
print([y,y_grad])
输出：
[<tf.Tensor: shape=(), dtype=float32, numpy=9.0>, <tf.Tensor: shape=(), dtype=float32, numpy=6.0>]
来源：https://blog.csdn.net/qq_25094489/article/details/79390484
0
投稿猜你喜欢
0. 学习目标在诸如单链表、双线链表等普通链表中，查找、插入和删除操作由于必须从头结点遍历链表才能找到相关链表，因此时间复杂度均为O(n)。- 解析器解析器的作用就是服务端接收客户端传过来的数据，把数据解析成自己想要的数据类型的过程.本质就是对请求体中的数据进行解析.Content-
- 前记Asyncio的同步原语可以简化我们编写资源竞争的代码和规避资源竞争导致的Bug的出现。 但是由于协程的特性，在大部分业务代码中并不需要
- Python递归函数实例1、打开Python开发工具IDLE,新建‘递归.py'文件，并写代码如下：def digui(n):if
- 文件操作的步骤：打开文件 -> 操作文件 -> 关闭文件切记：最后要关闭文件（否则可能会有意想不到的结果）打开文件文件句柄 =
- 摘要在Nginx和uWSGI还没配置时，单独在url.py使用apscheduler设置定时任务，使用python manage.py ru
- 一、概述公司新购了一批PC，准备把几个性能较优的PC升级为数据库服务器，替换老旧的机器。公司有套POS终端软件，后台数据存储是 MySQL
- 用过NumPY的应该都知道，在二维数组中可以方便地使用区域切片功能，如下图：而这个功能在Python标准库的List中是不支持的，在List
- 本文实例讲述了Python整型运算之布尔型、标准整型、长整型操作。分享给大家供大家参考，具体如下：#coding=utf8def integ
- 函数签名对象，表示调用函数的方式，即定义了函数的输入和输出。在Python中，可以使用标准库inspect的一些方法或类，来操作或创建函数签
- 1.嵌入 IFrame(/assets/img/anchor.svg)]()](https://gradio.app/sharing-you
- 前言在python列表的元素删除操作中, del, pop(), remove()很容易混淆, 下面对三个语句/方法作出解释del语句del
- 本文主要介绍的是MySQL慢查询分析方法，前一段日子，我曾经设置了一次记录在MySQL数据库中对慢于1秒钟的SQL语句进行查询。想起来有几个
- 本文实例讲述了js鼠标滑过图片震动特效的方法。分享给大家供大家参考。具体实现方法如下：<html><head><
- 前言我们在学习MATLAB使用过程中可能需要用到Excel中的数据，那么matlab和Excel该如何交互呢？下面这篇文章带大家一起来看看1
- 分享一个 * 真网页拾色器（调色板），颜色丰富216色，使用方便。运行截图：<html id="container"
- 问：如何给导入文件加上时间戳标记?答：请参考下文中介绍的两种方法：1.在DOS下从系统获得时间戳利用Dos命令取得时间戳:C:\>ec
- 今天小编来和大家聊一下Python当中的altair可视化模块，并且通过调用该模块来绘制一些常见的图表，借助Altair，我们可以将更多的精
- 本文对于先前系列文章中实现的C/Python代码统计工具(CPLineCounter)，通过C扩展接口重写核心算法加以优化，并与网上常见的统
- 在制作登录页面时学习了TK弹窗的输入文本框的使用，下面让我们一起来学习一下TK弹窗中的输入框及文本框的使用方法吧！输入框要想制作一个输入弹窗
