Tensorflow 卷积的梯度反向传播过程
作者:LQ6H 发布时间:2021-02-05 09:15:29
标签:Tensorflow,卷积,梯度,反向传播
一. valid卷积的梯度
我们分两种不同的情况讨论valid卷积的梯度:第一种情况,在已知卷积核的情况下,对未知张量求导(即对张量中每一个变量求导);第二种情况,在已知张量的情况下,对未知卷积核求导(即对卷积核中每一个变量求导)
1.已知卷积核,对未知张量求导
我们用一个简单的例子理解valid卷积的梯度反向传播。假设有一个3x3的未知张量x,以及已知的2x2的卷积核K
Tensorflow提供函数tf.nn.conv2d_backprop_input实现了valid卷积中对未知变量的求导,以上示例对应的代码如下:
import tensorflow as tf
# 卷积核
kernel=tf.constant(
[
[[[3]],[[4]]],
[[[5]],[[6]]]
]
,tf.float32
)
# 某一函数针对sigma的导数
out=tf.constant(
[
[
[[-1],[1]],
[[2],[-2]]
]
]
,tf.float32
)
# 针对未知变量的导数的方向计算
inputValue=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,out,[1,1,1,1],'VALID')
session=tf.Session()
print(session.run(inputValue))
[[[[ -3.]
[ -1.]
[ 4.]]
[[ 1.]
[ 1.]
[ -2.]]
[[ 10.]
[ 2.]
[-12.]]]]
2.已知输入张量,对未知卷积核求导
假设已知3行3列的张量x和未知的2行2列的卷积核K
Tensorflow提供函数tf.nn.conv2d_backprop_filter实现valid卷积对未知卷积核的求导,以上示例的代码如下:
import tensorflow as tf
# 输入张量
x=tf.constant(
[
[
[[1],[2],[3]],
[[4],[5],[6]],
[[7],[8],[9]]
]
]
,tf.float32
)
# 某一个函数F对sigma的导数
partial_sigma=tf.constant(
[
[
[[-1],[-2]],
[[-3],[-4]]
]
]
,tf.float32
)
# 某一个函数F对卷积核k的导数
partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'VALID')
session=tf.Session()
print(session.run(partial_sigma_k))
[[[[-37.]]
[[-47.]]]
[[[-67.]]
[[-77.]]]]
二. same卷积的梯度
1.已知卷积核,对输入张量求导
假设有3行3列的已知张量x,2行2列的未知卷积核K
import tensorflow as tf
# 卷积核
kernel=tf.constant(
[
[[[3]],[[4]]],
[[[5]],[[6]]]
]
,tf.float32
)
# 某一函数针对sigma的导数
partial_sigma=tf.constant(
[
[
[[-1],[1],[3]],
[[2],[-2],[-4]],
[[-3],[4],[1]]
]
]
,tf.float32
)
# 针对未知变量的导数的方向计算
partial_x=tf.nn.conv2d_backprop_input((1,3,3,1),kernel,partial_sigma,[1,1,1,1],'SAME')
session=tf.Session()
print(session.run(inputValue))
[[[[ -3.]
[ -1.]
[ 4.]]
[[ 1.]
[ 1.]
[ -2.]]
[[ 10.]
[ 2.]
[-12.]]]]
2.已知输入张量,对未知卷积核求导
假设已知3行3列的张量x和未知的2行2列的卷积核K
import tensorflow as tf
# 卷积核
x=tf.constant(
[
[
[[1],[2],[3]],
[[4],[5],[6]],
[[7],[8],[9]]
]
]
,tf.float32
)
# 某一函数针对sigma的导数
partial_sigma=tf.constant(
[
[
[[-1],[-2],[1]],
[[-3],[-4],[2]],
[[-2],[1],[3]]
]
]
,tf.float32
)
# 针对未知变量的导数的方向计算
partial_sigma_k=tf.nn.conv2d_backprop_filter(x,(2,2,1,1),partial_sigma,[1,1,1,1],'SAME')
session=tf.Session()
print(session.run(partial_sigma_k))
[[[[ -1.]]
[[-54.]]]
[[[-43.]]
[[-77.]]]]
来源:https://www.cnblogs.com/LQ6H/p/10343262.html
0
投稿
猜你喜欢
- 背景:Email地址存于MSSql一用户信息表中,数量上万。公司自有服务器,集SMTP,POP3,WWW,FTP,MSSql,DNS等多种服
- 本文实例讲述了Python协程 yield与协程greenlet简单用法。分享给大家供大家参考,具体如下:协程协程,又称微线程,纤程。英文名
- 1.remove: 删除单个元素,删除首个符合条件的元素,按值删除,从左向右依次删除符合条件的值举例说明:>>> str=
- 为什么要手动添加核?因为使用公司的服务器,最好不要直接使用anaconda自带的python,更不要使用系统下自带的python,如果每个人
- 很多用户在网站上会糊弄填写一个电子信箱,请问有什么办法可以阻止这种行为?我们通常用两种方法来进行判断:第一种,设定只有形如aspxhome@
- 具体代码如下所示:import numpy as npfrom matplotlib import pyplot as pltfrom sc
- AJAX:Asynchronous JavaScript And XML--------异步JavaScript和XML
- 1 前言在工作中时常会有繁重的文案工作,接触了python 之后,就会觉得这个比较简单了,python 操作word 和 excel 是比较
- NextGEN Gallery是Wordpress中著名的相册插件,遗憾的是不支持中文等unicode字符,本文将介绍如何将目录转换为拼音(
- Xml_javascript分页实例:<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.
- 关于变量分箱主要分为两大类:有监督型和无监督型对应的分箱方法:A. 无监督:(1) 等宽 (2) 等频 (3) 聚类B. 有监督:(1) 卡
- 前言近来chatGPT挺火的,也试玩了一下,确实挺有意思。这里记录一下在Python中如何去使用chatGPT。本篇文章的实现100%基于
- 可能大多数人在学习C语言的时候,最先接触的数据类型就是字符串,因为大多教程都是以"Hello world"这个程序作为入
- 我们在编写 Javascript 时,Debug 是很痛苦的过程,而且有些语法问题虽使用 Firebug 能很快定位,但毕竟影响效率。这里有
- (在lua中通过loadfile, setfenv实现)python当然也可以:cat config.pybar = 10foo=100ca
- 使用Python编写探测WAF指纹脚本,再结合到Sqlmap中,这样以后再探测网站时,如果识别到此WAF指纹,就会显示出来。编写探测识别WA
- 本文实例讲述了Python设计模式之组合模式原理与用法。分享给大家供大家参考,具体如下:组合模式(Composite Pattern):将对
- Python初学者小游戏:猜数字游戏逻辑:电脑随机生成一个数字,然后玩家猜数字,电脑提示猜的数字大了还是小了,供玩家缩小数字范围,达到既定次
- 当多个事件绑定了同一个命令,那么在命令内部根据不同的事件进行处理的时候,怎么确定哪个事件发生了呢,用下面的来检测,经过测试处理tab键和al
- 1. argparse 模块简介argparse是一个用来解析命令行参数的 Python 库,它是 Python 标准库的一部分。基于 py