Pytorch实现ResNet网络之Residual Block残差块
作者:实力 发布时间:2022-11-17 15:00:02
Residual Block
ResNet中最重要的组件是残差块(residual block),也称为残差单元(residual unit)。一个标准的残差块包含两层卷积层和一条跳过连接(skip connection),如下
假设输入x的大小为F×H×W,其中FFF表示通道数,H和W分别表示高度和宽度。那么通过残差块后输出的特征图的大小仍然是F×H×W。
跳过连接能够使得该层网络可以直接通过进行恒等映射(identity mapping)来优化模型,并避免反激化迫使网络退化。即残差块应该学习到输入数据和输出数据的差异,而不是完全复制输入数据。
实现一个残差块
代码如下所示:
import torch.nn as nn
class ResidualBlock(nn.Module):
def __init__(self, in_channels, out_channels, stride=1):
super().__init__()
self.conv1 = nn.Conv2d(in_channels, out_channels, kernel_size=3, stride=stride, padding=1, bias=False)
self.bn1 = nn.BatchNorm2d(out_channels)
self.relu = nn.ReLU(inplace=True)
self.conv2 = nn.Conv2d(out_channels, out_channels, kernel_size=3, stride=1, padding=1, bias=False)
self.bn2 = nn.BatchNorm2d(out_channels)
self.shortcut = nn.Sequential()
if in_channels != out_channels or stride != 1:
self.shortcut = nn.Sequential(
nn.Conv2d(in_channels, out_channels, kernel_size=1, stride=stride, bias=False),
nn.BatchNorm2d(out_channels))
def forward(self, x):
residual = x
x = self.conv1(x)
x = self.bn1(x)
x = self.relu(x)
x = self.conv2(x)
x = self.bn2(x)
shortcut = self.shortcut(residual)
x += shortcut
x = self.relu(x)
return x
这段代码定义了一个继承自nn.Module
的残差块。在初始化过程中,我们定义了两个卷积层、两个批标准化(batch normalization)层以及一个恒等映射短连接(shortcut)。其中第二个卷积层的输入通道数必须与输出通道数相同。
在forward
函数中,我们首先将输入数据xxx保存到一个变量residual
中。然后将xxx通过第一个卷积层、批标准化以及ReLU激活函数,再通过第二个卷积层和批标准化。
默认情况下,跳过连接是一个恒等映射,即仅将输入数据复制并直接加到输出数据上。如果输入的通道数与输出的通道数不同,或者在卷积操作中改变了特征图的大小(stride > 1),则需要对输入进行适当的处理以与输出相匹配。我们使用1×1卷积层(又称为“投影级”)来改变大小和通道数,并将其添加到shortcut`, 确保整个残差块拓扑中都能够正确地实现残差学习。
来源:https://juejin.cn/post/7222854201201852476
![](https://www.aspxhome.com/images/zang.png)
![](https://www.aspxhome.com/images/jiucuo.png)
猜你喜欢
- 本文实例为大家分享了python实现opencv+scoket网络实时图传的具体代码,供大家参考,具体内容如下服务器分析:1.先通过在服务器
- 本文实例讲述了php多进程中的阻塞与非阻塞操作。分享给大家供大家参考,具体如下:我们通过pcntl_fork来创建子进程,使用pcntl_w
- 起因说起来录制视频,我们可能有很多的软件,但是比较坑的是,好像很少的软件支持能够同时录制两个摄像头的视频,于是我们用python自己写一个。
- pandas遍历每行并累加进行条件过滤 本次记录主要实现对每行进行排序,并保留前80%以前的偏好。思路:将每行的概率进行排序,然后
- 1. timeit.timeit(stmt=‘pass', setup=‘pass', timer=<default
- 大家知道,Microsoft为了更好地预防恶意用户和攻击者的攻击,在默认情况下,没有将 IIS6.0 安装到 Windows Server
- 第一种是进行多项式拟合,数学上可以证明,任意函数都可以表示为多项式形式。具体示例如下。###拟合年龄import numpy as npim
- 对Vue全家桶有基本的认知.用有node环境了解express一丶业务分析1.什么情况下进行权限验证?访问敏感接口前端向后端敏感接口发送aj
- 此方法会导致就好像它是在一个<font size="size">标记的字符串显示在规定的大小语法
- 今天在打开sql server 的时候打不开。报了一个错误,然后我打开sql server配置管理器,就看到了如下图这个错误。然后就去网上搜
- 以SQL Server中的Northwind示范数据库为例,利用DTS设计器,进行数据的转移。转移任务的步骤:◆1. 新建目的数据库NOrt
- 代码如下:--获取当前时间 Select getdate() --获取当前年月日 YY代表年,MM代表月,DD代表日,hh代表时
- 记得之前learn python一书里面,因为当时没有官方支持,只能通过hack的方式实现抽象方法,具体如下 最简单的写法class MyC
- Django生成数据库表时报错 __init__() missing 1 required positional argument:
- 1.操作数据库 1.1创建数据库create + database + 数据库名称当然如果我们不知道数据库是否存在,如果存在就不创
- 本文实例讲述了Centos7.4环境安装lamp-php7.0的方法。分享给大家供大家参考,具体如下:一. 环境准备桥接模式能访问外网#pi
- 当数据库数据量涨到一定数量时,性能就成为我们不能不关注的问题,如何优化呢? 常用的方式不外乎那么几种:1、分表,即把一个很大的表达数据分到几
- 写了一个练手的爬虫...在输出的时候出现了让人很不愉♂悦的问题像这样:令人十分难受啊!#--------------------------
- 本文实例为大家分享了python编写猜数字小游戏的具体代码,供大家参考,具体内容如下import randomsecret = random
- 前言在MySQL很多测试场景,需要人工生成一些测试数据来测试。本文提供一个构造MySQL大表存储过程,可以生成包含用户名,手机号码,出生日期