pytorch 实现模型不同层设置不同的学习率方式
作者：-wxrui- 发布时间：2023-11-20 00:29:25
标签：pytorch,模型,学习率
在目标检测的模型训练中， 我们通常都会有一个特征提取网络backbone， 例如YOLO使用的darknet SSD使用的VGG-16。
为了达到比较好的训练效果， 往往会加载预训练的backbone模型参数， 然后在此基础上训练检测网络， 并对backbone进行微调， 这时候就需要为backbone设置一个较小的lr。
class net(torch.nn.Module):
def __init__(self):
super(net, self).__init__()
# backbone
self.backbone = ...
# detect
self....
在设置optimizer时， 只需要参数分为两个部分， 并分别给定不同的学习率lr。
base_params = list(map(id, net.backbone.parameters()))
logits_params = filter(lambda p: id(p) not in base_params, net.parameters())
params = [
{"params": logits_params, "lr": config.lr},
{"params": net.backbone.parameters(), "lr": config.backbone_lr},
]
optimizer = torch.optim.SGD(params, momentum=config.momentum, weight_decay=config.weight_decay)
来源：https://blog.csdn.net/qq_42110481/article/details/81025575
0
投稿猜你喜欢
- 用javascript实现Base64编码—解决中文问题因javascript求出来的是Unicode要转换成Ansi后才能对它进行Base
引言善于观察的朋友一定会敏锐地发现ChatGPT网页端是逐句给出问题答案的，同样，ChatGPT后台Api接口请求中，如果将Stream参数- 1. 多曲线1.1 使用pyplot方式import numpy as npimport matplotlib.pyplot as pltx
- 基本使用#设置cookie值@app.route('/set_cookie')def set_cookie():respon
- 1.引入正则模块(Regular Expression)要使用python3中的RE则必须引入 re模块import re #引入正则表达式
- python删除某个目录文件夹及文件的方法：#!/usr/bin/env pythonimport osimport shutildelLi
- JMeter的简介 JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试，
- 什么是python的迭代如果给定一个list或tuple，我们可以通过for循环来遍历这个list或tuple，这种遍历我们称为迭代（Ite
- 摘要：近几天在做一个东西，其中需要对图像中的文字进行识别，看了前辈们的文章，找到两个较简单的方法：使用python的pytesseract库
- 前些天有位网友建议我在博客中添加RSS订阅功能，觉得挺好，所以自己抽空看了一下如何在Django中添加RSS功能，发现使用Django中的s
- 一、算法概述AdaBoost 是英文 Adaptive Boosting（自适应增强）的缩写，由 Yoav Freund 和Robert S
- 值得庆幸的是，我们可以通过数组的 slice 方法将 arguments 对象转换成真正的数组： var args = Array.prot
- 本章是前一章的延续，我们使用RSA算法逐步实现加密，并详细讨论它.用于解密密文的函数是as跟随 :def decrypt(ciph
- 本文实例讲述了PHP实现基于3DES算法加密解密字符串。分享给大家供大家参考，具体如下：3DES（或称为Triple DES）是三重数据加密
- match（）函数只检测RE是不是在string的开始位置匹配， search()会扫描整个string查找匹配, 也就是说match（）只
- 前言随着 Kotlin 1.4 正式发布，关于 SAM 转换的一些问题就可以盖棺定论了。因为这里要讲的都是些旧的东西，所以这是一篇灌水文。K
- 本文实例讲述了Python实现的逻辑回归算法。分享给大家供大家参考，具体如下：使用python实现逻辑回归Using Python to I
- 描述exp() 方法返回x的指数,ex。语法以下是 exp() 方法的语法:import mathmath.exp( x )注意：exp()
- 1.背景在python运行一些，计算复杂度比较高的函数时，服务器端单核CPU的情况比较耗时，因此需要多CPU使用多进程加快速度2.函数要求笔
- numpy中的ndarray转化成pytorch中的tensor : torch.from_numpy()pytorch中的tensor转化
