关于Pytorch的MLP模块实现方式
作者：黄鑫huangxin 发布时间：2021-12-19 03:28:22
标签：Pytorch,MLP模块
MLP分类效果一般好于线性分类器，即将特征输入MLP中再经过softmax来进行分类。
具体实现为将原先线性分类模块：
self.classifier = nn.Linear(config.hidden_size, num_labels)
替换为：
self.classifier = MLP(config.hidden_size, num_labels)
并且添加MLP模块：
class MLP(nn.Module):
def __init__(self, input_size, common_size):
super(MLP, self).__init__()
self.linear = nn.Sequential(
nn.Linear(input_size, input_size // 2),
nn.ReLU(inplace=True),
nn.Linear(input_size // 2, input_size // 4),
nn.ReLU(inplace=True),
nn.Linear(input_size // 4, common_size)
)
def forward(self, x):
out = self.linear(x)
return out
看一下模块结构：
mlp = MLP(1000,3)
print(mlp)
来源：https://blog.csdn.net/qq_33373858/article/details/88108153
0
投稿猜你喜欢
- 查看表空间的名称及大小代码如下:SQL>select t.tablespace_name, round(sum(bytes/(1024
- eval(“1+2”)，-> 3 动态判断源代码中的字符串是一种很强大的语
目录Python1 Python垃圾回收机制是什么2 元组和列表的区别3 元组可以作为字典的key？4 进程 线程 协程4.1 进程4.2- mysql> select binary 'ABCD'='abcd' COM1, 'ABCD&
- #pd.to_datetime函数#读取数据import pandas as pddata = pd.read_csv('polic
- Python实现模拟时钟代码推荐# coding=utf8import sys, pygame, math, randomfrom pyga
- 本次做一个最简单的贪食蛇雏形游戏，就是一个小蛇在画面上移动，我们可以控制蛇的移动方向，但是不能吃东西，蛇不会长大。但是基础的有了，完整版的贪
- 前言我们有时候会编写Python脚本来辅助我们执行一些重复的操作。但是这些脚本在实际使用中会有一些不方便：我们通常需要进入终端或者IDE中来
- Python面向对象编程（一）Python面向对象编程（二）Python面向对象编程（三）和其它编程语言相比，Python 在尽可能不增加新
- Mysql数据库、数据库表、数据基础操作笔记分享给大家，供大家参考，具体内容如下一、数据库操作1.创建数据库Create dat
- 自己试过很好用function zero_fill_hex(num, digits) { var s = num.toString(16);
- 1) 用正式表达式 regexp "[u0391-uFFE5]"2) 用length和char_lengthdrop t
- 用Python写脚本也有一段时间了，经常操作数据库（MySQL），现在就整理下对各类数据库的操作，如后面有新的参数会补进来，慢慢完善。一，p
- 前言最近因为工作的需要，在写一些python脚本，总是使用print来打印信息感觉很low，所以抽空研究了一下python的logging库
- 本文实例为大家分享了mysql5.6.29的shell脚本，供大家参考，具体内容如下创建脚本mysql.sh，直接运行sh mysql.sh
- 一般的django项目我都喜欢采用以下的文件结构，使用include的方式，实现从总的url分配给apps里面的urlExample：-pr
- 1.元组的概念Python中的元组和列表很相似，元组也是Python语言提供的内置数据结构之一，可以在代码中直接使用。元组和列表就像是一个孪
- 什么是 JScript？JScript 是由微软开发的活动脚本语言，基于 ECMAScript 规范实现。Internet Explorer
- 错误重现：首先在控制面板里卸载了sqlserver软件，一切正常，然后重启（一定要重启，否则没法重装），执行sqlserver的安装程序，一
- 前言快要过年了，现在是工作的事情也不想干，学习也完全学不进去，关于xlsx的操作原本昨天已经写好了，不过悲催的是，忘记发布了直接关浏览器关闭
