PyTorch中常用的激活函数的方法示例
作者：Steven·简谈 发布时间：2022-11-02 01:17:44
标签：PyTorch,激活函数
神经网络只是由两个或多个线性网络层叠加，并不能学到新的东西，简单地堆叠网络层，不经过非线性激活函数激活，学到的仍然是线性关系。
但是加入激活函数可以学到非线性的关系，就具有更强的能力去进行特征提取。
构造数据
import torch
import torch.nn.functional as F
from torch.autograd import Variable
import matplotlib.pyplot as plt
x = torch.linspace(-5, 5, 200) # 构造一段连续的数据
x = Variable(x) # 转换成张量
x_np = x.data.numpy()# 换成 numpy array, 出图时用
Relu
表达式：
代码：
y_relu = F.relu(x).data.numpy()
plt.plot(x_np, y_relu, c='red', label='relu')
plt.ylim((-1, 5))
plt.legend(loc='best')
plt.show()
形状如图：
Sigmoid
表达式：
代码：
y_sigmoid = F.sigmoid(x).data.numpy()
plt.plot(x_np, y_sigmoid, c='red', label='sigmoid')
plt.ylim((-0.2, 1.2))
plt.legend(loc='best')
plt.show()
形状如图：
Tanh
表达式：
代码：
y_tanh = F.tanh(x).data.numpy()
plt.plot(x_np, y_tanh, c='red', label='tanh')
plt.ylim((-1.2, 1.2))
plt.legend(loc='best')
plt.show()
形状如图：
Softplus
表达式：
代码：
y_softplus = F.softplus(x).data.numpy()
plt.plot(x_np, y_softplus, c='red', label='softplus')
plt.ylim((-0.2, 6))
plt.legend(loc='best')
plt.show()
形状如图：
来源：https://blog.csdn.net/weixin_44613063/article/details/90240900
0
投稿猜你喜欢
- 本文实例讲述了Python元组常见操作。分享给大家供大家参考，具体如下：不能修改的列表就叫做元组。1 访问元素元组是使用圆括号来标识的。 定
表格制作好了，内容也有了，怎么看着别扭呀！哦，还没有给表格化化装－－格式化表格呀，俗话说：人靠衣服也靠鞍，要想让你制作的网页漂漂亮亮、美观大- 说明1、方差检验是用来比较两个或多个变量数据的样本，以确定它们之间的差异是简单随机的，或者是由于过程之间的显著统计差异造成的。2、自变量X是
- 在例子视图中返回文本的方式有点特别，即HTML被直接硬编码在Python代码之中。def current_datetime(request)
- 本文实例讲述了Python排序搜索基本算法之希尔排序。分享给大家供大家参考，具体如下：希尔排序是插入排序的扩展，通过允许非相邻的元素进行交换
- 说到这个问题，基本上有人就会想到三个问题：1，什么是系统数据？2，为什么要移动系统数据库？3，移动系统数据库我们可以用附加和分离，为什么还要
- 除了实现新的种类的对象以外，类有时有用于扩展Python的内置类型的功能。主要有以下两种技术：通过嵌入扩展类型下例把一些集合函数变成方法，而
- 弹出窗口，加载页面。弹出窗口初始位置为居中。可在关闭窗口时，回调主页面按钮。要求jquery。效果演示首先，演示主窗口两个按钮作用。然后，演
- 前言酷狗、网抑云和 QQ 音乐都有桌面歌词功能，这篇博客也将使用 pyqt 实现桌面歌词功能，效果如下图所示：代码实现桌面歌词部件
- 我们重要的数据是存放在MDF文件中的，如果LDF文件丢失，MDF文件没有丢失，那么数据也可以还原。如果LDF文件没有丢失，MDF文件丢失，且
- 最终的目标是想这样的，在JavaScript里写一个swing来实现确定取消，来决定是否执行这个功能的，但是在执行的过程中，出现了一点问题，
- Altova 公司的 XMLSPY 是个不可多得的好东西，它几乎可以开发所有的 XML 产品。最近用它来做 Schema
- 发现问题最近在打开项目的时候，发现我的默认路由没加载上linkActiveClass，网上一搜，发现很多同学也有这个问题，查了一些资料发现这
- 函数名:FenYe(url,pageCount,recordCount,curPage,cssstyle)
- 好久没有更新过PyQt5相关的专题了，今天正好有空就做一个文件、文件内容检索的小工具。目的是为了能够很快的完成的在任意磁盘路径下找到我们需要
- 如果一个数字能表示成 p^q，且p是一个素数，q为大于1的正整数，则此数字就是超级素数幂。 param number: 测试该数字是否是超级
- 我的电脑环境是使用.net framework4.5.1,如果在调试过程中调不通请注意我用的是Visual studion 2017,pyt
- 以country.xml为例,内容如下:<?xml version="1.0"?><data>
- 现在Django 3.0附带了对ASGI的支持，将Websockets添加到Django应用中不需要任何额外的依赖关系。 在本文中，您将学习
- 适用环境： PHP5.2.x / mysql 5.0.xclass Mysql { priva
