pytorch 实现cross entropy损失函数计算方式
作者：HawardScut 发布时间：2022-03-18 00:45:50
标签：pytorch,nn.MSELoss,损失函数
均方损失函数：
这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。
很多的 loss 函数都有 size_average 和 reduce 两个布尔类型的参数。因为一般损失函数都是直接计算 batch 的数据，因此返回的 loss 结果都是维度为 (batch_size, ) 的向量。
(1)如果 reduce = False，那么 size_average 参数失效，直接返回向量形式的 loss
(2)如果 reduce = True，那么 loss 返回的是标量
a)如果 size_average = True，返回 loss.mean();
b)如果 size_average = False，返回 loss.sum();
注意：默认情况下， reduce = True，size_average = True
import torch
import numpy as np
1、返回向量
loss_fn = torch.nn.MSELoss(reduce=False, size_average=False)
a=np.array([[1,2],[3,4]])
b=np.array([[2,3],[4,5]])
input = torch.autograd.Variable(torch.from_numpy(a))
target = torch.autograd.Variable(torch.from_numpy(b))
这里将Variable类型统一为float()（tensor类型也是调用xxx.float()）
loss = loss_fn(input.float(), target.float())
print(loss)
tensor([[ 1., 1.],
[ 1., 1.]])
2、返回平均值
a=np.array([[1,2],[3,4]])
b=np.array([[2,3],[4,4]])
loss_fn = torch.nn.MSELoss(reduce=True, size_average=True)
input = torch.autograd.Variable(torch.from_numpy(a))
target = torch.autograd.Variable(torch.from_numpy(b))
loss = loss_fn(input.float(), target.float())
print(loss)
tensor(0.7500)
来源：https://blog.csdn.net/hao5335156/article/details/81029791
0
投稿猜你喜欢
- 如下所示：区别ArrayTensor类型uint8，float32系列{}各类型相互转换uint8转float64：image = imag
任何位置都能明确“我在哪里？这里有什么？从这里能去哪里？” 小时候，童话故事都告诉我们，迷路可不是一件好事。那会伴随着困惑、沮丧、- 从百度百科中扣去的这个图片轮播代码，图片向左不间断滚动，有停顿：<!DOCTYPE html PUBLIC "-//W3C/
- 学设计模式中有个装饰模式,用java实现起来不是很难,但是远远没有python简单,难怪越来越火了!这里就简单讨论下python的几种装饰模
- 1、Linux主机重定向 Godaddy的Liunx主机，Godaddy本身已经支持Apache，所以直接创建一个.htaccess文件就可
- 同志们，经过不懈的努力，查了各种文档，终于鼓捣出了一个稍微像样一点的node项目，当然如果直接拿去项目里用，这个demo还太简单，毕竟一个完
- 背景最近处理文本文档时（文件约2GB大小），出现memoryError错误和文件读取太慢的问题，后来找到了两种比较快Large File R
- 语言的问题，见仁见智，基本上属于信仰，无法强求一致。不过作为Python的爱好者，我想在这里为Python做一点辩护。就语法来看，Pytho
- 喜欢Gucci的优雅吗？或者痴迷美国普普艺术？谷歌中国最近改版的谷歌个性化首页iGoogle集中了近1500个主题，包括近120多位全球顶级
- 古巴比伦王颁布了汉摩拉比法典，刻在黑色的玄武岩，距今已经三千七百多年，你在橱窗前…熟悉吧？没错，这就是周董的爱在西元前歌词。前不久工作不是很
- 描述返回表达式，此表达式已被格式化为日期或时间。语法FormatDateTime(Date[, NamedFormat])FormatDat
- 这篇文章主要介绍了python的time模块和datetime模块实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参
- 本文实例讲述了Python使用matplotlib 画矩形的三种方式。分享给大家供大家参考，具体如下：假设矩形两点坐标如下，分别为：x1,
- 表示文字链接最清楚的方式是“蓝色文字+下划线”，这是在浏览器发展过程中形成的。这个问题大家都说过很多次了，我也曾经说过。然而，这样的规范却总
- 前言React核心的单向数据流、一切皆数据的state、不会改变的props，以及状态提升等等经常使用便不多总结，需要的看官方文档。JSXJ
- 做一个总结，把自己这些年的从业经历和观感罗列一下，某些话可能触及到个人神经，但它们没有恶意。设计师喜欢把世界想象得很美好，社会很和谐，但是这
- 面是我下载页面down.php 的php代码 现在我发现，用迅雷，谷歌浏览器直接打开，就能输出下载文件，一点不起防盗链作用。&nb
- 简介使用百度深度学习框架paddlepaddle对人像图片进行自动化抠图安装根据PaddlePaddle官网命令安装如pip install
- 如果不用类库(如jquery)来写，往往很多时候，都需要通过id或tag来获取html里的某一对象，然后对其进行操作。为了节省代码，把常用的
- 前言PDO扩展为PHP访问数据库定义了一个轻量级的、一致性的接口，它提供了一个数据访问抽象层，这样，无论使用什么数据库，都可以通过一致的函数
