细数nn.BCELoss与nn.CrossEntropyLoss的区别
作者：站着刷论文 发布时间：2021-04-16 16:29:28
标签：nn.BCELoss,nn.CrossEntropyLoss
以前我浏览博客的时候记得别人说过，BCELoss与CrossEntropyLoss都是用于分类问题。可以知道，BCELoss是Binary CrossEntropyLoss的缩写，BCELossCrossEntropyLoss的一个特例，只用于二分类问题，而CrossEntropyLoss可以用于二分类，也可以用于多分类。
不过我重新查阅了一下资料，发现同样是处理二分类问题，BCELoss与CrossEntropyLoss是不同的。下面我详细讲一下哪里不同。
1、使用nn.BCELoss需要在该层前面加上Sigmoid函数。
公式如下：
2、使用nn.CrossEntropyLoss会自动加上Sofrmax层。
公式如下：
可以看出，这两个计算损失的函数使用的激活函数不同，故而最后的计算公式不同。
补充拓展：pytorch的BCELoss和cross entropy
BCELoss:
torch.nn.BCELoss:
Input: (N, *)(N,∗) where *∗ means, any number of additional dimensions
Target: (N, *)(N,∗), same shape as the input
Output: scalar. If reduction is 'none', then (N, *)(N,∗), same shape as input.
这里的输入和target 目标必须形状一致，并且都是浮点数，二分类中一般用sigmoid的把输出挑出一个数：
>>> m = nn.Sigmoid()
>>> loss = nn.BCELoss()
>>> input = torch.randn(3, requires_grad=True)
>>> target = torch.empty(3).random_(2)
>>> output = loss(m(input), target)
>>> output.backward()
CrossEntropyLoss:
input(N,C) #n 是batch c是类别
target(N)
输入和target 形状是不同的crossEntropy 是自己会做softmax
>>> loss = nn.CrossEntropyLoss()
>>> input = torch.randn(3, 5, requires_grad=True)
>>> target = torch.empty(3, dtype=torch.long).random_(5)
>>> output = loss(input, target)
>>> output.backward()
来源：https://blog.csdn.net/f156207495/article/details/88874911
0
投稿猜你喜欢
- 项目说明开发php项目管理系统，由于是新项目且已经部署在生产环境，导致需要根据实际使用情况，进行及时的功能升级或bug修复。每次升级，进行程
- 支持聚合函数的方法：提到聚合函数，首先我们要知道的就是这些聚合函数是不能在django中单独使用的，要想在django中使用这些聚合函数，就
- 原文地址：30 Days of Mootools 1.2 Tutorials - Day 7 - Set and Get Style Pro
前言在AI领域，来快速实现一个idea：前后端开发+部署+展现，如果走传统的前后端分离开发+服务器docker部署等方式，会很重且入门成本很- 本文实例讲述了Symfony2之session与cookie用法。分享给大家供大家参考，具体如下：session操作：1. Set Sess
- 无意中看到一位学员的屏保，感觉挺有意思的，就把它实现了下来效果如下：<!DOCTYPE html PUBLIC "-//W3
- 验证关键词是否为sql保留字的在线工具：<html> <head><t
- Python request获取网页中文乱码问题r = requests.get(“http://www.baidu.com“)
- 1、mysql的limit关键字 （DAO）select * from tablename limit startPoint, number
- 1. 预估执行计划 - Explain PlanExplain plan以SQL语句作为输入，得到这条SQL语句的执行计划，并将执行计划输出
- 一、基本概念APScheduler全称Advanced Python Scheduler 作用为在指定的时间规则执行指定的作业。指定时间规则
- python解释器默认编码（python2与python3的区别一）python2 解释器默认编码：asciipython3 解释器默认编码
- 一、引 言 在速度上,静态页面要比动态页面的比方php快很多,这是毫无疑问的,但是由于静态页面的灵活性较差,如果不借助数据库或其他的设备保存
- 构建运动模糊模型现假定相机不动，图像f(x,y)在图像面上移动并且图像f(x,y)除移动外不随时间变化。令x0(t)和y0(t)分别代表位移
- 本文介绍了用ASP的AdoDb.Stream读取/写入UTF-8编码格式的文件的方法：函数名称:ReadTextFile 作用:利用AdoD
- 本文实例讲述了PHP编程实现多维数组按照某个键值排序的方法。分享给大家供大家参考，具体如下：实现对多维数组按照某个键值排序的两种解决方法(a
- kelon 问：格式如下：s="地,在要,大,奇功,不知,但是,不示"我想把它split分出來，变成数组來循环，但是不知
- 1.python 和 pytorch的数据类型区别在PyTorch中无法展示字符串，因此表达字符串，需要将其转换成编码的类型，比如one_h
- 公司网站后台使用的eWebEditor来添加发布新闻之类的，但把电脑的IE升级到8之后一直没办法添加附件之类的，症状就是在点击编辑器按钮时就
- 一、判断类型的函数is_bool() //判断是否为布尔型is_float() //判断是否为浮点型
