pytorch实现focal loss的两种方式小结
作者:WYXHAHAHA123 发布时间:2023-07-02 14:43:22
标签:pytorch,focal,loss
我就废话不多说了,直接上代码吧!
import torch
import torch.nn.functional as F
import numpy as np
from torch.autograd import Variable
'''
pytorch实现focal loss的两种方式(现在讨论的是基于分割任务)
在计算损失函数的过程中考虑到类别不平衡的问题,假设加上背景类别共有6个类别
'''
def compute_class_weights(histogram):
classWeights = np.ones(6, dtype=np.float32)
normHist = histogram / np.sum(histogram)
for i in range(6):
classWeights[i] = 1 / (np.log(1.10 + normHist[i]))
return classWeights
def focal_loss_my(input,target):
'''
:param input: shape [batch_size,num_classes,H,W] 仅仅经过卷积操作后的输出,并没有经过任何激活函数的作用
:param target: shape [batch_size,H,W]
:return:
'''
n, c, h, w = input.size()
target = target.long()
input = input.transpose(1, 2).transpose(2, 3).contiguous().view(-1, c)
target = target.contiguous().view(-1)
number_0 = torch.sum(target == 0).item()
number_1 = torch.sum(target == 1).item()
number_2 = torch.sum(target == 2).item()
number_3 = torch.sum(target == 3).item()
number_4 = torch.sum(target == 4).item()
number_5 = torch.sum(target == 5).item()
frequency = torch.tensor((number_0, number_1, number_2, number_3, number_4, number_5), dtype=torch.float32)
frequency = frequency.numpy()
classWeights = compute_class_weights(frequency)
'''
根据当前给出的ground truth label计算出每个类别所占据的权重
'''
# weights=torch.from_numpy(classWeights).float().cuda()
weights = torch.from_numpy(classWeights).float()
focal_frequency = F.nll_loss(F.softmax(input, dim=1), target, reduction='none')
'''
上面一篇博文讲过
F.nll_loss(torch.log(F.softmax(inputs, dim=1),target)的函数功能与F.cross_entropy相同
可见F.nll_loss中实现了对于target的one-hot encoding编码功能,将其编码成与input shape相同的tensor
然后与前面那一项(即F.nll_loss输入的第一项)进行 element-wise production
相当于取出了 log(p_gt)即当前样本点被分类为正确类别的概率
现在去掉取log的操作,相当于 focal_frequency shape [num_samples]
即取出ground truth类别的概率数值,并取了负号
'''
focal_frequency += 1.0#shape [num_samples] 1-P(gt_classes)
focal_frequency = torch.pow(focal_frequency, 2) # torch.Size([75])
focal_frequency = focal_frequency.repeat(c, 1)
'''
进行repeat操作后,focal_frequency shape [num_classes,num_samples]
'''
focal_frequency = focal_frequency.transpose(1, 0)
loss = F.nll_loss(focal_frequency * (torch.log(F.softmax(input, dim=1))), target, weight=None,
reduction='elementwise_mean')
return loss
def focal_loss_zhihu(input, target):
'''
:param input: 使用知乎上面大神给出的方案 https://zhuanlan.zhihu.com/p/28527749
:param target:
:return:
'''
n, c, h, w = input.size()
target = target.long()
inputs = input.transpose(1, 2).transpose(2, 3).contiguous().view(-1, c)
target = target.contiguous().view(-1)
N = inputs.size(0)
C = inputs.size(1)
number_0 = torch.sum(target == 0).item()
number_1 = torch.sum(target == 1).item()
number_2 = torch.sum(target == 2).item()
number_3 = torch.sum(target == 3).item()
number_4 = torch.sum(target == 4).item()
number_5 = torch.sum(target == 5).item()
frequency = torch.tensor((number_0, number_1, number_2, number_3, number_4, number_5), dtype=torch.float32)
frequency = frequency.numpy()
classWeights = compute_class_weights(frequency)
weights = torch.from_numpy(classWeights).float()
weights=weights[target.view(-1)]#这行代码非常重要
gamma = 2
P = F.softmax(inputs, dim=1)#shape [num_samples,num_classes]
class_mask = inputs.data.new(N, C).fill_(0)
class_mask = Variable(class_mask)
ids = target.view(-1, 1)
class_mask.scatter_(1, ids.data, 1.)#shape [num_samples,num_classes] one-hot encoding
probs = (P * class_mask).sum(1).view(-1, 1)#shape [num_samples,]
log_p = probs.log()
print('in calculating batch_loss',weights.shape,probs.shape,log_p.shape)
# batch_loss = -weights * (torch.pow((1 - probs), gamma)) * log_p
batch_loss = -(torch.pow((1 - probs), gamma)) * log_p
print(batch_loss.shape)
loss = batch_loss.mean()
return loss
if __name__=='__main__':
pred=torch.rand((2,6,5,5))
y=torch.from_numpy(np.random.randint(0,6,(2,5,5)))
loss1=focal_loss_my(pred,y)
loss2=focal_loss_zhihu(pred,y)
print('loss1',loss1)
print('loss2', loss2)
'''
in calculating batch_loss torch.Size([50]) torch.Size([50, 1]) torch.Size([50, 1])
torch.Size([50, 1])
loss1 tensor(1.3166)
loss2 tensor(1.3166)
'''
来源:https://blog.csdn.net/WYXHAHAHA123/article/details/88343945
0
投稿
猜你喜欢
- 工作时常遇到需要在其它地方拷贝样式,比如Firebug之类的,但是复制出来的样式是带有换行和空格的,对于我这种有点洁癖的人来说,经常会一个个
- 导言:在前面的教程里我们探讨了如何为GridView控件添加radio buttons列。当用户最多只能选择一项数据时,我们可以在用户界面里
- 1,CSS,JS,IMG一个都不能少运行代码框<style type="text/css">&l
- 权限级别划分如下:①、院长和财务科长:不能输入,可以无限制查询、统计;②、副院长:不能输入,可以查询、统计其分管部门的帐务;③、部门领导:不
- 我们怎样才能了解用户需求呢?大家都知道可用性测试、调查问卷之类与用户进行沟通的途径,这些方法各有各的利弊,如果逐一分析的话,恐怕至少要分成三
- 1.已知有一个XML文件(bookstore.xml)如下: <?xml version="1.0" e
- 需要的软件phpStudy 用来导入一个数据库api-server 数据库功能可以开启一个服务器,让开发环境可以使用生产环境的网址请求安装
- PDO::beginTransactionPDO::beginTransaction 启动一个事务(PHP 5 >= 5.1.0, P
- Css3引入了新的盒模型——弹性盒模型,该模型决定一个盒子在其他盒子中的分布方式以及如何处理可用的空间。这与XUL(火狐使用的用户交互语言)
- 假设你的变量叫做 MyArray,我们可作如下处理:Dim strDim strDelimiterstrDelimite
- 精妙的"SQL"语句:◆复制表(只复制结构,源表名:a 新表名:b)SQL: select * into b from
- 熟悉css的开发者一定知道图像替换技术,也深知它的意义,Dave Shea 曾在他的一篇文章对此做了详细的总结,参看 Dave Shea’s
- CSS Type set是一款在线字体调整工具。你可以使用它来对字型进行排版调整并实时的看到CSS代码。在下图中,其中,你可以设置文本的字体
- 与部门同事做了个小小的交流,话题杂而浅,在此做一个小纪录。1、什么是设计工业设计、环境设计、建筑设计、平面设计、网页设计、服装设计、信息设计
- 在我们建立一个数据库时,并且想将分散在各处的不同类型的数据库分类汇总在这个新建的数据库中时,尤其是在进行数据检验、净化和转换时,将会面临很大
- 网页开发人员常常希望能够了解并掌握多种语言,结果是,学习一门语言的所有内容是棘手的,但是却很容易发现你并没有完全利用那些比较特殊却很有用的标
- 本文给出了MySQL数据库中定义外键的必要性、具体的定义步骤和相关的一些基本操作,供大家参考!定义数据表假如某个电脑生产商,它的数据库中保存
- 我们的每期话题,团队在内部都会通过邮件进行一番讨论,随着讨论的激烈,往往能碰撞出很多有意义的观点,因此,将讨论内容分享出来,有兴趣的朋友可以
- 原来图片自适应宽度一般都是通过Javascript来解决的,但是多少还是比较麻烦。还有一种通过设置外层容器overflow:hidden属性
- [root@vm1 ~]# rpm -ivh groundwork-foundation-pro-1.6.1-67.noarch.rpm P