Python numpy大矩阵运算内存不足如何解决
作者：Gelthin 发布时间：2022-08-06 22:38:21
标签：Python,numpy,矩阵,运算,内存
程序运行，产生如下结果，然后进程终止，导致这一结果的原因很有可能是内存 * 。
当两个较大的 (e.g., 10000*10000 维）ndarray 做运算(加法，or 乘法）时，很容易出现这样的结果.
解决办法：
大多数情况下，这种大矩阵都是稀疏的。尽可能地利用稀疏计算的方式，例如稀疏矩阵，或者只计算非 0 位置的值。
如果都是整数运算，可以设置 dtype=int，而非 dtype=float, 可以省下不少空间。
linux 系统下，使用 top 命令，可以很容易地看到内存（％MEM) 的使用情况。
# 代码段 1， true_similarity_matrix 是 int, similarity_matrix 是 float
tmp_matrix = similarity_matrix * true_similarity_matrix # 内存会炸掉，两个 10000*10000 维 float array
num_correct_edge = sum(sum(tmp_matrix))
# 代码段 2
for i in range():
for j in range():
set_true_ij.append(i,j)
num_correct_edge = 0
for i, j in set_true_ij:
num_correct_edge += similarity_matrix[i,j]
来源：https://www.cnblogs.com/Gelthin2017/p/13943810.html
0
投稿猜你喜欢
- Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。Python 的设计具有很强的可读性，相比其他语言经常使用英文
- 本文实例讲述了python中栈的原理及实现方法。分享给大家供大家参考，具体如下：栈（stack），有些地方称为堆栈，是一种容器，可存入数据元
- 阅读上一章：[翻译]标记语言和样式手册 Chapter 15 为body指定样式Chapter 16 下一步现在你知道了如何使用标准改进你的
- 每个 ndarray 都有一个关联的数据类型 (dtype) 对象。这个数据类型对象（dtype）告诉我们数组的布局。这意味着它为我们提供了
前言我们知道在这个互联网时代，评论已经在我们的生活到处可见，评论区里面的信息是一个非常有趣和有争议的地方。我们今天，就来获取某技术平台的评论- pt-kill 是一个优秀的kill MySQL连接的一个工具，是percona toolkit的一部分，在因为空闲连接较多导致超过最大连接
- 线性回归是基本的统计和机器学习技术之一。经济，计算机科学，社会科学等等学科中，无论是统计分析，或者是机器学习，还是科学计算，都有很大的机会需
- 引言接上文 parseHTML 函数源码解析 start钩子函数接下来我们主要讲解当解析器遇到一个文本节点时会如何为
- 1）视频读取import cv2cap = cv2.VideoCapture('E:\\Video\\20000105_224116
- 目录Counter类创建计数值的访问与缺失的键计数器的更新键的删除elements()most_common([n])fromkeys浅拷贝
- 1. 简介kmean 是无监督学习的一种算法，主要是用来进行聚类分析的，他会在数据集中算出几个点作为簇中心，求这些数据集与这些簇中心的距离，
- 排序排序是计算机内经常进行的一种操作，其目的是将一组”无序”的记录序列调整为”有序”的记录序列。分内部排序和外部排序。若整个排序过程不需要访
- 最近发现各大类库都能利用div.innerHTML=HTML片断来生成节点元素，再把它们插入到目标元素的各个位置上。这东西实际上就是inse
- 1.批量处理所谓的批处理就是批量处理cmd里面的命令。python要想实现批处理功能需要导入os库，然后利用批处理的命令为os.system
- 一、手指触屏，利用touchstart和touchend计算前后滑动距离，判断是上拉还是下滑。二、js中距离：pageY、clientY、o
- 实验名称：网络聊天室功能：i. 掌握利用Socket进行编程的技术ii. 掌握多线程技术，保证双方可以同时发送iii. 建立聊天工具iv.
- 环境配置新建python虚拟环境并激活conda create -n pyqt python=3.8conda activate py36安
- 如果你已经有使用JavaScript的经验，你可能已经知道这两个看似相同的方法：Array.prototype.map()和Array.pr
- 这篇文章主要介绍了python连接字符串过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以
- 1、监听视频滑动给 swiper 增加 @change="change"，这个时间在我们完成一次滑动后执行，在 meth
