Linux|MemoryError:Unabletoallocate2.10GiBforanarray内存溢出问题解决

在机器学习训练中&＃xff0c;因载入的矩阵过于庞大&＃xff0c;在本机训练是总会报 MemoryError的错&＃xff0c;又因本人需要将10G多的内容同时载入一同训练&＃xff0c;无法使用其他博客&＃xff08;推荐下面链接处所给博客&＃xff09;所用到的方法&＃xff0c;只能从硬件的层面进行扩展。

https://blog.csdn.net/qq_41780295/article/details/89677453

第一步&＃xff1a;查看内存大小

[root&＃64;xiaoni-training 代码]#free -m


第二步&＃xff1a;创建要作为swap分区的文件:增加20GB大小的交换分区&＃xff0c;则命令写法如下&＃xff0c;其中的count等于想要的块的数量&＃xff08;bs*count&＃61;交换区大小&＃xff09; 大概需要2min的样子

[root&＃64;xiaoni-training 代码]# dd if&＃61;/dev/zero of&＃61;/tmp/big_swap bs&＃61;1M count&＃61;20480


第三步 查看目录空间大小

[root&＃64;xiaoni-training 代码]# du -sh /tmp/big_swap


第四步 格式化为交换分区文件

[root&＃64;xiaoni-training 代码]# mkswap /tmp/big_swap


第五步 启用交换区文件

[root&＃64;xiaoni-training 代码]# swapon /tmp/big_swap #启用swap文件


第六步 启用交换区文件

[root&＃64;xiaoni-training 代码]#free -m


开始训练&＃xff1a;不断记录虚拟内存和物理内存使用数量