服务器跑代码总结

最近刚开始使用服务器跑一些深度学习模型，遇到了一些坑，导致代码运行效率很低，总结了一些应该注意的细节来提高准确率，特此记录。

配环境换源等注意事项

俗话说得好，配环境配一天，跑代码一分钟。

由于一些网络的原因，服务器在配相关代码的环境时，直接使用诸如 conda env create -f environment.yaml，或者 pip install -r requirements.txt时，不能够流畅地运行。因此要考虑换源了：

conda

vi ~/.condarc


修改为：

channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud


pip

PyPI 镜像在每次同步成功后间隔 5 分钟同步一次。

临时使用

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple `some-package`


注意，simple 不能少, 是 https 而不是 http

设为默认

升级 pip 到最新的版本 (>=10.0.0) 后进行配置：

python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple


如果您的 pip 默认源的网络连接较差，临时使用本镜像站来升级 pip：

python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip


当然有时候不能保证这种方法能够解决100%的配环境的问题，有时候可能还要考虑一个个去安装一些难安装的包。

调整GPU

1、首先查看哪些GPU空闲，****nvidia-smi显示当前GPU使用情况。

nvidia-smi


2、然后指定空闲的GPU运行python程序。

CUDA_VISIBLE_DEVICES=3,4,5 python test.py


二、在python程序中指定GPU

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0,2,3"


screen

# 创建一个 Screen
screen -S yourname
....your operation.....
# 恢复退出了的screen
scree -r yourname
# 删除一个 screen
screen -S yourname -X quit


refer

https://mirrors.tuna.tsinghua.edu.cn/