✋🏻手把手搭建深度学习环境
预告：三种套餐组合方式
第一种
- Nvidia GPU 驱动（v375）——允许系统获得 GPU 带来的加速。
- CUDA（v8.0）——GPU C 语言库。「计算同一设备架构」。
- cuDNN（v6.0.21）——基于 CUDA 的深度学习基元库。「CUDA 深度学习库」。
- TensorFlow（v1.3）——谷歌开发的深度学习框架，保证TensorFlow<=1.4
第二种
- Nvidia GPU 驱动（v384）——允许系统获得 GPU 带来的加速。
- CUDA（v9.0）——GPU C 语言库。「计算同一设备架构」。
- cuDNN（v7.4.2）——基于 CUDA 的深度学习基元库。「CUDA 深度学习库」。
- TensorFlow（v1.12.0）——谷歌开发的深度学习框架，保证TensorFlow>=1.5
第三种
- Nvidia GPU 驱动（v418）——允许系统获得 GPU 带来的加速。
- CUDA（v10.1）——GPU C 语言库。「计算同一设备架构」。
- cuDNN（v7.6.4）——基于 CUDA 的深度学习基元库。「CUDA 深度学习库」。
- TensorFlow（v1.14.0）——谷歌开发的深度学习框架
安装准备
前提机器上面有支持CUDA的Nvidia GPU，查看支持CUDA的GPU列表:
https://developer.nvidia.com/cuda-gpus
1 | |
我这边服务器使用 NVIDIA显卡的版本信息:
1 | |
验证系统是否是受支持的Linux版本
1 | |
到这里查看受支持的Linux版本：http://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html#system-requirements
验证系统是否有GCC编译环境
1 | |
没有的话需要先安装GCC，Centos7的最小化安装一般勾选上开发软件都会自动安装GCC
验证系统是否安装了正确的内核头文件和开发包
1 | |
开始安装
禁用nouveau
nouveau是一个第三方开源的Nvidia驱动，一般Linux安装的时候默认会安装这个驱动。 这个驱动会与Nvidia官方的驱动冲突，在安装Nvidia驱动和和CUDA之前应先禁用nouveau
查看系统是否正在使用nouveau
1 | |
如果有显示内容，则进行以下的步骤： Centos7禁用方法
1 | |
安装驱动
GPU 服务器正常工作需安装正确的基础设施软件，对 NVIDIA 系列 GPU 而言，有两个层次的软件包需要安装：
- 驱动 GPU 工作的硬件驱动程序。
- 上层应用程序所需要的库。
若把 NVIDIA GPU 用作通用计算，需要安装 Tesla Driver + CUDA：
rpm 包安装
- 打开 NVIDIA 驱动下载链接 http://www.nvidia.com/Download/Find.aspx 。
- 选择支持 RPM 包的操作系统，并获取该 RPM 包的下载链接。例如：选择 Linux 64-bit CUDA Toolkit: 10.1， 得到下载链接：https://www.nvidia.cn/Download/driverResults.aspx/152484/cn，按照提示下载并安装驱动。
- 使用
rpm命令安装 rpm 包。1
rpm -i nvidia-driver-local-repo-rhel7-418.87.01-1.0-1.x86_64.rpm
- 使用
yum命令清除缓存。1
yum clean all
- 使用yum命令安装驱动。
1
yum install cuda-drivers
- 重启机器
1
reboot
- 运行
nvidia-smi能输出正确信息代表驱动安装成功。
CUDA 安装
CUDA (Compute Unified Device Architecture) 是显卡厂商 NVIDIA 推出的运算平台。 CUDA™ 是一种由 NVIDIA 推出的通用并行计算架构，该架构使 GPU 能够解决复杂的计算问题。 它包含了 CUDA 指令集架构（ISA）以及 GPU 内部的并行计算引擎。 开发人员现在可以使用 C 语言, C++ , FORTRAN 来为 CUDA™ 架构编写程序，所编写出的程序可以在支持 CUDA™ 的处理器上以超高性能运行。
最快捷的安装方法：conda install cudatoolkit=10.0
采用 NVIDIA 显卡的GPU 云服务器，需要安装 CUDA 开发运行环境：
- 先查看官方给的CUDA和显卡驱动Driver的匹配兼容性，进行CUDA Toolkit的版本选择 （9.0~10.1 应该均可）
- 选择操作系统和安装包。以 CentOS 7 64 位的CUDA驱动下载为例，下载 Base 以及 Patch 补丁
- 在 CUDA 安装包所在目录下运行如下命令（run_file）
下载10.0版本的CUDA1
2
3wget -c https://developer.nvidia.com/compute/cuda/10.0/Prod/local_installers/cuda_10.0.130_410.48_linux
wget https://developer.download.nvidia.com/compute/cuda/10.2/Prod/local_installers/cuda_10.2.89_440.33.01_linux.run
sudo sh cuda_10.2.89_440.33.01_linux.run
下载10.1版本的CUDA
安装
- 安装具体细节：之前已经安装过显卡驱动程序，因此在提问是否安装显卡驱动时选择no，其他默认(NVIDIA Accelerated Graphics Driver)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36（是否同意条款，必须同意才能继续安装）
accept/decline/quit: accept
（这里不要安装驱动，因为已经安装最新的驱动了，否则可能会安装旧版本的显卡驱动，导致重复登录的情况）
Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 410.48?
(y)es/(n)o/(q)uit: n
Install the CUDA 10.0 Toolkit?（是否安装CUDA 10 ，这里必须要安装）
(y)es/(n)o/(q)uit: y
Enter Toolkit Location（安装路径，使用默认，直接回车就行）
[ default is /usr/local/cuda-10.0 ]:
Do you want to install a symbolic link at /usr/local/cuda?（同意创建软链接）
(y)es/(n)o/(q)uit: y
Install the CUDA 10.0 Samples?（不用安装测试，本身就有了）
(y)es/(n)o/(q)uit: n
Installing the CUDA Toolkit in /usr/local/cuda-10.0 ...（开始安装）
===========
= Summary =
===========
Driver: Not Selected
Toolkit: Installed in /usr/local/cuda-10.1/
Samples: Installed in /home/lhadmin/, but missing recommended libraries
Please make sure that
- PATH includes /usr/local/cuda-10.1/bin
- LD_LIBRARY_PATH includes /usr/local/cuda-10.1/lib64, or, add /usr/local/cuda-10.1/lib64 to /etc/ld.so.conf and run ldconfig as root
To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-10.1/bin
Please see CUDA_Installation_Guide_Linux.pdf in /usr/local/cuda-10.1/doc/pdf for detailed information on setting up CUDA.
- 添加CUDA环境变量
在 ~/.bashrc 里再设置一下cuda的环境变量：1
2
3
4
5vi ~/.bashrc
export PATH=/usr/local/cuda-10.1/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-10.1/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export CUDA_HOME=/usr/local/cuda-10.1
source ~/.bashrc
在 /etc/profile 里也设置一下cuda的安装路径及相应的库文件：(这个似乎可以不改)
配置LD路径(这个似乎也可以不改)：
- 查看cuda版本：
1
2nvcc -V
cat /usr/local/cuda/version.txt
_卸载CUDA_
To uninstall the CUDA Toolkit, run cuda-uninstaller in /usr/local/cuda-10.1/bin
1 | |
CuDNN 安装
- 最快捷的方法（有一定概率安装成功仍找不到cudnn，以及和你安装的cuda版本不对应的情况…）
1 | |
- 传统安装方法
- 在cuDNN Archive中，选择合适的CuDNN版本；
- Download cuDNN Library cudnn-10.1-linux-x64-v7.6.3.30.tgz
PS：cuDNN需要注册NVIDIA的会员(免费)才能下载，无法在远程机器上用curl或者wget下载!! 用户名：qq邮箱 密码：zX1994???721
问题：要经过登录授权的，就算你在网页上登录了得到下载链接，直接在命令行中:wget 下载链接，也是会报403禁止错误。
解决方案：linux下载高版本cudnn可以用下面的网址绕过授权检查：1
sudo wget http://developer.download.nvidia.com/compute/redist/cudnn/v7.6.5/cudnn-10.0-linux-x64-v7.6.5.32.tgz
可以根据你想要的cudnn版本号对其中的cuda版本（如10.0）和cudnn版本（v7.6.5）进行修改，然后就可以下载cudnn了。
- 下载完毕后解压
1
2cd ~/Downloads/
tar -zxvf cudnn-*.tgz
- 然后将cuDNN中的bin、include、lib文件覆盖cuda安装目录下即可
1
2
3
4
5cd /software/
sudo cp cuda/include/cudnn.h /usr/local/cuda/include/
sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/
sudo chmod a+r /usr/local/cuda/include/cudnn.h
sudo chmod a+r /usr/local/cuda/lib64/libcudnn*
- 验证
1
2
3
4
5
6cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2
#or
git clone https://github.com/wilhelmguo/cudnn_samples_v7.git
cd cudnn_samples_v7/mnistCUDNN
make
./mnistCUDNN
- 可能遇到
ibcudnn.so.5 is not a symbolic link错误1
ls -lha /usr/local/cuda/lib64/libcudnn*
If libcudnn.so and libcudnn.so.5 are not symlinks then this is the reason why you got this error.
If so, this is what you need to do:
PS: 最好参照本文最后一节 错误解决 进行软链接
配置Pip国内镜像
- 临时使用：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu
永久修改，一劳永逸：
Linux下，修改 ~/.pip/pip.conf (没有就创建一个文件夹及文件。文件夹要加“.”，表示是隐藏文件夹)
内容如下：阿里源（非常快）
1
2
3
4
5[global]
index-url = https://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com清华源（贼鸡儿的快）
1
2
3
4
5[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host = https://pypi.tuna.tsinghua.edu.cn
PS: windows下，直接在user目录中创建一个pip目录，如：C:\Users\xx\pip，新建文件pip.ini。内容同上。
安装 Anaconda3
1 | |
1 | |
安装成功之后，配置环境变量
1 | |
在文件最后加入如下语句（路径需要根据自己的安装位置更改）
1 | |
按住shift键+:键，输入wq，保存文件并退出；最后使用如下命令刷新环境变量即可：
1 | |
检查是否成功
1 | |
anaconda安装完成后需要更换为清华源以提高相关包的下载速度，在终端依次执行这些命令：
1 | |
Conda 虚拟环境
创建
1 | |
_安装好后，使用activate激活某个环境_
1 | |
退出虚拟环境
1 | |
查看所有已安装虚拟环境
1 | |
复制别人的虚拟环境
1 | |
_删除一个已有的环境_
1 | |
Poetry 虚拟环境(推荐使用)
Poetry 是后期之秀，支持多种虚拟环境管理，提供依赖关系校验，和依赖的 poetry.lock 文件，也有自动管理依赖的操作。同时可以用于 Python 工程打包和发布。
它允许您声明您的项目所依赖的库，它将为您管理（安装/更新）它们。Poetry 提供了一个锁定文件以确保可重复安装，并可以构建您的项目以供分发。 poetry 通过配置文件 pyproject.toml 来完成依赖管理、环境配置、基本信息配置等功能，相当于把 Python 项目中的 Pipfile、setup.py、setup.cfg、requirements.txt、MANIFEST.in 融合到一起。
安装：1
2pip install poetry
poetry --version
使用：1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33# 初始化项目，创建当前项目的虚拟环境，生成 `pyproject.toml` 文件
poetry init
# 进入当前项目的虚拟环境
poetry shell
# 安装依赖
poetry add tox requests
# 更新指定的依赖
poetry update requests==1.2.1
# 卸载依赖库
poetry remove scrapy
# 部署&安装pyproject.toml文件中的全部依赖
poetry install
# 查看所有依赖
poetry show
# 仅所有开发依赖
poetry show --only dev
# 生成 requirements.txt
poetry export -f requirements.txt --output --without-hashes
# 查找当前项目的虚拟环境
poetry enb list --full-path
# 删除虚拟环境路径，指定对应的解析器版本即可
poetry env remove <python3>
# 构建项目（略）
poetry build
# 发布项目（略）
poetry publish
安装TensorFlow
- 先查看tensorflow CUDA cudnn 版本对应关系 ↓
1
pip install tensorflow-gpu==1.14.0
- 验证是否安装成功 (确定自己的TensorFlow是CPU还是GPU的版本)
1
2
3
4
5import tensorflow as tf
tf.test.gpu_device_name()
tf.test.is_gpu_available()
#下方有大段显示GPU信息表示安装成功
安装 Keras
1 | |
错误解决
1. so文件找不到的错误
1 | |
主要错误信息为Could not dlopen library 'libcublas.so.10.0'。造成这样的原因是链接文件不对造成的。这种问题很好解决，下面我罗列一些常发生这样错误的so文件解决办法，首先大家要确定报错的so文件名称是什么，例如上面报错的是libcublas.so.10.0这个文件，那么就找到对应的libcublas库文件，然后在/usr/local/cuda-10.1/lib64/目录下创建一个libbcublas.so.10.0链接文件即可。
出现该错误消息，表示会使用CPU，它可以识别GPU，但找不到与cuda相关的库文件。（CUDA 10.1或10.0文件内容似乎没有太大不同……参考）
解决方法
- 要么将cuda降为10.0;
- 要么则执行软链接命令
根据配置文件 LD_LIBRARY_PATH=lib_.so.10.1_
将相应的库文件软链接到/usr/local/cuda-10.0/lib64/，使得可以找到*.so.10.0
在路径中找到对应的文件，为找不到的lib*.so.10.0创建符号链接
创建一个CUDA 10.0文件夹（可省略此步）
1 | |
针对性软链接
1 | |
再次修改环境配置
1 | |
PS: 以上 cuda-10.0 应该都可以换成 cuda-10.1
若出现 Error: failed to create symbolic link，可采取强制覆盖方法
1 | |
2. cuda driver的驱动器跟cuda不匹配
Failed to initialize NVML: Driver/library version mismatch
1 | |
sudo rmmod nvidia1
2
当然这里一般会报个Module nvidia is in use by的错误。不碍事，我们先查看下kernel mod 的依赖情况：
ls mod | grep nvidia1
2
根据根据结果逐一rmmod即可。
sudo rmmod nvidia_uvm
sudo rmmod nvidia_modeset1
2
最后再rmmod nvidia即可达到驱动器更新效果。
sudo rmmod nvidia
nvidia-smi1
2
3
4```
### 3.多个 cuda 版本之间进行切换
在切换cuda版本时
rm -rf /usr/local/cuda#删除之前创建的软链接
sudo ln -s /usr/local/cuda-8.0/ /usr/local/cuda/
nvcc —version #查看当前 cuda 版本
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2016 NVIDIA Corporation
Built on Mon_Jan_23_12:24:11_CST_2017
Cuda compilation tools, release 8.0, V8.0.62
cuda8.0 切换到 cuda9.0
rm -rf /usr/local/cuda
sudo ln -s /usr/local/cuda-9.0/ /usr/local/cuda/
nvcc —version1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
### 4. tensorflow-gpu运行出错: Could not create cudnn handle
错误信息如下：
> Successfully opened dynamic library libcublas.so.10.0
>
> failed to create **cublas** handle: **CUBLAS**_STATUS_NOT_INITIALIZED
>
> Successfully opened dynamic library libcudnn.so.7
>
> Could not create **cudnn** handle: **CUDNN**_STATUS_NOT_INITIALIZED
>
> Possibly insufficient driver version: 418.87.0
[解决：](https://github.com/pcpLiu/DeepSeqPan/issues/2)
In the end, the problem was that it did not use the system’s Cudnn version but an incompatible version which came with the creation of the Anaconda environment. By overwriting this with the system’s version manually, I could solve the problem.1
2
3
4
5
6
7
8
9
10
11
12
13
无效解决方案1：也即cudnn的版本错误（按照conda list显示的cuda版本[必须低于](https://webcache.googleusercontent.com/search?q=cache:8vC2brZLV20J:https://www.machunjie.com/message-board+&cd=19&hl=zh-CN&ct=clnk&gl=us)nvcc -V查看的系统版本），导致[对应cublas64_10.dll出错](https://www.geek-share.com/detail/2806021724.html)，重新将手动安装的cudnn文件覆盖就行？
无效解决方案2：pytorch构建数据集时调用了gpu导致tensorflow不能占用gpu了？
无效解决方案3：`sudo rm -f ~/.nv`
**有效解决方案：**重新建一个虚拟环境，重新安装依赖包，记得在 ~/.bashrc 里再设置一下对应版本cuda的环境变量，问题解决👍🏻
## 免费的GPU资源
colab地址：
https://colab.research.google.com/notebooks/1
2
3
kaggle地址：
https://www.kaggle.com/1
2
3
nvidia官方文档地址：
https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
```
参考
- Centos 7 安装 Nvidia GPU 驱动及 CUDA
- 找不到libcublas.so.10.0文件
tensorflow版本与CUDA的版本不对应- 软链接有误，重新进行链接 （Could not dlopen library ‘libcurand.so.10.0’…LD_LIBRARY_PATH…）
- cuda程序执行出错: libcudart.so.10.0: cannot open shared object file: No such file or directory
- 用wget下载需要用户名和密码认证的网站或者ftp服务器文件
- Ubuntu安装和卸载CUDA和CUDNN
- Installing CUDA TK 8 and Tensorflow on a Clean Ubuntu 16.04 Install
- 深度学习环境配置有哪些坑？