详解使用CUDA+OpenCV加速yolo v4性能

YOLO是You-Only-Look-Once的缩写，它无疑是根据COCO数据集训练的最好的对象检测器之一。YOLOv4是最新的迭代版本，它在准确性和性能之间进行了权衡，使其成为最先进的对象检测器之一。在智能视频分析管道中使用任何对象检测器的典型机制包括使用像Tensorflow或PyTorch这样能够在NVIDIA GPU上操作的库来加速模型推理。

OpenCV用于图像/视频流输入，预处理和后处理的视觉效果。如果我告诉你OpenCV现在能够利用NVIDIA CUDA的优点，使用DNN模块本地运行YOLOv4，那会怎样？本文将带你通过使用CUDA和cuDNN构建OpenCV，以使用DNN模块加速YOLOv4推理。

介绍

我认识的大多数爱好者都有支持GPU的设备。我的目标是让GPU加速成为主流。谁不喜欢项目跑快点呢？我已经使用了OpenCV 4.5.1、CUDA 11.2和cuDNN 8.1.0来开始工作，使推理更容易!

首先，你需要设置CUDA，然后安装cuDNN，最后以构建OpenCV结束。此外，这个博客被分成了几个部分，这样更容易理解!

CUDA 11.2和cuDNN 8.1.0安装

最有可能使你的计算机无法启动的部分。开个玩笑啦！把每件事都做好，这应该是轻而易举的事。

安装CUDA 11.2

首先根据你的平台从CUDA存储库下载deb文件。

CUDA存储库：https://developer.nvidia.com/cuda-downloads

正确选择平台后，将会向你提供安装命令。如果你的平台与我的平台相似，则可以按以下方式安装它：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pinsudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600wget https://developer.download.nvidia.com/compute/cuda/11.2.1/local_installers/cuda-repo-ubuntu2004-11-2-local_11.2.1-460.32.03-1_amd64.debsudo dpkg -i cuda-repo-ubuntu2004-11-2-local_11.2.1-460.32.03-1_amd64.debsudo apt-key add /var/cuda-repo-ubuntu2004-11-2-local/7fa2af80.pubsudo apt updatesudo apt -y install cudasudo reboot

如果操作正确，那么在运行nvidia-smi时应该会有以下输出

最后，将以下内容粘贴到.bashrc或.zshrc中

# CUDA
export CUDA=11.2
export PATH=/usr/local/cuda-$CUDA/bin${PATH:+:${PATH}}
export CUDA_PATH=/usr/local/cuda-$CUDA
export CUDA_HOME=/usr/local/cuda-$CUDA
export LIBRARY_PATH=$CUDA_HOME/lib64:$LIBRARY_PATH
export LD_LIBRARY_PATH=/usr/local/cuda-$CUDA/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda/extras/CUPTI/lib64:$LD_LIBRARY_PATH
export NVCC=/usr/local/cuda-$CUDA/bin/nvcc
export CFLAGS="-I$CUDA_HOME/include $CFLAGS"CUDA

别忘了在后面加上source ~/.bashrc或source ~/.zshrc

安装cuDNN 8.1.0

为此，你需要有一个NVIDIA的账户，所以一定要先注册。完成后，前往以下链接并下载标记的文件。

https://developer.nvidia.com/rdp/cudnn-download

下载deb文件后，运行以下命令-

sudo dpkg -i libcudnn8_8.1.0.77-1+cuda11.2_amd64.deb
sudo dpkg -i libcudnn8-dev_8.1.0.77-1+cuda11.2_amd64.deb

这标志着NVIDIA CUDA和cuDNN安装的完成！

从源代码构建OpenCV 4.5.1

有趣的是，这让我很兴奋！本节将帮助你用CUDA, GStreamer和FFMPEG从源代码构建OpenCV !有一个很长的命令列表要执行，所以开始吧。

首先，安装python开发人员包

sudo apt install python3-dev python3-pip python3-testresources

接下来，让我们安装构建OpenCV所需的依赖项

sudo apt install build-essential cmake pkg-config unzip yasm git checkinstall
sudo apt install libjpeg-dev libpng-dev libtiff-dev
sudo apt install libavcodec-dev libavformat-dev libswscale-dev libavresample-dev
sudo apt install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev
sudo apt install libxvidcore-dev x264 libx264-dev libfaac-dev libmp3lame-dev libtheora-dev
sudo apt install libfaac-dev libmp3lame-dev libvorbis-dev
sudo apt install libopencore-amrnb-dev libopencore-amrwb-dev
sudo apt-get install libgtk-3-dev
sudo apt-get install libtbb-dev
sudo apt-get install libatlas-base-dev gfortran
sudo apt-get install libprotobuf-dev protobuf-compiler
sudo apt-get install libgoogle-glog-dev libgflags-dev
sudo apt-get install libgphoto2-dev libeigen3-dev libhdf5-dev doxygen

Numpy是此构建的一个关键python包。使用pip安装它

pip3 install numpy

现在，你应该为构建做好了一切准备。运行以下命令下载并解压源代码

mkdir opencvbuild && cd opencvbuild
wget -O opencv.zip https://github.com/opencv/opencv/archive/4.5.1.zip
wget -O opencv_contrib.zip https://github.com/opencv/opencv_contrib/archive/4.5.1.zip
unzip opencv.zip
unzip opencv_contrib.zip
mv opencv-4.5.1 opencv
mv opencv_contrib-4.5.1 opencv_contrib

让我们准备构建吧!

cd opencv
mkdir build && cd build

确保CUDA_ARCH_BIN根据你的GPU改变。

cmake \
-D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_C_COMPILER=/usr/bin/gcc-7 \
-D CMAKE_INSTALL_PREFIX=/usr/local -D INSTALL_PYTHON_EXAMPLES=ON \
-D INSTALL_C_EXAMPLES=ON -D WITH_TBB=ON -D WITH_CUDA=ON -D WITH_CUDNN=ON \
-D OPENCV_DNN_CUDA=ON -D CUDA_ARCH_BIN=7.5 -D BUILD_opencv_cudacodec=OFF \
-D ENABLE_FAST_MATH=1 -D CUDA_FAST_MATH=1 -D WITH_CUBLAS=1 \
-D WITH_V4L=ON -D WITH_QT=OFF -D WITH_OPENGL=ON -D WITH_GSTREAMER=ON \
-D WITH_FFMPEG=ON -D OPENCV_GENERATE_PKGCONFIG=ON \
-D OPENCV_PC_FILE_NAME=opencv4.pc -D OPENCV_ENABLE_NONFREE=ON \
-D OPENCV_EXTRA_MODULES_PATH=../../opencv_contrib/modules \
-D PYTHON_DEFAULT_EXECUTABLE=$(which python3) -D BUILD_EXAMPLES=ON ..

你应该会看到类似这样的成功构建

确保CUDA被检测到并且构建路径是准确的。如果一切正常，继续并执行以下命令来启动构建

make -j$(nproc)
sudo make install

要检查是否成功构建了OpenCV，运行这个命令

pkg-config --libs --cflags opencv4

在成功安装时，它应该会给你一个类似这样的输出

很高兴看到你能走到这一步！现在你应该已经完成了运行示例应用程序的所有设置。

运行应用程序

继续并克隆这个存储库并获取权重。从安装git-lfs开始

sudo apt install git git-lfs

使用模型文件克隆存储库

# Using HTTPS
git clone https://github.com/aj-ames/YOLOv4-OpenCV-CUDA-DNN.git
# Using SSH
git clone git@github.com:aj-ames/YOLOv4-OpenCV-CUDA-DNN.git
cd YOLOv4-OpenCV-CUDA-DNN/
git lfs install
git lfs pull

你可以在图像，视频摄像头，或RTSP输入运行应用程序。

# Image
python3 dnn_infernece.py --image images/example.jpg --use_gpu
# Video
python3 dnn_inference.py --stream video.mp4 --use_gpu

# RTSP
python3 dnn_inference.py --stream rtsp://192.168.1.1:554/stream --use_gpu

# Webcam
python3 dnn_inference.py --stream webcam --use_gpu

PS：删除--use-gpu标志来禁用GPU。适得其反，不是吗？

极客们的一些基准!

如果收益不是很大，我们就不会这么做。相信我，在GPU上运行使我的FPS增加了10–15倍！

我测试了两种配置

英特尔酷睿i5 7300HQ + NVIDIA GeForce GTX 1050Ti

英特尔至强E5–1650 v4 + NVIDIA Tesla T4

我会让数字来说话的！

|     Device     |     FPS      |    Device      |     FPS      |
| :------------: | :----------: | :------------: | :----------: |
| Core i5 7300HQ |     2.1      |   GTX 1050 Ti  |     20.1     |
| Xeon E5-1650   |     3.5      |   Tesla T4     |     42.3     |

尾注

GPU加速正在渗透到多个库和应用程序中，使用户能够以前所未有的速度运行更重的工作负载！计算机视觉曾经不是一项所有人都能接触到的技术，但随着神经网络的改进和硬件计算能力的提高，这一差距已经显著缩小。随着人工智能发展的速度，我们的硬件也会发展的越来越灵活！

来源：https://blog.csdn.net/woshicver/article/details/114909788