GPUの最近のブログ記事

TensorFlow 2.16.2 C++ library build for GPU.

TensorFlow 2.16.2 C++ library build の GPU対応版です。

1. 開発環境
PC: Ubuntu Mate 22.04
Virtual_env
python 3.10.12
bazel 6.4.0
clang-14(llvm-14) <--- NG
clang-17(llvm-17) <--- needed

GPU: GeForce GTX1070 Compute Capability 6.1
GPU 本体のドライバー
  nvidia-driver-525
GPUプログラム開発用のライブラリー群
 CUDA Toolkit 12.3
 cuDNN v8.9.6
Nvidia 提供のライブラリー
 TensorRT 8.6.1.6


1.1 ドライバーのインストールから、簡単におさらいする。
i) GPU 本体のドライバーをインストールする。
$ sudo apt install nvidia-driver-525

ii) GPUソフトウエア 開発用に、CUDA 12.3 を使うので、
CUDA Toolkit 12.3 を、Nvidia のサイトからダウンロード&インストールする。
google で、 CUDA Toolkit 12.3 を検索すると出てくると思う。

cuda-12-3-0-download-archive
Linux -> x86_64 -> Ubuntu -> 22.04 -> deb(network)
> Base Installer の欄を実行する。

/usr/local/cuda-12.3/ へ、インストールされる。
  include/cuda.h
  bin/nvcc <-- nvcc もある。

iii) cuDNN v8.9.6 for CUDA 12.x をダウンロード&インストールする。
注) $ sudo apt list 2>/dev/null | grep cudnn で、出てくれば、そちらがかんたん。
やり方は、上記と同じ。
cudnn-archive
-> Local Installer for Ubuntu22.04 x86_64 (Deb)

libcudnn8, libcudnn8-dev
インストール先は、/usr になる。
$ sudo dpkg -L libcudnn8-dev
/usr/include/cudnn.h
/usr/include/cudnn_version.h

iv) TensorRT 8.6.1.6 のインストール。
本当は、使いたくないが、configure で、指定しないと、うまくいかないので、使う。
注) $ sudo apt list 2>/dev/null | grep tensorrt で、出てくれば、そちらがかんたん。

TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-12.0.tar.gz を、google で探して、
~/usr/local/share/ 下で展開しました。
/home/nishi/usr/local/share/TensorRT-8.6.1.6

注) ubuntu 24.04 の場合 の ii) - iv)
tensorflow 2.18.0 になるみたい。
NVIDIA Driver, CUDA, cuDNNのインストールをAPTでサクッと済ませる - Ubuntu Linux が参考になる。

ii) CUDA Toolkit 12.6 以降になる?　12.8 みたい。
CUDA Toolkit 12.8 Downloads
Linux -> x86_64 -> Ubuntu -> 24.04 -> deb(Network)
Base Installer を行う。

$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
注) 12.6 、 12.8 の場合も同じ。

$ sudo dpkg -i cuda-keyring_1.1-1_all.deb
$ sudo apt-get update
$ sudo apt-get -y install cuda-toolkit-12-8

iii) cudnn9.x.x になるのか?
$ sudo apt install cudnn9-cuda-12

iv) Tensor RT
$ sudo apt install tensorrt-dev
tensorrt-libs も必要か?

実際の中身は、一緒にインストールされる、付随パッケージの中にあるみたい。
libnvinfer-dev libnvinfer-dispatch-dev libnvinfer-dispatch10 libnvinfer-headers-dev libnvinfer-headers-plugin-dev libnvinfer-lean-dev libnvinfer-lean10 libnvinfer-plugin-dev libnvinfer-plugin10 libnvinfer-vc-plugin-dev libnvinfer-vc-plugin10 libnvinfer10 libnvonnxparsers-dev libnvonnxparsers10

$ sudo dpkg -L libnvinfer-headers-dev
/usr/include/x86_64-linux-gnu 下へ、header が入るみたい。

driver-525 への固定。
$ sudo apt-mark hold nvidia-driver-525
も必要か?


v) clang-17(llvm17) のインストール。(必須)
下記を参考にインストールする。
How to install Clang 17 or 16 in Ubuntu 22.04 | 20.04

$ wget https://apt.llvm.org/llvm.sh
$ chmod u+x llvm.sh
$ sudo ./llvm.sh 17

$ sudo apt list --installed >/dev/null | grep clang
$ dpkg -L clang-17

remove
$ sudo apt remove --purge clang-17
$ sudo apt autoremove --purge

もしかしたら、下記も必要かも?
$ sudo dpkg-reconfigure clang-14

下記は、参考にしたページの記載です。
$ sudo rm /etc/apt/sources.list.d/archive_uri-http_apt_llvm_org_*.list
sudo rm /etc/apt/trusted.gpg.d/apt.llvm.org.asc

Ubuntu 22.04 Tensorflow GPU Install.

Tensoflow 2.16 から、Keras 3.0 が標準になると言う記事をみたので、試してみた。

PC環境:
Ubuntu Mate 22.04
GPU: GeForce GTX 1070
Python 3.10
virtualenv

Pip インストールが、簡単なので、それを試す。
pip を使用して TensorFlow をインストールする

2.GPUのセットアップ
NVIDIA GPU ドライバー をインストール。

GeForce GTX 1070 - > 550.78
が指定されるが、
おんちゃんは、525(cuda) を入れてみた。
$ sudo apt install nvidia-driver-525
注) 当初、530 を試したが、Keras3 のサンプルで実行できなかったので、525 にしました。

3. TensorFlow をインストールする
シンプルに、下記でOK。
$ activate ~/kivy_env/bin/activate
(kivy_env) $ python -m pip install tensorflow[and-cuda]==2.16.1

tensorflow 2.16.1
が、指定できたみたい。
注) 最終的に、ステム上にやはり、CUDA Toolkit(CUDA) と、cuDNN を別途インストールする事になるので、
(kivy_env) $ python -m pip install tensorflow
で良いかも。