TensorRT 5.1 を Windows10 で試して見ました。
おんちゃんの環境は、
1) Windows10
2) Visual Studio 2017 Community
3) GeForce GTX 1050 Ti
4) CudaToolkit は、 10.1
5) cuDNN は、 7.5.1 じゃ。
ここに書いてあることは、TensorRT5.1 のダウンロード時に、NVIDIA Developer のアンケートに
記入すると、送られてくる Get Started with TensorRT™ のメールに書かれている内容に従って
行っちょります。大変参考になりました。
対応マトリックスが、下記ページにあります。
https://docs.nvidia.com/deeplearning/sdk/tensorrt-support-matrix/index.html
GPUカードに関しては、
4. Hardware And Precision の箇所に、
TensorRT supports all NVIDIA hardware with capability SM 3.0 or higher. と記載があるので、
おんちゃんの、GeForce GTX 1050 Ti でも大丈夫でしょうか?
但し、Windows10 だと、C++ だけみたいぞね。Python は、将来のサポートみたいです。
インストール方法は、下記ページぞね。
https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html
Zip インストールを選ぶので、下記箇所を参考に
4.4. Zip File Installation
TensorRT 5.1 GA For Windows(TensorRT-5.1.5.0.Windows10.x86_64.cuda-10.1.cudnn7.5.zip)
をダウンロードして、適当なフォルダーに展開します。
おんちゃんは、c:\app の下で展開じゃ。
２階層のディレクトリーになるが、TensorRT-5.1.5.0 だけを選んで、
C:\app\TensorRT-5.1.5.0 のディレクトリーにします。
後は、環境変数の PATH へ登録をして、
Visual Studio 2017 で sample_mnist のソルーションファイルを開けば OK じゃ。
C:\app\TensorRT-5.1.5.0\samples\sampleMNIST\sample_mnist.sln
さて、さて、うまくビルドできるかな。
すんなりビルドできたので、試しに実行してみました。
VS2017 用 x64 Native Tools コマンドプロンプトから実行しました。
これって、入力画像が、 1 で、
判定も： 1 となっていると言う事みたいぞね。ふむふむ。
と言う訳で、Windows10 + GeForce GTX 1050 Ti で試すことが出来ました。
さて次は、Python のTensorflow、Pytorch で学習した ObjectDetectionモデルを、TensorRT C++ のプログラムの方に取り込んで実行が出来るのじゃろうか?ここが一番の関心事ぞね。
ここから先は、下記ページが参考になるのか?
https://devblogs.nvidia.com/speed-up-inference-tensorrt/
Pytorch の学習済みモデルのインポートに関しての問い合わせが、ブログで出ているみたいぞね。
https://devtalk.nvidia.com/default/topic/1045168/tensorrt/import-pytorch-model-in-tensorrt-and-add-custom-plugin-layer/