TensorRT 5.1 Windows10 での試し #2

なので、先ずは、 Visual Studio 2017 で、
..\TensorRT-5.1.5.0\samples\sampleONNXMNIST\sample_onnx_mnist.sln
を開いて、ソルーションをビルドして、実行できるか試してみます。

すんなりビルドできたので、試しに実行してみました。
VS2017 用 x64 Native Tools コマンドプロンプトから実行しました。 C:\app\TensorRT-5.1.5.0\bin>sample_onnx_mnist.exe &&&& RUNNING TensorRT.sample_onnx_mnist # sample_onnx_mnist.exe ---------------------------------------------------------------- Input filename: ../data/mnist/mnist.onnx ONNX IR version: 0.0.3 Opset version: 1 Producer name: CNTK Producer version: 2.4 Domain: Model version: 1 Doc string: ---------------------------------------------------------------- [W] [TRT] 00007FF80C87F6E8cuDNN 7.5.0 but is linked against cuDNN 7.1.4 [W] [TRT] 00007FF80C87F6E8cuBLAS 10.2.0 but is linked against cuBLAS 10.1.0 [W] [TRT] 00007FF80C87F6E8cuDNN 7.5.0 but is linked against cuDNN 7.1.4 [W] [TRT] 00007FF80C87F6E8cuBLAS 10.2.0 but is linked against cuBLAS 10.1.0 [I] Input: @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@%.:@@@@@@@@@@@@ @@@@@@@@@@@@@: *@@@@@@@@@@@@ @@@@@@@@@@@@* =@@@@@@@@@@@@@ @@@@@@@@@@@% :@@@@@@@@@@@@@@ @@@@@@@@@@@- *@@@@@@@@@@@@@@ @@@@@@@@@@# .@@@@@@@@@@@@@@@ @@@@@@@@@@: #@@@@@@@@@@@@@@@ @@@@@@@@@+ -@@@@@@@@@@@@@@@@ @@@@@@@@@: %@@@@@@@@@@@@@@@@ @@@@@@@@+ +@@@@@@@@@@@@@@@@@ @@@@@@@@:.%@@@@@@@@@@@@@@@@@ @@@@@@@% -@@@@@@@@@@@@@@@@@@ @@@@@@@% -@@@@@@#..:@@@@@@@@ @@@@@@@% +@@@@@- :@@@@@@@ @@@@@@@% =@@@@%.#@@- +@@@@@@ @@@@@@@@..%@@@*+@@@@ :@@@@@@ @@@@@@@@= -%@@@@@@@@ :@@@@@@ @@@@@@@@@- .*@@@@@@+ +@@@@@@ @@@@@@@@@@+ .:-+-: .@@@@@@@ @@@@@@@@@@@@+: :*@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@@@@@@@@@@@@@@@@ [W] [TRT] 00007FF80C87F6E8cuDNN 7.5.0 but is linked against cuDNN 7.1.4 [W] [TRT] 00007FF80C87F6E8cuBLAS 10.2.0 but is linked against cuBLAS 10.1.0 [W] [TRT] 00007FF80C87F6E8cuDNN 7.5.0 but is linked against cuDNN 7.1.4 [W] [TRT] 00007FF80C87F6E8cuBLAS 10.2.0 but is linked against cuBLAS 10.1.0 [I] Output: Prob 0 0.0000 Class 0: Prob 1 0.0000 Class 1: Prob 2 0.0000 Class 2: Prob 3 0.0000 Class 3: Prob 4 0.0000 Class 4: Prob 5 0.0000 Class 5: Prob 6 1.0000 Class 6: ********** Prob 7 0.0000 Class 7: Prob 8 0.0000 Class 8: Prob 9 0.0000 Class 9: &&&& PASSED TensorRT.sample_onnx_mnist # sample_onnx_mnist.exe

ONNX ファイルをTensorRT でインポートするには、下記ページに記載があります。
tensorrt-developer-guide > 2.2.5. Importing An ONNX Model Using The C++ Parser API
1.Create the builder and network. IBuilder* builder = createInferBuilder(gLogger); INetworkDefinition* network = builder->createNetwork(); 2.Create the ONNX parser. nvonnxparser::IONNXParser* parser = nvonnxparser::createONNXParser(*network, gLogger); 3.Ingest the model: parser->parseFromFile(onnx_filename, ILogger::Severity::kWARNING);

そのあとは、
tensorrt-developer-guide >2.3. Building An Engine In C++
1.Build the engine using the builder object: builder->setMaxBatchSize(maxBatchSize); builder->setMaxWorkspaceSize(1 << 20); ICudaEngine* engine = builder->buildCudaEngine(*network); 2.Dispense with the network, builder, and parser if using one. parser->destroy(); network->destroy(); builder->destroy();

上記、処理を行っている所は、sampleOnnxMNIST.cpp では、 onnxToTRTModel() にあります。
bool onnxToTRTModel(const std::string& modelFile, // name of the onnx model unsigned int maxBatchSize, // batch size - NB must be at least as large as the batch we want to run with IHostMemory*& trtModelStream) // output buffer for the TensorRT model { // create the builder IBuilder* builder = createInferBuilder(gLogger.getTRTLogger()); assert(builder != nullptr); nvinfer1::INetworkDefinition* network = builder->createNetwork(); auto parser = nvonnxparser::createParser(*network, gLogger.getTRTLogger()); //Optional - uncomment below lines to view network layer information //config->setPrintLayerInfo(true); //parser->reportParsingInfo(); if ( !parser->parseFromFile( locateFile(modelFile, gArgs.dataDirs).c_str(), static_cast<int>(gLogger.getReportableSeverity()) ) ) { gLogError << "Failure while parsing ONNX file" << std::endl; return false; } // Build the engine builder->setMaxBatchSize(maxBatchSize); builder->setMaxWorkspaceSize(1 << 20); builder->setFp16Mode(gArgs.runInFp16); builder->setInt8Mode(gArgs.runInInt8); ....

パラメータ、 const std::string& modelFile で、ONNX ファイルを指定すれば、良いようです。

では、試しに、http://www.netosa.com/blog/2019/05/pytorch-10-object-detection-faster-rcnn.html 
のmaskrcnn-benchmark の学習済モデルを、Pytorch で、ONNX に吐き出して、それをインポートできるか試してみます。

おっと、その前に、maskrcnn-benchmark の ONNXへのエクスポートが出来ないから、将来できるようにならないか、みたいな記述があるぞね。
https://github.com/facebookresearch/maskrcnn-benchmark/issues/116
ここで、方針転換になるのか?