TensorFlow 2.16.2 Lite C++ library build.

2. deploy
とりあえず、必要なファイルを~/usr/local/ へコピーします。
~/usr/local/
  lib
  include

注) include ファイルは、自分でコピーしないといけないみたい。
後、FlatBuffers 、 Abseil も必要とのこと。
同じ様に、copy shell を作った。
~/local/tensorflow/deploy-lite-nishi.sh
#!/bin/bash -eu # -*- coding: utf-8 -*- # Referece: # [copy_tensorflow_headers.sh](https://gist.github.com/saitodev/3cde48806a32272962899693700d9669) # $ sudo ./deploy-lite-nishi.sh VER=2.16.2 #DIST_DIR=/home/nishi/usr/local/share/libtensorflow-cpu-${VER} DIST_DIR=/home/nishi/usr/local #HEADER_DIR=${DIST_DIR}/include/tensorflow-${VER}-lite/tensorflow HEADER_DIR=${DIST_DIR}/include/tensorflow-${VER}-lite LIB_DIR=${DIST_DIR}/lib/tensorflow-${VER}-lite ROOT_DIR=./tensorflow-${VER} SRC_DIR=./tensorflow-${VER}/tensorflow if [ ! -e $HEADER_DIR ]; then mkdir -p $HEADER_DIR fi if [ ! -e $HEADER_DIR/tensorflow ]; then mkdir -p ${HEADER_DIR}/tensorflow fi if [ ! -e $LIB_DIR ]; then mkdir -p $LIB_DIR fi find ${ROOT_DIR}/build-nishi/ -name "lib*.a" | xargs -i cp -af {} ${LIB_DIR} #cp -af ${ROOT_DIR}/build-nishi/libtensorflow-lite.a ${LIB_DIR} #cp -af ${ROOT_DIR}/build-nishi/_deps/flatbuffers-build/libflatbuffers.a ${LIB_DIR} pushd $SRC_DIR find lite -follow -type f -name "*.h" -exec cp --parents {} ${HEADER_DIR}/tensorflow \; popd pushd ${ROOT_DIR}/build-nishi/ pushd abseil-cpp find absl -follow -type f -name "*.h" -exec cp --parents {} $HEADER_DIR \; find ci -follow -type f -name "*.h" -exec cp --parents {} $HEADER_DIR \; popd pushd flatbuffers/include find flatbuffers -follow -type f -name "*.h" -exec cp --parents {} $HEADER_DIR \; find flatbuffers -follow -type f -name "*.inc" -exec cp --parents {} $HEADER_DIR \; popd popd
注) 中のパスは、自分の PC に合せて変えとうせ。
注2) flatbuffers のコピー元が、最初間違っていたみたい。
build-nishi/flatbuffers <--- NG
build-nishi/flatbuffers/include <-- OK

$ cd ~local/tensorflow
$ chmod 755 deploy-lite-nishi.sh
$ ./deploy-lite-nishi.sh

3. lite/examples/label_image をビルドして試す。
さらの状態から、始めて見ます。
$ cd ~/local/tensorflow/
$ mkdir label_image_build
$ cd label_image_build
最初に、tensorflow lite 全体の cmake を行う。
この時、オプションを指定して、どの環境で使うか指定する。
$ cmake ../tensorflow-2.16.2/tensorflow/lite

注) ここで、./examples/label_image/CMakeFiles/label_image.dir/ 下に、下記ファイルができる。
  flags.make <-- ここに CXX_DEFINES CXX_INCLUDES CXX_FLAGS がある。
  link.txt <-- ここに リンクモジュールの一覧がある。
上記情報は、自分で build する時に参照する。
ここで、label_image を実際に、ビルドする。
$ cmake --build . -j -t label_images

./examples/label_image/ 下に実行ファイルができる。
$ cd examples/label_image
実行の前に、 mobilenet_quant_v1_224.tflite , labels.txt , grace_hopper.bmp が必要。
上記ファイルを、集める。
tensorflow-2.16.2/tensorflow/lite/examples/ios/download_model.sh を叩くか、
tensorflow/lite/examples/label_image
の、Download sample model and image を参考にする。

image データは、tensorflow/lite/examples/label_image/testdata/grace_hopper.bmp
あるのでそれを使うそうな。
$ ./label_image --image ../../../tensorflow/lite/examples/label_image/testdata/grace_hopper.bmp
INFO: Loaded model ./mobilenet_quant_v1_224.tflite INFO: resolved reporter INFO: Created TensorFlow Lite XNNPACK delegate for CPU. INFO: invoked INFO: average time: 6.902 ms INFO: 0.796078: 653 military uniform INFO: 0.0901961: 907 Windsor tie INFO: 0.0156863: 458 bow tie INFO: 0.0117647: 466 bulletproof vest INFO: 0.00392157: 922 book jacket
動くみたい。結構早い。

4. Cmake でのビルド。
自分のプログラムをビルドするにも、Cmake を使うみたい。
TensorFlow Lite C++ minimal example
を参考に、自分用の Cmake を作る必要がある。

CMakeLists.txt
を自分のプログラムデイレクトリーへコピーして、変更して試してみる。

下記、デイレクトリーに、
/home/nishi/Documents/VisualStudio-CPP/tflite/opp_tflite
  predict-test.cpp
  CMakeLists.txt
を用意して、
$ mkdir build
$ cd build
$ cmake ..
$ cmake --build . j3

CMakeLists.txt
cmake_minimum_required(VERSION 3.16) project(opp_tflite C CXX) set(TENSORFLOW_SOURCE_DIR "" CACHE PATH "Directory that contains the TensorFlow project" ) if(NOT TENSORFLOW_SOURCE_DIR) get_filename_component(TENSORFLOW_SOURCE_DIR #"${CMAKE_CURRENT_LIST_DIR}/../../../../" "/home/nishi/local/tensorflow/tensorflow-2.16.2" ABSOLUTE ) endif() add_subdirectory( "${TENSORFLOW_SOURCE_DIR}/tensorflow/lite" "${CMAKE_CURRENT_BINARY_DIR}/tensorflow-lite" EXCLUDE_FROM_ALL ) set(CMAKE_CXX_STANDARD 17) add_executable(predict-test predict-test.cpp ) target_link_libraries(predict-test tensorflow-lite )
これで、
predict-test ができるが、
この方法だと、全て再コンパイルになる。
先に作った、Tensorflow lite static Library が、まるきり使われない。

どうやら、下記箇所みたい。
CMake を使用した TensorFlow Lite の構築
インストール可能なパッケージのビルド

しかし、cmake 自体が、エラーになる。

とりあえず、opp_tflite の Cmake で作られる、 build.make 、flags.make と link.txt を参考にMakefileを作ってみた。
FILE = predict-test.cpp HDIR = -I /usr/include/opencv4 -I/home/nishi/usr/local/include/tensorflow-lite -I /home/nishi/usr/local/tflite-test/include LIBDIR = -L/home/nishi/usr/local/lib/tensorflow-lite -L/home/nishi/usr/local/tflite-test/lib OPT0 = -ltensorflow-lite CXX_FLAGS = -DEIGEN_NEON_GEBP_NR=4 -DTFLITE_BUILD_WITH_XNNPACK_DELEGATE -DXNNPACK_DELEGATE_ENABLE_QS8 -DXNNPACK_DELEGATE_ENABLE_QU8 -DTFL_STATIC_LIBRARY_BUILD -pthread CXX_DEFINES = -DCPUINFO_SUPPORTED_PLATFORM=1 -DPTHREADPOOL_NO_DEPRECATED_API=1 CC=/usr/bin/c++ opt = -labsl_flags -labsl_flags_internal -labsl_flags_marshalling \ -labsl_flags_reflection -labsl_flags_config -labsl_flags_program_name \ -labsl_flags_private_handle_accessor -labsl_flags_commandlineflag \ -labsl_flags_commandlineflag_internal -labsl_raw_hash_set \ -labsl_hashtablez_sampler -labsl_hash -labsl_city -labsl_low_level_hash \ -labsl_status -labsl_cord -labsl_bad_optional_access -labsl_cordz_info \ -labsl_cord_internal -labsl_cordz_functions \ -labsl_exponential_biased -labsl_cordz_handle \ -labsl_crc_cord_state -labsl_crc32c -labsl_crc_internal -labsl_crc_cpu_detect \ -labsl_str_format_internal -labsl_strerror -labsl_synchronization -labsl_stacktrace \ -labsl_symbolize -labsl_debugging_internal \ -labsl_demangle_internal -labsl_graphcycles_internal \ -labsl_kernel_timeout_internal -labsl_malloc_internal \ -labsl_time -labsl_strings -labsl_string_view -labsl_strings_internal \ -labsl_throw_delegate -labsl_base -labsl_spinlock_wait -lrt -labsl_int128 \ -labsl_civil_time -labsl_time_zone -labsl_bad_variant_access -labsl_raw_logging_internal \ -labsl_log_severity -lfarmhash -lfft2d_fftsg2d -lfft2d_fftsg \ -lm -lflatbuffers -leight_bit_int_gemm -lruy_context_get_ctx -lruy_context \ -lruy_frontend -lruy_kernel_arm -lruy_kernel_avx -lruy_kernel_avx2_fma \ -lruy_kernel_avx512 -lruy_apply_multiplier -lruy_pack_arm -lruy_pack_avx \ -lruy_pack_avx2_fma -lruy_pack_avx512 -lruy_prepare_packed_matrices -lruy_trmul \ -lruy_ctx -lruy_allocator -lruy_prepacked_cache -lruy_system_aligned_alloc \ -lruy_have_built_path_for_avx -lruy_have_built_path_for_avx2_fma \ -lruy_have_built_path_for_avx512 -lruy_thread_pool \ -lruy_blocking_counter -lruy_wait -lruy_denormal -lruy_block_map \ -lruy_tune -lruy_cpuinfo -lruy_profiler_instrumentation \ -pthread -ldl -lXNNPACK -lpthreadpool -lm -lcpuinfo .PHONY: link link: predict-test $(CXX) predict-test.o -o predict-test $(LIBDIR) $(OPT0) $(opt) predict-test: $(FILE) $(CXX) -c -Wall -std=c++17 $(CXX_FLAGS) $(CXX_DEFINES) $(FILE) $(HDIR) -o predict-test.o

$ make
$ ./predict-test
一応、動いた。

参考にしたのは、
build/CMakeFiles/predict-test.dir
  build.make
  flags.make
  link.txt


ここで、プログラムを書き足して、
std::cout << ">>> allocate interpreter tensors"<< std::endl; if (interpreter->AllocateTensors() != kTfLiteOk){ std::cerr << ">>> Cannot allocate interpreter tensors" << std::endl; return 1; }
実行すると、エラーになる。
INFO: Created TensorFlow Lite XNNPACK delegate for CPU. ERROR: Select TensorFlow op(s), included in the given model, is(are) not supported by this interpreter. Make sure you apply/link the Flex delegate before inference. For the Android, it can be resolved by adding "org.tensorflow:tensorflow-lite-select-tf-ops" dependency. See instructions: https://www.tensorflow.org/lite/guide/ops_select ERROR: Node number 0 (FlexTensorListReserve) failed to prepare. ERROR: Select TensorFlow op(s), included in the given model, is(are) not supported by this interpreter. Make sure you apply/link the Flex delegate before inference. For the Android, it can be resolved by adding "org.tensorflow:tensorflow-lite-select-tf-ops" dependency. See instructions: https://www.tensorflow.org/lite/guide/ops_select ERROR: Node number 0 (FlexTensorListReserve) failed to prepare. Cannot allocate interpreter tensors

ちょっと、対策がわからない。
Android 版でないと、いけないのか?
Flex delegate をしないといけないのか?

5. どうやら、Flex 対応の、libtensorflowlite_flex.so を使うみたい。
TF Lite enable Flex delegate C++ API (with CMake of Bazel) #57822

bazel build -c opt --config=monolithic tensorflow/lite/delegates/flex:tensorflowlite_flex

Sample CMake snippet

add_executable(minimal minimal.cpp)
target_link_libraries(minimal tensorflowlite tensorflowlite_flex)

TensorFlow 演算子を選択する
C/C++
Bazel または CMake を使用して TensorFlow Lite インタープリタを構築している場合、
TensorFlow Lite Flex デリゲート共有ライブラリをリンクして Flex デリゲートを有効にできます。Bazel で次のコマンドを使用しインタープリタを構築できます。

$ bazel build -c opt --config=monolithic tensorflow/lite/delegates/flex:tensorflowlite_flex

このコマンドは次の共有ライブラリを bazel-bin/tensorflow/lite/delegates/flex 生成します。
Linux  libtensorflowlite_flex.so

上記、libtensorflowlite_flex.so を、今、libtensorflow-lite.a があるディレクトリーへコピーして、Makefile のリンクで、リンクすればよいのか?
ほかの、モジュールの分も必要か?もしそうだとすると、別のディレクトリーへ一括コピーすべきか?
libtensorflowlite_flex.so だけあればよいみたい。
ただし、リンクする時に、オプションの指定が必要みたい。
Adding Select Tf Ops to Cmake #55536
Hi,

I encounter the same issue and I think I found a way to make it work on Linux.
In order to force the link of tensorflowlite_flex with ld you can use the --no-as-needed option:
-Wl,--no-as-needed <--- これが必要みたい。


今までの情報をまとめて、
CMakeLists.txt-predict-test
cmake_minimum_required(VERSION 3.16) project(predict-test C CXX) set(TENSORFLOW_SOURCE_DIR "" CACHE PATH "Directory that contains the TensorFlow project" ) if(NOT TENSORFLOW_SOURCE_DIR) get_filename_component(TENSORFLOW_SOURCE_DIR #"${CMAKE_CURRENT_LIST_DIR}/../../../../" "/home/nishi/local/tensorflow/tensorflow-2.16.2" ABSOLUTE ) endif() add_subdirectory( "${TENSORFLOW_SOURCE_DIR}/tensorflow/lite" "${CMAKE_CURRENT_BINARY_DIR}/tensorflow-lite" EXCLUDE_FROM_ALL) add_library(tensorflowlite_flex SHARED IMPORTED) set_property(TARGET tensorflowlite_flex PROPERTY IMPORTED_LOCATION "/home/nishi/usr/local/lib/tensorflow-2.16.2-lite-flex/libtensorflowlite_flex.so") # IMPORTED_LOCATION "${CMAKE_CURRENT_SOURCE_DIR}/tensorflow-prebuilt/libtensorflowlite_flex.so") add_executable(predict-test predict-test.cpp ) # need --no-as-needed option # https://github.com/tensorflow/tensorflow/issues/55536 target_link_libraries(predict-test -Wl,--no-as-needed tensorflow-lite tensorflowlite_flex )

これを参考に、Makefile を作って、dummy.cpp を作って実行させてみた。
結構こちらは、早い。
ただし、今は、Ubuntu 22.04 PC 版のみじゃ。
Orange Pi 5 Armbian Jummy 用の、libtensorflowlite_flex.so が出来ない。
Orange Pi 5 Armbian Jummy は、bazel が使えない(これは、誤りだった。)ので、Ubuntu 22.04 PC の bazel で、 aarch64 向けのクロスビルドが必要だが、これが、途中でエラーになる。
google で検索しても、みんなトラブっていて、解決の記事が見当たらない。

6. クロスビルドは、不可だが、 Orange pi 5 armibian 上で、 bazel で直接ビルドができそう。
arm64 版 bazel-6.4.0 のバイナリー版が公開されていた。
Releases 6.4.0
---> bazel-6.4.0-linux-arm64

早速、Armibian 上で、ビルドしてみる。
その前に、
$ chmod 755 bazel-6.4.0-linux-arm64
$ cd /usr/bin
$ sudo ln -s path-to/bazel-6.4.0-linux-arm64 bazel

$ bazel build -c opt --config=monolithic tensorflow/lite/delegates/flex:tensorflowlite_flex
--> OK

7. 先にビルドした、libtensorflow-lite.a libtensorflowlite_flex.so を、Cmake で、リンクして使う方法。
[CMake] ライブラリを自動的に探すFind<package>.cmakeのテンプレート を参考にして、
ビルドした、Tensorflow Lite のライブラリーを取り込む、FindTflite.cmake を作ってみた。

cmake/FindTflite.cmake
# opp_tflite/cmake/FindTflite.cmake # here are lib paths # /home/nishi/usr/local/lib/tensorflow-lite /home/nishi/usr/local/lib/tensorflow-2.16.2-lite-flex # https://qiita.com/shohirose/items/d9bda00a39a113965c5c # /usr/share/cmake-3.22/Modules/FindLAPACK.cmake set(Tflite_INCLUDE_DIR "/home/nishi/usr/local/include/tensorflow-lite") set(Tflite_LIBRARY "-L/home/nishi/usr/local/lib/tensorflow-lite -L/home/nishi/usr/local/lib/tensorflow-2.16.2-lite-flex -ltensorflow-lite -labsl_flags -labsl_flags_internal -labsl_flags_marshalling -labsl_flags_reflection -labsl_flags_config -labsl_flags_program_name -labsl_flags_private_handle_accessor -labsl_flags_commandlineflag -labsl_flags_commandlineflag_internal -labsl_raw_hash_set -labsl_hashtablez_sampler -labsl_hash -labsl_city -labsl_low_level_hash -labsl_status -labsl_cord -labsl_bad_optional_access -labsl_cordz_info -labsl_cord_internal -labsl_cordz_functions -labsl_exponential_biased -labsl_cordz_handle -labsl_crc_cord_state -labsl_crc32c -labsl_crc_internal -labsl_crc_cpu_detect -labsl_str_format_internal -labsl_strerror -labsl_synchronization -labsl_stacktrace -labsl_symbolize -labsl_debugging_internal -labsl_demangle_internal -labsl_graphcycles_internal -labsl_kernel_timeout_internal -labsl_malloc_internal -labsl_time -labsl_strings -labsl_string_view -labsl_strings_internal -labsl_throw_delegate -labsl_base -labsl_spinlock_wait -lrt -labsl_int128 -labsl_civil_time -labsl_time_zone -labsl_bad_variant_access -labsl_raw_logging_internal -labsl_log_severity -lfarmhash -lfft2d_fftsg2d -lfft2d_fftsg -lm -lflatbuffers -leight_bit_int_gemm -lruy_context_get_ctx -lruy_context -lruy_frontend -lruy_kernel_arm -lruy_kernel_avx -lruy_kernel_avx2_fma -lruy_kernel_avx512 -lruy_apply_multiplier -lruy_pack_arm -lruy_pack_avx -lruy_pack_avx2_fma -lruy_pack_avx512 -lruy_prepare_packed_matrices -lruy_trmul -lruy_ctx -lruy_allocator -lruy_prepacked_cache -lruy_system_aligned_alloc -lruy_have_built_path_for_avx -lruy_have_built_path_for_avx2_fma -lruy_have_built_path_for_avx512 -lruy_thread_pool -lruy_blocking_counter -lruy_wait -lruy_denormal -lruy_block_map -lruy_tune -lruy_cpuinfo -lruy_profiler_instrumentation -pthread -ldl -lXNNPACK -lpthreadpool -lm -lcpuinfo -ltf-lite_tools -ltf-lite_core" "-ltensorflowlite_flex" ) #message(STATUS "Tflite_LIBRARY=${Tflite_LIBRARY}") mark_as_advanced( Tflite_INCLUDE_DIR Tflite_LIBRARY # ヘッダーのみのライブラリの場合は不要 ) include(FindPackageHandleStandardArgs) find_package_handle_standard_args(Tflite REQUIRED_VARS Tflite_INCLUDE_DIR Tflite_LIBRARY # ヘッダーのみのライブラリの場合は不要 ) if(Tflite_FOUND AND NOT TARGET Tflite::Tflite) add_library(Tflite::Tflite UNKNOWN IMPORTED) set_target_properties(Tflite::Tflite PROPERTIES IMPORTED_LINK_INTERFACE_LANGUAGES "CXX" # ヘッダーのみのライブラリの場合は不要 IMPORTED_LOCATION "${Tflite_LIBRARY}" # ヘッダーのみのライブラリの場合は不要 INTERFACE_INCLUDE_DIRECTORIES "${Tflite_INCLUDE_DIR}" ) endif()
注) 今までの説明では、まだ、-ltf-lite_tools -ltf-lite_core が作られていないのだが。
後で公開する、github 上の
Makefile-Archive を使って組み込みます。
$ make -fMakefile-Archive
$ make -fMakefile-Archive install
$ make -fMakefile-Archive clean
これは、label_image の中の、class DelegateProviders を使う際に必要なライブラリーです。

後は、上記 cmake/FindTflite.cmake を、使って、 CMakeLists.txt を作れば、OK じゃ。

例) CMakeLists.txt-opp_with_lstm_predict
# opp_tflite/CMakeLists.txt-opp_with_lstm_predict cmake_minimum_required(VERSION 3.16) project(opp_with_lstm_predict C CXX) list(APPEND CMAKE_MODULE_PATH "${CMAKE_CURRENT_LIST_DIR}/cmake") find_package(Tflite REQUIRED) # Tflite_INCLUDE_DIR, Tflite_LIBRARY find_package( OpenCV REQUIRED ) #add_library(tensorflowlite_flex SHARED IMPORTED) #set_property(TARGET tensorflowlite_flex PROPERTY # IMPORTED_LOCATION "/home/nishi/usr/local/lib/tensorflow-2.16.2-lite-flex/libtensorflowlite_flex.so") include_directories("${Tflite_INCLUDE_DIR}") add_executable(opp_with_lstm_predict opp_with_lstm_predict.cpp ) #message(STATUS "Tflite_LIBRARY=${Tflite_LIBRARY}") # need --no-as-needed option # https://github.com/tensorflow/tensorflow/issues/55536 target_link_libraries(opp_with_lstm_predict -Wl,--no-as-needed ${Tflite_LIBRARY} ${OpenCV_LIBS} #tensorflowlite_flex )

随分、ビルドが簡単になった。

8. LSTM版とは別に、opp_with_transformer_mltu で使った学習モデルを急遽、
tensorflow lite 版に変換して、こちらを試すと、
問題なく、predict できた。こちらは、Flex 版は、不要みたいじゃ。
ただし、実行速度が遅い。
transformer 版を、学習データを増やして学習させたほうが良いのかも知れない。

これを、Orange Pi 5 Armibian Jummy で試したが、同じ様に実行できた。

後は、ROS2 のプログラムに組み込むだけだが、
しかし、最終的には、cmake でビルドできるようにしないと、ROS2 の中で使えない。