2021年3月アーカイブ

Turtlebot3 の自作 #2
-- パーツ選び --

下記ページを見つけたので、ちょっと試してみました。
Build Your Own Turtlebot Robot!

詳しいところは、下記ページを参照との事です。
Build your own TurtleBot 3 backbone

目標は、屋外でDepth Camera を入力にして、Rtabmap_ros で、3D Active Slam を行い 屋外の畑の 2D Map を作成した後、
Depth Camera の入力で、畝、畑の崖をよけながら、 Navigation走行しながら、畑をくまなく走行する事を目指す。
コッホ!!

パーツ構成
1. SBC: Jetson Nano 2GB
2. Audino : STM32F407 Discovery
3. Intel Depth カメラ

いよいよ作成に入りたいです。
1. パーツ選びです。
田舎住まいのオンちゃんには、これが一番大変です。
参考ページは、中国の アリババ傘下の AliExress なので、同じ商品でもOKか...
しかし、中国の会社だと、個人情報が法律で保護されていなので、問題ありか?
但し、PayPal で支払いが出来たので、使ってみました。
その後、どうやら、商品が届くのが結構遅いみたい。Banggoodだと、思いのほか、
早く届いたけれど。AliExress は、15日程かかるみたい。

Turtlebot3 の自作

下記ページを見つけたので、ちょっと試してみました。
Build Your Own Turtlebot Robot!

詳しいところは、下記ページを参照との事です。
Build your own TurtleBot 3 backbone

オンちゃんは、Arduino DUE の代わりに、STM32F407 Discovery Kit にしてみました。
と言うのも、手持ちに、このボードがあったからです。なんといっても、DUE より安い!!

今回は、foxbot_core(Arduino のモータ駆動プログラム) を STM32F407 に組み込んで、PC(Ubuntu Mate) と USB-TTL-Serial で接続して、
PC のターミナル で $ rostopic list を実行したら、/cmd_vel , /odometry のトピックが確認出来る所迄です。

開発環境
Ubuntu Mate 18.04
Visual Studio Code/ Platformio IDE
Framework: arduino
ROS library: rosserial_arduino

Jetson Nano での ROS/ROS2 は、
Hello AI World
 Appendix
  Deep Learning Nodes for ROS/ROS2 に記述があります。

それによると、従来の、ROS / ROS2 を、Jetson Nano にインストールしてから、
Node として、Jetson Nano の Hello AI World の image recognition, object detection, and semantic segmentation
をインストールして、使うみたいぞね。

なので、 Hello AI World の image recognition, object detection, and semantic segmentation を、
試しておけば、 ROS/ROS2 のノードとして使う際には、入り安いと、オンちゃんは思います。

Jetson Nano で Hello AI World を試してみました。
Hello AI World
Inference
 Locating Objects with DetectNet をみて、今回は、最初に Object Detection を試して、次に、Jetson Nano で撮影、
検出した結果を、リモートのPC へ転送する機能を試してみました。

先ず、Object Detection から。
USB カメラを入力にするので、
$ cd build/aarch64/bin

c++ であれば、
$ ./detectnet /dev/video0

python3 であれば、
$ ./detctnet.py /dev/video0
だけで、OK です。

入出力先については、
For more info about loading/saving sequences of images, see the Camera Streaming and Multimedia page. とあるので、みてみると、..

Jetson Nano 2GB を最近購入して、一通り設定が済んだので、Hello AI World
を試してみました。

それと同時に、上記、Python プログラムを自分で修正して色々試してみたいと思ったのですが、
Jetson Nano 上で、テキストエディタをたたいて行うのも大変なので、
Google で検索していたら、下記ページがありました。
Visual Studio Code で Jetson nano(arm64) のリモート開発を行う と言うのがあったので、試してみました。

これで、Windows10 の Visual Studio Code 上で、リモートの Jetson Nano 上の、Python Script が簡単に編集できて、
ssh での ターミナルも同時に使えるので、python の実行結果も見れて、便利です。

開発環境
Windows10
Visual Studio Code
Target : Jetson Nano 2GB
Python3.6

Coral Edge TPU semantic_segmentation を試してみました。

https://github.com/google-coral/pycoral/blob/master/examples/semantic_segmentation.py

テスト環境
Windows10
Python3.6
Tensorflow 1.15.0 GPU
tflite-runtime 2.5.0
( >pip install --extra-index-url https://google-coral.github.io/py-repo/ pycoral )
Coral TPU USB
USB カメラ
MSYS2 (shell の実行時のみ使用します。)

git clone で、ダウンロードして、使います。
https://coral.ai/docs/accelerator/get-started/#pycoral-on-mac-win を参考にします。
> mkdir coral && cd coral
> git clone https://github.com/google-coral/pycoral.git
> cd pycoral
> bash examples/install_requirements.sh semantic_segmentation.py

起動方法は、examples\semantic_segmentation.py の上部に記述があります。

注) coral\pycoral\pycoral は、 coral\pycoral\pycoralx にリネームします。


 オリジナルだと、つまらないので、USB Camera で取り込んで表示できるように改造してみました。

Edge TPU - Tiny YOLO v3 を試す。

github に、Edge TPU - Tiny YOLO v3 が公開されていたので、試してみました。

guichristmann/edge-tpu-tiny-yolo

テスト環境
Windows10
Python3.6
Tensorflow 1.15.0 GPU
tflite-runtime 2.5.0
( >pip install --extra-index-url https://google-coral.github.io/py-repo/ pycoral )
Coral TPU USB
USB カメラ

git clone で、ダウンロードして、使います。

 オリジナルだと、Windows10 でそのままでは動作しないので、一部手直しが必要です。
また、USB カメラで、OpenCV で取り込んだ、bgr 画像をそのまま縮小して、使っているので、
rgb へ変換をすると、検索の正解率が改善されるのと、

 utils.py の featuresToBoxes に元々バグがあって、縦長の画像には対応していないのと、
この中で、元画像サイズへの拡大処理が組み込まれているのが、不自然なので、改造してみました。

Coral Edge TPU USB のサンプルの Object Detection が公開されていたので、 試してみました。の #4 です。

今回は、気になった点の改善を行ってみました。

https://github.com/google-coral/examples-camera

テスト環境
Windows10
Python3.6
Tensorflow 1.15.0 GPU
USB カメラ

 試したのは、上記プログラムの、examples-camera/opencv/ です。

最近、guichristmann/edge-tpu-tiny-yolo を試してみて、再度、こちらの Coral Edge TPU USB のサンプルの Object Detecton を試す。
を動かしてみると、微妙に検出ボックスが大きい気がしました。

プログラムを調べてみると、 guichristmann/edge-tpu-tiny-yolo と、examples-camera/opencv/ では、画像の取り込みと、
検出ボックスの変換に違いがありました。