Android Kotlin TensorFlow Lite で、Audio classification を試す。
Ml Kit には、なかった、 tensoflow Lite / examples / Audio classification というのがあったので、試してみる。
Android スマホは、カメラ、マイクが入っていて、外で簡単に試せるから、PC、Raspy、Jetson Nano 等と比べて便利じゃ。
いろんなことが試せるぞね。
それは、さておき、此処で使われているモデルは、YAMNet model との事。
性能のほうが興味があります。
でも、中身は、MobileNet v1 みたいなので、以前散々試したものと大して変わらないのかも。
Sound データの、テンサーへの与え方が気になります。
以前試したのは、Sound Data を数秒貯めて、高速フーリエ変換して、2D データ (スペクトラムデータ) にして、
CNN(畳み込みニューラルネットワーク)で、Image Classification を行う手法だったけれども、
今回はどうなっているのだろうか?
以前は、Keras CNN で、最終的には、Inception V3 が一番性能が良かったのを、覚えています
1. ビルド
tensorflow / examples/lite/examples / audio_classification/ を、~/AndroidStudioProjects/ 下へコピーして、
その下の android ディレクトリー をインポートする。
簡単に、ビルド出来たので、実機で試してみました。
判定内容は、yamnet_class_map.csv になるみたい。
2. メモ。
1) 音声データの準備と拡張
2) RNN - LSTM による、Speech Recognition 例がある。
Introduction to speech recognition with TensorFlow
3) TensorFlow on mobile with speech-to-text DL models.
4) yamnet