Keras YOLO v3 学習済モデルを、Tensorflow Lite に変換して動かす。

1.  お決まりの、git clone を行います。

>git clone https://github.com/qqwweee/keras-yolo3.git
>cd keras-yolo3

2. 説明に従って、COCO 学習済 h5  ファイルを作成します。

>wget https://pjreddie.com/media/files/yolov3.weights
>python convert.py yolov3.cfg yolov3.weights model_data/yolo.h5

これで、 model_data\yolo.h5 の COCO学習データで学習したモデルが出来ます。

3. 後は、実際に判定出来る事を確認します。

>python yolo_video.py --image
Input image filename: xxxx.jpg    <--- 適当な画像ファアイルを指定します。

Object Detect された画像が表示されれば、OK です。

さてここからが本題です。

4. model_data/yolo.h5 ファイルを、TensorFlow Lite 形式のファイル(xxx.tflite) に変換します。

yolo3_h5toTF.py
# -*- coding:utf-8 -*- ''' Created on 2020/06/11 yolo3_h5toTF.py https://www.tensorflow.org/lite/convert/python_api? https://www.tensorflow.org/tutorials/keras/save_and_load https://www.tensorflow.org/api_docs/python/tf/lite/TFLiteConverter @author: nishi ''' import tensorflow as tf # モデルを変換 converter = tf.lite.TFLiteConverter.from_keras_model_file('model_data/yolo.h5',input_shapes={"input_1" : [1, 416, 416, 3]}) # Quantizing models for CPU model size # https://www.tensorflow.org/lite/convert/quantization?hl=ja # https://github.com/tensorflow/tensorflow/issues/31784 # https://www.tensorflow.org/lite/performance/post_training_quantization?hl=ja if False: converter.optimizations = [tf.lite.Optimize.DEFAULT] converter.target_spec.supported_types = [tf.lite.constants.FLOAT16] tflite_model = converter.convert() open("xxx.tflite", "wb").write(tflite_model)

>python yolo3_h5toTF.py
これで、カレントディレクトリに、 xxx.tflite ファイルが作成されます。

5. Tensorflow Lite での実行です。
その前に、Keras VOLO v3 の　モデルの出力形式について触れて置きます。

model_data/yolo.h5 の model.summary() を実行してみれば分かりますが。
3個の畳み込みレイヤーで、終わっています。

model_data/yolo.h5 の Summary Model: "model_1" __________________________________________________________________________________________________ Layer (type) Output Shape Param # Connected to ================================================================================================== input_1 (InputLayer) (None, None, None, 3 0 __________________________________________________________________________________________________ conv2d_1 (Conv2D) (None, None, None, 3 864 input_1[0][0] ... 途中省略 conv2d_59 (Conv2D) (None, None, None, 2 261375 leaky_re_lu_58[0][0] __________________________________________________________________________________________________ conv2d_67 (Conv2D) (None, None, None, 2 130815 leaky_re_lu_65[0][0] __________________________________________________________________________________________________ conv2d_75 (Conv2D) (None, None, None, 2 65535 leaky_re_lu_72[0][0] ================================================================================================== Total params: 62,001,757 Trainable params: 61,949,149 Non-trainable params: 52,608

ここから先は、model 外で、自分で boxes, scores, classes を求めないといけない、との事です。

それは、yolo.py の中の class YOLO(object): の def generate(self): メソッドの中の最後の
箇所で、yolo_eval() をコールして、boxes, scores, classes 計算しています。
つまり、yolo_eval() をコールすれば、良いと言う事の様です。
 

def generate(self): model_path = os.path.expanduser(self.model_path) ...途中省略 boxes, scores, classes = yolo_eval(self.yolo_model.output, self.anchors, len(self.class_names), self.input_image_shape, score_threshold=self.score, iou_threshold=self.iou) return boxes, scores, classes

yolo_eval() は、 yolo3\moddel.py の中にあります。

TensorFlow Lite では、Numpyに変換した画像を、model に入力して、予測の実行を、下記で行います。

      interpreter.set_tensor(input_details[0]['index'], image_data)
      interpreter.invoke()

その後、予測結果を下記コードで取出して
interpreter.get_output_details()

得られる、３つのNumpy 配列 (前述の、yolo v3 model 出力の3個の畳み込みレイヤーに該当) を
yolo_eval() へ渡してあげると、boxes, scores, classes が計算されます。
但し、 yolo_eval() の処理は、Tensorflow 空間 になります。

その後は、得られた boxes, scores, classes から、入力画像上に、検出ボックスを描画します。

入力画像を取り込んで、Model へ渡して、出力されたboxes, scores, classes から、ボックスを描画
するところは、yolo.py の中の def detect_image(self, image): が参考になります。

但し、入力画像の resize は、
https://github.com/peace195/tensorflow-lite-YOLOv3
の中の、tflite_example.py の def letter_box_image(): が使えます。

入力画像は、 416 x 416 にリサイズして、 / 255 して正規化します。
また、def letter_box_image(): で算出した、 fit_ratio, pad_top, pad_left は、
後の、ボックスの描画で必要になるので、コール元に一緒に返します。

プログラムは、下記となります。

yolo_video_tflite.py
''' Created on 2020/06/11 yolo_video_tflite.py https://gilberttanner.com/blog/convert-your-tensorflow-object-detection-model-to-tensorflow-lite https://github.com/peace195/tensorflow-lite-YOLOv3/blob/master/tflite_example.py @author: nishi ''' import colorsys import os from timeit import default_timer as timer import tensorflow as tf tf_ver = tf.__version__[0] #if tf_ver=='1': # tf.compat.v1.enable_eager_execution() from keras import backend as K from yolo3.model import yolo_eval #from yolo3.model import yolo_eval, yolo_body, tiny_yolo_body #from yolo3.utils import letterbox_image #from tflite_runtime.interpreter import Interpreter, load_delegate #from tensorflow.lite.interpreter import Interpreter, load_delegate #from tensorflow.lite import Interpreter, load_delegate #from tensorflow.lite.interpreter import Interpreter, load_delegate #itp = tf.lite.Interpreter(model_path="xxx.tflite") import argparse import time import cv2 #import re from PIL import Image, ImageDraw, ImageFont import numpy as np #--- copy from yolo.py --- def get_class(classes_path='model_data/coco_classes.txt'): classes_path = os.path.expanduser(classes_path) with open(classes_path) as f: class_names = f.readlines() class_names = [c.strip() for c in class_names] return class_names def get_anchors(anchors_path='model_data/yolo_anchors.txt'): anchors_path = os.path.expanduser(anchors_path) with open(anchors_path) as f: anchors = f.readline() anchors = [float(x) for x in anchors.split(',')] return np.array(anchors).reshape(-1, 2) #------- #---- copy from tensorflow-lite-YOLOv3/tflite_example.py --- def letter_box_image(image: Image.Image, output_height: int, output_width: int, fill_value)-> np.ndarray: height_ratio = float(output_height)/image.size[1] width_ratio = float(output_width)/image.size[0] fit_ratio = min(width_ratio, height_ratio) fit_height = int(image.size[1] * fit_ratio) fit_width = int(image.size[0] * fit_ratio) fit_image = np.asarray(image.resize((fit_width, fit_height), resample=Image.BILINEAR)) if isinstance(fill_value, int): fill_value = np.full(fit_image.shape[2], fill_value, fit_image.dtype) to_return = np.tile(fill_value, (output_height, output_width, 1)) pad_top = int(0.5 * (output_height - fit_height)) pad_left = int(0.5 * (output_width - fit_width)) to_return[pad_top:pad_top+fit_height, pad_left:pad_left+fit_width] = fit_image #return to_return #change b nishi return fit_ratio, pad_top, pad_left,to_return #------- def make_interpreter(model_file, use_edgetpu): model_file, *device = model_file.split('@') if use_edgetpu: return tf.lite.Interpreter( model_path=model_file, experimental_delegates=[ tf.lite.load_delegate('libedgetpu.so.1', {'device': device[0]} if device else {}) ] ) else: return tf.lite.Interpreter(model_path=model_file) def main(): parser = argparse.ArgumentParser(formatter_class=argparse.ArgumentDefaultsHelpFormatter) parser.add_argument('-m', '--model', type=str, default='xxx.tflite', required=False, help='File path of .tflite file.') parser.add_argument('-l', '--labels', type=str, default='model_data/voc_classes.txt',required=False, help='File path of labels file.') parser.add_argument('-t', '--threshold', type=float, default=0.4, required=False, help='Score threshold for detected objects.') parser.add_argument('-v', '--video', type=str, default=0, required=False, help='Path to video') parser.add_argument('-e', '--use_edgetpu', action='store_true', default=False, help='Use EdgeTPU') args = parser.parse_args() class_names = get_class() anchors = get_anchors() model_path='xxx.tflite' use_edgetpu=False interpreter = make_interpreter(model_path, use_edgetpu) interpreter.allocate_tensors() input_details = interpreter.get_input_details() output_details = interpreter.get_output_details() #print('>output_details',output_details) #_, input_height, input_width, _ = interpreter.get_input_details()[0]['shape'] _, input_height, input_width, _ = input_details[0]['shape'] if True: print('>input_details[0][\'dtype\']=',input_details[0]['dtype']) if input_details[0]['dtype'] == np.float32: floating_model = True height = input_details[0]['shape'][1] width = input_details[0]['shape'][2] print('>height=',height) print('>width=',width) image = Image.open('image1.jpg') #img_resized = letter_box_image(image, height, width, 128) fit_ratio, pad_top, pad_left,img_resized = letter_box_image(image, height, width, 128) img_resized = img_resized.astype(np.float32) print('>img_resized.shape=',img_resized.shape) image_data =img_resized image_data /= 255. image_data = np.expand_dims(image_data, 0) # Add batch dimension. start = timer() interpreter.set_tensor(input_details[0]['index'], image_data) interpreter.invoke() print('>len(output_details)=',len(output_details)) predictions = [interpreter.get_tensor(output_details[i]['index']) for i in range(len(output_details))] #print('predictions[0].shape=',predictions[0].shape) #print('predictions[1].shape=',predictions[1].shape) #print('predictions[2].shape=',predictions[2].shape) #print('type(predictions[0])=',type(predictions[0])) #print('type(predictions[1])=',type(predictions[1])) #print('type(predictions[2])=',type(predictions[2])) predictions[0] = tf.convert_to_tensor(predictions[0], np.float32) predictions[1] = tf.convert_to_tensor(predictions[1], np.float32) predictions[2] = tf.convert_to_tensor(predictions[2], np.float32) if True: # Generate output tensor targets for filtered bounding boxes. input_image_shape = K.placeholder(shape=(2, )) #score=.6, #iou=.5 _boxes, _scores, _classes = yolo_eval(predictions, anchors, len(class_names), input_image_shape) # --- copy from yolo.py ::detect_image() sess = K.get_session() out_boxes, out_scores, out_classes = sess.run( [_boxes, _scores, _classes], feed_dict={ #self.yolo_model.input: image_data, input_image_shape: [416,416], K.learning_phase(): 0 }) print('>out_boxes.shape=',out_boxes.shape) #print('>scores.shape=',scores.shape) #print('>classes.shape=',classes.shape) print('Found {} boxes for {}'.format(len(out_boxes), 'img')) # Generate colors for drawing bounding boxes. hsv_tuples = [(x / len(class_names), 1., 1.) for x in range(len(class_names))] colors = list(map(lambda x: colorsys.hsv_to_rgb(*x), hsv_tuples)) colors = list( map(lambda x: (int(x[0] * 255), int(x[1] * 255), int(x[2] * 255)), colors)) np.random.seed(10101) # Fixed seed for consistent colors across runs. np.random.shuffle(colors) # Shuffle colors to decorrelate adjacent classes. np.random.seed(None) # Reset seed to default. font = ImageFont.truetype(font='font/FiraMono-Medium.otf', size=np.floor(3e-2 * image.size[1] + 0.5).astype('int32')) #thickness = (image.size[0] + image.size[1]) // 300 thickness = (image.size[0] + image.size[1]) // 420 #print('>thickness=',thickness) for i, c in reversed(list(enumerate(out_classes))): predicted_class = class_names[c] box = out_boxes[i] score = out_scores[i] label = '{} {:.2f}'.format(predicted_class, score) draw = ImageDraw.Draw(image) label_size = draw.textsize(label, font) top, left, bottom, right = box # reset size and off set by nishi top = (top - pad_top)/fit_ratio left = (left - pad_left)/fit_ratio bottom = (bottom - pad_top)/fit_ratio right = (right - pad_left)/fit_ratio top = max(0, np.floor(top + 0.5).astype('int32')) left = max(0, np.floor(left + 0.5).astype('int32')) bottom = min(image.size[1], np.floor(bottom + 0.5).astype('int32')) right = min(image.size[0], np.floor(right + 0.5).astype('int32')) print(label, (left, top), (right, bottom)) if top - label_size[1] >= 0: text_origin = np.array([left, top - label_size[1]]) else: text_origin = np.array([left, top + 1]) # My kingdom for a good redistributable image drawing library. for i in range(thickness): draw.rectangle( [left + i, top + i, right - i, bottom - i], outline=colors[c]) draw.rectangle( [tuple(text_origin), tuple(text_origin + label_size)], fill=colors[c]) draw.text(text_origin, label, fill=(0, 0, 0), font=font) del draw end = timer() print('>time=',end - start) image.show() if __name__ == '__main__': main()

カレントディレクトリに、image1.jpg を置いておいて、

>python yolo_video_tflite.py 

今回は、model の実行は、Tensorflow Lite で、その後は、Tensorflow での後処理のコンボになります。

この後は、Tensorflow Lite への変換で、UINT8 に quantized 出来るか試してみて、
それが出来れば、Coral Edge TPU USB で試してみたいです。