Keras V3 Object detection with Vision Transformers を試す。

対策がわかった。
class PatchEncoder(layers.Layer): def __init__(self, num_patches, projection_dim, **kwargs): #def __init__(self, num_patches, projection_dim): #print('>>> PatchEncoder():kwargs',kwargs) #>>> PatchEncoder():kwargs { # 'name': 'patch_encoder', # 'trainable': True, # 'dtype': 'float32', # 'input_shape': [224, 224, 3], # 'patch_size': 32, # 'num_heads': 4, # 'transformer_units': [128, 64], # 'transformer_layers': 4, # 'mlp_head_units': [2048, 1024, 512, 64, 32]} if kwargs: self.name=kwargs['name'] #print('>>> PatchEncoder():name:',self.name) #super().__init__() super(PatchEncoder, self).__init__() .....

しかし、load model をすると、中のパラメータが正しく復元できていないようだ。
model.predict() の結果が、load weights とかなり違ってくる。
今は、まだ、 load weights の方でテストするしかない。

Whole model saving & loading
の最後の記述が気になる。
Note that the model variables may have different name values (var.name property, e.g.
"dense_1/kernel:0") after being reloaded. It is recommended that you use layer attributes to
access specific variables, e.g. model.get_layer("dense_1").kernel.


どうやら、class PatchEncoder() に、def build(self,input_shape) が抜けているのが問題のようじゃ。
class PatchEncoder(layers.Layer): .... # add by nishi def build(self,input_shape): self.projection = layers.Dense(units=self.projection_dim) self.position_embedding = layers.Embedding( input_dim=self.num_patches, output_dim=self.projection_dim ) ....
上記を追加してみる。
だいぶ良くなったがまだ、load_weights と違いがあるみたい。

下記、表示も気になる。
2024-06-06 19:47:55.470245: I tensorflow/compiler/mlir/tensorflow/utils/dump_mlir_util.cc:268] disabling MLIR crash reproducer, set env var `MLIR_CRASH_REPRODUCER_DIRECTORY` to enable.

import os
os.environ["MLIR_CRASH_REPRODUCER_DIRECTORY"] = "enable"

も入れてみる。

まだ、model.keras ファイルに、保存ができていないパラメータがある気がする。

原因がわかった気がする。
vit_object_detector.weights.h5 と、vit_object_detector.keras が保存されるタイミングがずれているからみたい。
vit_object_detector.weights.h5 は、 val_loss が最小の時の保存で、
vit_object_detector.keras は、それから、patience=10 でかなり学習を進めた後の値の所為の気がする。
保存のタイミングを同じにすれば、同じ結果になるのでは?

checkpoint_callback2 = keras.callbacks.ModelCheckpoint( "vit_object_detector_best.keras", monitor="val_loss", save_best_only=True, #save_weights_only=True, )
checkpoint_callback2 も組み込んで、val_ross が最小の時のに、vit_object_detector_best.keras を保存して、
それを、
vit_object_detector = keras.saving.load_model("vit_object_detector_best.keras", custom_objects={'Patches':Patches,'PatchEncoder':PatchEncoder}, compile=True)
すれば、同じになりました。

やれやれぞね。
しかし、これで、 Keras V3 での model の保存、ロードの仕方が理解できました。
また、 transformer を使うと、学習が早いのが実感できました。
ただ、predict だと、動画は、厳しい気がします。

Model training APIs
を見てみると、

preds = vit_object_detector.predict(input_image,verbose=0)[0]
だと良いのか?

github にアップしておきました。
tosa-no-onchan/k3_object_detection_using_vision_transformer

以前は、SSD、Mobile Net 、Yolo v3 があったが、
Yolo v3 を除いて、いまいち、実用に耐え得るのか、半信半疑だった。

今は、 Yolo も 4,5,6,7 もあるのか?。また Transformer Object detection だったら仕事で使えるのかもしれましぇん。

参照。
transformers
transformers / object_detection