NNAPIを使って、AndroidでONNXモデルを動かす

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

Run ONNX models on your Android phone using the new NNAPI !

　・DNNLibrary is a wrapper of NNAPI ("DNNLibrary" is for "daquexian's NNAPI library). 

　　It lets you easily make the use of the new NNAPI introduced in Android 8.1. 
　　You can convert your onnx model into daq and run the model directly.

NNAPIでは、TensorFlow Liteモデルを変換して使うのが一般的ですが、このライブラリを使えば、ONNXモデルが動くと。。

量子化もサポートしているようです。

ベンチマークとしては、Google Pixel と RK3399 で MbileNetV2 と SqueezeNet v1.1 を

引用
　・Google Pixel    API 28	MobileNet v2	132.95 ms   7.5 fps
　・Google Pixel    API 28	SqueezeNet v1.1	 80.80 ms  12.3 fps

　・RK3399          API 27	MobileNet v2	 59.90 ms  16.6 fps
　・RK3399          API 27      SqueezeNet v1.1	 51.10 ms  19.5 fps

のようで、これって、速いものでしょうかね。。。

ONNXモデルが動くなら、便利ですよね。。。