TensorFlow Lite でGPU利用

@Vengineerの戯言 : Twitter
SystemVerilogの世界へようこそ、すべては、SystemC v0.9公開から始まった

On-Device Neural Net Inference with Mobile GPUs

TensorFlow Liteで GPU 利用で、推論が速くなるというもの。

ただし、OpenCL を使うのではなく、OpenGL ES 3.1を使うと。

Google Pixel 2/3 が OpenCL使えないんですね。

あたしのブログでは、
2019年1月21日、TensorFlow LiteでGPUが使えるようになった
2019年4月2日、TensorFlow LiteのGPUのソースコードが公開されたよ
2019年4月8日、TensorFlow LiteのGPUコードを眺めてみた

TensorFlow Liteのコードは、

TFLite on GPU

////////
// Set up interpreter.
auto model = FlatBufferModel::BuildFromFile(model_path);
ops::builtin::BuiltinOpResolver op_resolver;
std::unique_ptr<Interpreter> interpreter;
InterpreterBuilder(*model, op_resolver)(&interpreter);

////////
// NEW: Prepare GPU delegate.
auto* delegate = TfLiteGpuDelegateCreate(/*options=*/nullptr);
if (interpreter->ModifyGraphWithDelegate(delegate) != kTfLiteOk) return;

////////
// Run inference.
WriteToInputTensor(interpreter->typed_input_tensor<float>(0));
if (interpreter->Invoke() != kTfLiteOk) return;
ReadFromOutputTensor(interpreter->typed_output_tensor<float>(0));

////////
// Clean up.
TfLiteGpuDelegateDelete(delegate);