Google Developers Japan: TensorFlow Lite の Core ML デリゲートで iPhone と iPad の推論をスピードアップ

Local blog for Japanese speaking developers

TensorFlow Lite の Core ML デリゲートで iPhone と iPad の推論をスピードアップ

2020年4月22日水曜日

この記事は The TensorFlow Blog の記事 "TensorFlow Lite Core ML delegate enables faster inference on iPhones and iPads" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。投稿者: ソフトウェアエンジニア、Tei Jeong、Karim NosseirNNAPIGPUHexagonCore MLEdge TPUニューラルプロセッシングユニットTensorFlow Lite のデリゲート

TFLite Core

図 1: 実行時のデリゲートの仕組みを示した概念図。グラフのサポートされている部分はアクセラレータが実行するが、その他の命令は TensorFlow Lite カーネル経由で CPU が実行する。

サポートされる端末Apple A12 SoCTensorFlow Lite GPU デリゲートサポートされるモデルデリゲートのドキュメントパフォーマンスへの影響モデル

MobileNet V2（1.0、224、浮動小数） [ダウンロード] : イメージ分類

小さなモデル。グラフ全体を Core ML で実行。

Inception V3 [ダウンロード] : イメージ分類

大きなモデル。グラフ全体を Core ML で実行。

端末

iPhone 8+（Apple A11、iOS 13.2.3）

iPhone XS（Apple A12、iOS 13.2.3）

iPhone 11 Pro（Apple A13、iOS 13.2.3）

MobileNet V2 での処理時間とスピードアップの程度

図 2: MobileNet V2 での処理時間とスピードアップの程度。すべてのバージョンで浮動小数点モデルを使用。CPU Baseline は 2 スレッド TensorFlow Lite カーネルを示す。
* GPU: Core ML は推論に CPU と GPU を使用。NPU: Core ML は推論に CPU と GPU、さらに NPU（Neural Engine）を使用。

Inception V3 での処理時間とスピードアップの程度

図 3: Inception V3 での処理時間とスピードアップの程度。すべてのバージョンで浮動小数点モデルを使用。CPU Baseline は 2 スレッド TensorFlow Lite カーネルを示す。
* GPU: Core ML は推論に CPU と GPU を使用。NPU: Core ML は推論に CPU と GPU、さらに NPU（Neural Engine）を使用。

使ってみたい方へInterpreter完全版のドキュメント Swift の例let coreMLDelegate = CoreMLDelegate() let interpreter = try Interpreter(modelPath: modelPath, delegates: [coreMLDelegate]) 今後の作業トレーニング後に float16 量子化トレーニング後の重みの量子化フィードバックユースケースを共有GitHub 謝辞注: Core ML、Neural Engine、および Bionic SoCs（A12、A13）は Apple Inc のプロダクトです。Khanh LeViet - Developer Relations Team

ラベル

ブログアーカイブ

2024
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2023
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2022
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2021
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2020
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2019
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2018
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2017
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2016
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2015
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月

2014
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2013
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2012
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2011
- 12月
- 11月
- 10月
- 9月
- 8月
- 7月
- 6月
- 5月
- 4月
- 3月
- 2月
- 1月

2010
- 12月
- 11月

Feed

"プロダクトに関するご意見はプロダクトフォーラムにお願いします"

Google
Privacy
Terms