インターネット上のトラブルに十分な知識を持たない子供に高性能なカメラを搭載したスマートフォンの所有がに広がることにより、不適切な自撮りによる被害が発生するようになっています。
この問題は保護者にとって深刻です。問題を避けるために子供にスマートフォンを持たせいないという選択肢もありますが、昨今、子供の日常生活でもスマートフォンが必要とされることも多く、いかに安全なスマートフォンを子供に持たせるかが課題となっています。
TONE e20 はこの問題を技術で解決するために、TensorFlow を活用した画像検知機能を実装しています。
TONE e20 と TONE e21 にはフリービット株式会社によって開発された特定の画像を AI により自動検知するカメラアプリが標準カメラとしてインストールされています。
この標準カメラは自動で裸などの不適切な画像や映像を検知して規制し、あらかじめ設定された保護者の端末に通知する機能を有しています。
この AI による自動検知は TensorFlow のモバイル向けフレームワークである
TensorFlow Lite を使い、端末内で処理されています。
画像の認識には通信機能を使いクラウド上にサーバー側で処理する、という実装方法もありますがセンシティブな内容を含む写真や映像を通信に乗せるコストやリスクを考慮して TONE e20 と TONE e21 では端末内で処理する方式としています。
端末内での処理は AI 専用のチップや GPU を使うことなく、CPU を使用しています。カメラアプリとして快適に利用できるよう処理速度はチューニングされ、画像についてはシャッターを押してからおおよそ 200 ミリ秒 から 1 秒以内、平均で 400 - 600 ミリ秒で処理が完了します。 映像については Android Jetpack の カメラ ライブラリをもとに作成し、一定間隔でキャプチャした画像を検知する仕組みとしてます。
写真、映像ともに不適切な画像を検知した場合は保存させないように規制するとともに保護者の端末に通知する流れとなっています。
モデルは既存のものを活用
TONE e20 と TONE e21 に実装した、不適切な画像を検知する学習モデルは独自に開発したものではありません。
Yahoo が開発していた
Caffe をベースとした
open nsfw model を TensorFlow Lite のモデルに変換することで利用しています。Caffe はカリフォルニア大学バークレー校が中心となって開発しているオープンソースのディープラーニング ライブラリです。Caffe は TensorFlow のために開発されたモデルではありませんが、さまざまなオープンソースやデベロッパーがブログで公開していたノウハウを活用して変換しています。
検知機能への反応と評価
回線インフラ・ SIM ・サービス・端末を一貫して手掛けることができるのは、トーンモバイルを運営する株式会社ドリーム・トレイン・インターネットを含むフリービットグループで垂直統合しているためです。
トーンモバイルでは単に端末を販売するのではなく、独自の付加価値をもった端末を自社で開発しています。今回ご紹介した AI による不適切な画像の自動検知もその付加価値の一つです。
すでに TONE e20 を購入した保護者の方々からは良い反応を得ています。不適切な自撮り画像の検知だけでなく、AI を活用したいくつかの子供向けの見守り機能が評価されています。安心して子供に渡せるスマートフォンとして評価され、いくつかの自治体では子供向けの推奨スマートフォンとして認証されています。
自撮り画像の検知機能については端末依存の機能ではなく、アプリとして開発されたものです。今後はカメラ機能そのものを向上させるとともに、他の Android スマートフォンや iPhone でも利用できるアプリとしての展開も検討しています。
