Local blog for Japanese speaking developers
TensorFlow Federated の概要
2019年3月26日火曜日
この記事は Alex IngermanとKrzys Ostrowskiによる TensorFlow - Medium の記事 "
Introducing TensorFlow Federated
" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。
投稿者:
Alex Ingerman
(プロダクト マネージャー)、
Krzys Ostrowski
(リサーチ サイエンティスト)
世界には、
30 億台のスマートフォン
と、
70 億台のネットワーク接続端末
が存在していると考えられています。こういったスマートフォンや端末は、絶え間なく新しいデータを生成しています。従来の分析手法や機械学習を使う場合、データを処理して洞察や ML モデルを生み出し、それをプロダクトの改善につなげる前に、データを 1 か所に集めなければなりません。しかし、プライベートなデータを扱う場合や、データを 1 か所に集めるためにコストがかかる場合は、この集中型アプローチが問題になることがあります。そのため、データを生成する端末上でデータ分析や機械学習を実行しつつ、学習した内容を集約できれば、それに越したことはありません。
TensorFlow Federated
(TFF)は、分散データに対して機械学習を含めた計算を行わせるための実験的オープンソース フレームワークです。TFF は、
フェデレーション ラーニング
(FL)と呼ばれるアプローチを使います。これは、参加している多数のクライアントが、データをローカルに保持しつつ共通の ML モデルをトレーニングできるようにする技術です。Google は、フェデレーション ラーニング技術を開発し、
モバイル端末でのキーボード入力の予測
や
端末内検索
用の ML モデルに活用しています。TFF はそこで得た
経験
に基づいて設計されています。TFF によって、すべての TensorFlow ユーザーが、ローカルで分散コンピューティングをシミュレーションする柔軟でオープンなフレームワークを利用できるようになります。
デベロッパーは、TensorFlow Federated を使ってフェデレーション ラーニング システムを記述およびシミュレーションすることができる。この図では、まず各スマートフォンがローカルでモデルをトレーニングする(A)。更新内容は集約され(B)、改善が反映された共有モデルが作られる(C)。
広く知られているイメージ データセットである MNIST を例に、FL と TFF の使い方を説明しましょう。MNIST の元になった NIST データセットには、3,600 人のボランティアによる 81 万の手書きの数字のイメージが含まれています。ここでの目的は、この数字を認識する ML モデルを作ることです。従来型の手法では、データセット全体に対して一気に ML アルゴリズムを適用します。しかし、すべてのデータを 1 か所にまとめることが
できない
場合はどうなるでしょうか。たとえば、ボランティアが同意しないため、未加工のデータをセンター サーバーにアップロードできない場合などです。
TFF を使うと、任意の ML モデル アーキテクチャを記述し、各ボランティアのデータを個別にローカルに置いたまま、すべてのデータを使ってそのモデルをトレーニングできます。以下のコードは、TFF の
Federated Learning(FL)API
を使ってこれを実現する方法を示しています。ここでは、
Leaf プロジェクト
で処理し、数字をそれぞれのボランティア単位に分割した NIST データセットを使っています。
https://medium.com/media/5dd63e07eac08535c9db9c86694318ba/href
コードの続きは、
フェデレーションによる MNIST 分類チュートリアル
をご覧ください。
TFF には、FL API だけでなく、一連の低レベル プリミティブも含まれています。これは、
Federated Core(FC)API
と呼ばれています。この API を使うと、分散データセットを扱うさまざまな計算を記述できます。フェデレーション ラーニングによる ML モデルのトレーニングは、フェデレーション計算の一例です。別の例として、分散データに対して ML モデルを評価することがあげられます。
FC API の簡単な例を見てみましょう。温度を測るたくさんのセンサーがあり、それぞれのデータをセンター サーバーにアップロードせずに各センサーの平均温度を計算することを考えてみます。FC API を使うと、ベースとなるデータ(tf.float32)とそのデータが存在する場所(分散クライアント)を指定して、新しいデータ型を記述することができます。
https://medium.com/media/f4fc4bc92bbb5042f70725f6a71e2467/href
そのうえで、その型に対して、フェデレーション平均関数を指定します。
https://medium.com/media/1ea0c6ee1b575045ef5f1d383d0f091c/href
フェデレーション計算が定義されると、TFF はそれを分散構成で実行できる形式で表現します。TFF の最初のリリースには、ローカルマシン ランタイムとセントラル コーディネータが含まれています。ローカルマシン ランタイムは、各クライアントがローカルでの寄与値を計算するためのもので、データを保持するクライアント全体に対して実行される計算をシミュレーションします。セントラル コーディネータは、すべての寄与値を集約します。しかし、デベロッパーは、フェデレーション計算を入力と出力が異なる場所にある通常の関数と見ることもできます(入力は個々のクライアント、出力はコーディネータ サービス)。
フェデレーション計算 get_average_temperature を図示したもの。
TFF の宣言型モデルを使うと、
フェデレーション平均アルゴリズム
の亜種を簡単に記述することができます。
https://medium.com/media/75990d701e82a67b953fa7a6c1cb1fcc/href
TensorFlow Federated は、さらに多くの人がテクノロジーを使えるようにするための 1 歩です。また、オープンかつ柔軟なプラットフォーム上で、コミュニティを巻き込んでフェデレーション ラーニングの研究を進めるための 1 歩でもあります。
チュートリアル
をご覧いただくと、ブラウザを使ってわずか数クリックで TFF を試してみることができます。ご自分のモデルで既存の FL アルゴリズムを実験したり、新しいフェデレーション データセットやモデルを作成して
TFF リポジトリ
に提供したり、新しい FL アルゴリズムを実装したり、既存の FL アルゴリズムを拡張して新機能を追加するなど、さまざまな方法で貢献することもできます。
将来的には、主要な端末プラットフォームで TFF ランタイムを利用できるようにしたいと考えています。また、
フェデレーション ラーニング用の差分プライバシー
(
TensorFlow Privacy
との統合)や
Secure Aggregation
など、プライベートなユーザーデータを守るための他のテクノロジーとの統合も考えています。すべてのデベロッパーがフェデレーション技術を使えるよう、コミュニティの皆さんと一丸となって TFF を開発できることがとても楽しみです。
試してみたい方は、
https://www.tensorflow.org/federated/
にアクセスし、早速 TFF を使ってみてください!
謝辞
TensorFlow Federated は、チームの協力によって作成されています。多大な貢献を果たしてくださった、Brendan McMahan、Keith Rush、Michael Reneer、Zachary Garrett の皆さんに感謝いたします。
Reviewed by
Kaz Sato - Staff Developer Advocate, Google Cloud
ラベル
.app
1
.dev
1
#11WeeksOfAndroid
13
#11WeeksOfAndroid Android TV
1
#Android11
3
#DevFest16
1
#DevFest17
1
#DevFest18
1
#DevFest19
1
#DevFest20
1
#DevFest21
1
#hack4jp
3
11 weeks of Android
2
A MESSAGE FROM OUR CEO
1
A/B Testing
1
A4A
4
Accelerator
5
Accessibility
1
accuracy
1
Actions on Google
16
Activation Atlas
1
Addy Osmani
1
ADK
2
AdMob
32
Ads
71
Ads API
98
ads query language
2
ads scripts
2
Advanced Protection Program
3
AdWords API
25
adwords scripts
2
Agency
1
AI
14
AIY
3
AIY Vision Kit
2
ALPN
1
AMP
120
AMP Cache
9
AMP Camp
2
AMP CSS
1
AMP Extension
1
AMP Fest
1
AMP for Email
4
AMP Optimizer
1
AMP Packager
1
AMP Playground
1
AMP Plugin
1
AMP SSR
1
AMP Story
4
AMP Toolbox
1
amp-bind
1
amp.dev
1
AMPHTML Ads
1
Analytics
9
Andorid
12
Android
398
Android 10
1
Android 11
20
Android 11 Compatibility
1
Android 11 final release
1
Android 11 meetups
1
Android 9
1
android api
1
Android App Bundle
1
Android App Development
23
Android Architecture
1
Android Architecture Components
1
Android Auto
1
Android Design Support Library
1
Android Developer
14
Android Developer Story
4
Android Developers
13
Android Enterprise
6
Android for cars
2
Android Go
1
Android Jetpack
6
Android N
18
Android O
14
Android Open Source Project
1
Android P
7
Android Pay
1
android privacy
1
Android Q
13
Android Ready SE Alliance
1
android security
5
Android Security Year in Review
1
Android StrongBox
1
Android Studio
47
Android Studio 4.1
1
Android Support Library
6
Android Things
15
Android Tools
2
Android TV
11
Android Vitals
4
Android Wear
29
android11
6
androidmarket
3
androidstudio
1
AndroidX
6
Angular
2
Angular 2
2
AngularJS
2
Anthos
2
AoG
1
aosp
1
API
27
APIExpert
45
apk
2
APM
1
app
3
App Action
1
App Bundle
2
app check
1
app engine
24
App Indexing
7
App Invites
6
App Maker
2
App modernization
1
AppCompat
2
Apps Flutter eBay
1
Apps Script
12
AppSheet
1
aprilfool
4
AR
2
Architecture Components
7
ARCore
1
ArtTech
1
asset-based extensions
2
assets
1
Associate Android Developer Certificate
1
Attribution Reporting
1
Audio
7
Auth Code
1
Authentication
9
AuthSub
2
Autofill
5
AutoML
1
Autotrack
2
award
1
Awareness API
1
basemap
1
basic-card
1
Beacons
6
bento
2
BERT
1
Best Practices
1
beta
3
Better Ads Standards
3
BigQuery
10
Billing
1
Biometrics
1
BLE
4
Blink
1
Blockly
1
blogger
1
BodyPix
1
bootcamp
1
Brillo
1
Brotli
2
Budou
1
Buildbetterapps
2
C++
1
Calendar
3
call ads
1
campaign
2
campaignsharedset
1
Campus
1
Canvas
1
Cardboard
4
Career
1
Case Study
3
CCPA
1
CDS 2020
3
CDS Recap 2020
3
Certificate
3
changestatus
1
chrome
232
chrome 98
1
Chrome Apps
1
Chrome Custom Tab
4
Chrome Dev Summit
5
chrome extension
14
Chrome for Android
2
Chrome for iOS
3
Chrome OS
10
Chrome Tech Talk Night
4
chrome103
1
chrome90
1
Chromebook
4
Chromecast
7
chromewebstore
9
Chromium
7
CLI
1
ClientLogin
3
Closure Compiler
1
Cloud
26
Cloud AI Platform
2
Cloud Firestore
5
Cloud Functions
9
Cloud IoT Device SDK
1
cloud messaging
1
Cloud ML Summit
1
Cloud Next
9
Cloud OnAir
5
Cloud OnBoard
4
Cloud PubSub
1
Cloud Run
1
Cloud Storage
1
Cloud Study Jams
3
Cloud Summit
1
Cloud Test Lab
2
Cloudflare
1
CNN
1
Coalition for Better Ads
2
CocoaPods
1
code review
1
codejam
5
codelab
5
Codepen
1
Colaboratory
1
Common Criteria
1
Community
5
compatibility
1
Compose
1
compute engine
3
consent
1
Contests
1
Context
1
controls
1
Conversation API
1
conversations
2
conversion
1
Cookie
10
Coral
3
core web vitals
1
COVID-19
2
Crash Reporting
2
Crashlytics
3
Custom Element
1
Custom Model
1
CWV
2
dark theme
1
Dart
2
DataCenter
1
datacloudsummit
1
Daydream
4
deck.gl
2
Deep Learning
4
Delegation
1
Demo Party
1
Design Patterns
1
Design Sprint
3
DesignBytes
1
Designer
1
DevArt
3
DevBytes
6
Developer
15
Developer Console
4
Developer Library
1
Developer Preview
6
Developer Relations
3
Developer Review
1
Developer Student Club
1
DEVELOPERS
1
Developers Story
4
DevFest
11
DevFestX
3
DevOps
1
devtools
4
Dialogflow
1
Differential privacy
2
Digital Asset Links
1
Digital Goods API
1
DirectShare
1
Discover
1
DNS-over-HTTPS
4
Domain
1
Doodle
1
DoubleClick
4
Doze モード
1
drive
2
DSA
1
DSC
1
DX
1
Dynamic Links
3
EarlGrey
1
Easter Egg
1
ECMAScript 2015
1
Eddystone
4
Edge
1
egypt
1
encoder
1
Encryption
1
English
2
Envoy
1
error
1
ES2015
1
ES2016
1
ES6
2
ES7
1
eta
1
Event
6
events
1
extensions
1
Featured
25
Feed
2
feed-based extensions
3
feeds
1
FIDO
7
filter
1
final release
1
Firebase
120
Firebase Admin SDK
6
Firebase Analytics
10
Firebase Auth
4
Firebase Cloud Messaging
10
Firebase Crashlytics
2
Firebase Database
5
firebase for games
1
Firebase Libraries
1
Firebase Notifications
1
Firebase Performance
3
Firebase Remote Config
6
firebase summit
1
Flash
1
FLEDGE
1
FLoC
2
Flutter
7
Flutter App Development
1
flutter3
1
font
3
fraud
1
G Suite
19
game
43
Game Developers Conference 2018
1
Game Developers Conference 2019
1
Game Development
1
gaming
1
gaql
8
Gboard
2
gc_datacloud
1
GCCN
1
GCP
17
GCPUG
1
GDC
1
GDD11JP
56
GDD2010JP
23
GDE
2
GDG
22
GDG Cloud
1
Geo
55
Gingerbread
1
GLIDE
5
Gmail
6
Gmail API
3
Go
1
Go Checksum Database
1
golang
5
goo.gl
1
Google
8
Google account
1
Google Analytics
4
Google API
1
Google Apps
14
Google Apps Script
4
Google Assistant
13
Google Assistant SDK
2
Google Binary Transparency
1
Google Cast
8
Google Chat
3
Google Cloud
39
Google Cloud Day
6
google cloud innovators
1
Google Cloud INSIDE Digital
2
Google Cloud INSIDE Games & Apps
9
Google Cloud INSIDE Media
1
Google Cloud INSIDE Retail
3
Google Cloud Messaging
11
Google Cloud Platform
16
Google Code-in
1
Google Dev Library
1
Google Developer Experts
2
Google Developers Academy
1
Google Developers live
5
Google Developers Summit
2
Google Drive
6
Google Earth
1
Google Fit
2
Google for Games
2
Google for Mobile
2
Google for Startups
7
Google for Work
1
Google I/O
20
Google Identity Services
5
Google Impact Challenge
1
Google Maps
70
Google Maps Platform
65
Google Meet
1
Google ML Summit
2
Google Open Source Peer Bonus
1
Google Pay
5
Google Photo
1
Google Play
148
Google Play App Safety
1
Google Play Billing
1
Google Play Console
15
Google Play developer distribution agreement
1
Google Play Developer Policies
2
Google Play Game Services
10
Google Play Instant
1
Google Play Services
23
Google Play Store
1
Google Play アプリ署名
1
Google Plus
14
Google Search
8
Google Sheets API
3
Google Sign-In
16
Google Slides API
5
Google Summer of Code
1
Google Tag Manager
1
Google Tensor
1
Google Trust Services
3
Google マップ
4
google_ads_api_v6
1
Google+
2
Googleapps
10
GoogleCloud
5
GoogleCloudDay
5
GoogleCloudInside
1
googlecloudlearn
1
googlecloudnext
2
GoogleGames
1
GoogleI/O
30
GoogleLabs
1
GooglePlay
3
GoogleTV
1
GPS
1
Gradle
1
Growth Academy
1
gRPC
2
GTUG
5
GWT
2
hack4jp
2
hackathon
7
handson
1
Hangouts Chat
3
hardware
1
Hosting
3
hotel
1
HTML5
17
HTML5Rocks
1
HTTP/2
5
HTTPS
16
I/O Extended
5
ID Token
1
Identity
17
Identity Toolkit
1
IGF2010
4
IGF2020
2
Ignite
4
IME
12
Indie Game
7
Indie Games Festival
7
Indie Games Festival 2018
2
Indie Games Festival 2019
12
Indie Games Festival 2020
7
Inevitable ja Night
30
innovators hive
2
Insights
1
Instagram
1
Instant Apps
6
intern
2
Invites
1
IO19
3
iOS
22
IoT
7
IPv6
1
Issue Tracker
2
IWD
1
Japanese
6
Japanese Developer
1
Japanese Input
1
java
1
JavaScript
13
Jetpack
5
Jetpack Compose
5
Journeys
1
K-12
1
Key Transparency
1
Knowledge Graph
1
Kotlin
25
Kotlin Android Extensions
1
Kotlin Beginners
3
Kotlin Vocabulary
2
Kubernetes
3
l10n
8
latest
18
latest news
1
launch
1
LaunchPad
2
lifull
1
Lighthouse
1
LINE
1
Local AI
1
Location
1
Lollipop
10
Machine Learning
30
MAD Skills
2
MADSkills
2
Maker Faire Tokyo
1
maps compose
1
Maps JavaScript API
3
maps transportation
1
Marshmallow
10
Material
1
Material Design
31
MDL
2
MDN
1
Messaging
1
metrics
1
MIDI
2
migration
1
mikan
1
Mixed Contents
4
ML
1
ML Kit
12
mlops
1
Mobile
15
Mobile Bootcamp
4
mobile optimized maps
1
Mobile Sites certification
1
Mobile Vision
4
mod_pagespeed
1
Model Maker
1
monetization
2
monetize
3
Mozc
15
Music
1
NativeDriver
2
NativeScript
1
Navigation
1
NBU
1
ndk
3
Nearby
5
News
1
Next Extended
1
Next Tokyo
3
Nexus
2
Nexus S
1
NFC
1
Node.js
3
notifications
2
Noto CJK
1
Now in Android
13
NPAPI
2
NPN
1
oauth
17
officehour
1
One Tap
1
online security
2
open silicon
1
open source
6
OpenAI
1
opencensus
1
opencloudsummit
1
OpenGL
4
OpenID
3
OpenID Connect
4
OpenSocial
1
opensource
18
OpenTitan
1
Optimization
1
OSV
1
p-max
1
Page Experience
1
Password Manager
4
Payment
8
Payment Handler API
1
Payment Request API
2
PDF
1
PEM
33
people
2
People API
3
Performance
16
Performance budget
1
Performance Monitoring
1
performance report
1
permissions
1
personalization
1
PersonFinder
1
Phishing
1
phone
1
Physical Web
3
Pi
1
Pixel
3
Place Picker
1
placements
1
places SDK
1
Platform Stability
1
Play Billing
2
Play Billing Library
2
Play Console
2
Player Analytics
4
Playtime 2017
1
Policy
8
policy compliance
2
policy violations
2
Polymer
7
pricing
1
privacy
15
Privacy Sandbox
22
Progressive Web Apps
14
project hosting
1
Promise
2
Promo code
1
Protocol Buffers
1
PRPL
1
publicdata
1
Push API
1
Push Notification
6
PWA
4
Python
2
query builder
8
query validator
1
QUIC
2
quick builder
1
quick start widget
1
QWIKLABS
3
RAIL
1
raspberry pi
1
React
1
React Native
2
reactive programming
1
Realtime Database
9
Recap Live Japan 2019
3
reCaptcha
1
Redux
1
release
7
Remote Config
4
Remote Display API
1
Requirements
1
Resonance Audio
1
resource type
1
Rewarded Video Ads
2
RKP
1
rmf
2
RSS
1
Run on OS Login
1
Runtime Permission
1
Rust
1
Safe Browsing
3
safety
1
Sample Code
2
Santa Tracker
1
schedule
1
schema
2
schema.org
1
Scorecards
1
script
2
SDG
1
sdk
1
search central
1
secur
1
Secure Element
1
security
85
selfie
1
Service Worker
4
SHA-1
1
Sigstore
3
Site Isolation
1
sketchup
1
SLSA
1
smart displays
1
smart home
1
smart shopping campaign
1
SmartLock for Passwords
5
social
4
Social Good
1
Social Media
1
software development
1
SPDY
3
speak2tweet
1
speaker
1
Spectre
2
Spreadsheet
3
ssc
1
SSR
1
stable release
1
startup
7
Storage
3
story
2
streetview
3
Study Jams
11
subscriptions
5
sunset
10
Swift
2
SwiftShader
1
Symantec
1
tag
1
tapple
1
Task
4
Team Drive
1
techtalk
13
TensorFlow
43
TensorFlow Federated
1
TensorFlow Lite
8
TensorFlow Object Detection API
1
TensorFlow Probability
2
TensorFlow.js
4
test
4
Test Lab
6
TF Certificate
2
TFX
1
The Fast and the Curious
10
Titan M2
1
Titan Security Key
1
TLS
1
Topics
1
ToS
1
trace
1
Transliteration
1
Transparency
1
Trust
1
Trusted Web Activity
1
Trusty OS
1
TrustZone
1
Twitter
1
UA-CH
1
Udacity
20
Unity
3
update
1
usecase
1
User Agent string
2
UX
5
v10
2
v10.1
1
v3
1
v4
1
v5
1
v6.1
1
v7
2
V8
5
v9
1
valuetrack
1
Verifiable Design
1
VP9
1
VR
11
Vulkan
2
Watch Face
2
wave
2
Wear OS
3
Weave
1
Web
36
Web Animations
1
Web Components
9
Web Manifest
1
Web Packaging
3
Web Stories
3
Web Story
3
Web Vitals
7
web.dev
1
WebAssembly
5
WebAuthn
1
WebGL
5
Webhook
1
WebM
1
WebMusic
5
WebRTC
1
WebView
1
Women in Gaming
1
Women Techmakers
1
Women Techmakers Scholars Program
1
WomenDeveloperAcademy
1
Wordpress
2
workmanager
1
WTM
7
Xcode
1
YouTube
18
YouTube API
1
インタビュー
1
コードサンプル
1
サプライ チェーン
1
プライバシー
1
機械学習
3
言論の自由
1
節電
3
定期購入
1
東日本大震災
9
日本語入力
41
ブログ アーカイブ
2022
6
5
4
3
2
1
2021
12
11
10
9
8
7
6
5
4
3
2
1
2020
12
11
10
9
8
7
6
5
4
3
2
1
2019
12
11
10
9
8
7
6
5
4
3
2
1
2018
12
11
10
9
8
7
6
5
4
3
2
1
2017
12
11
10
9
8
7
6
5
4
3
2
1
2016
12
11
10
9
8
7
6
5
4
3
2
1
2015
12
11
10
9
8
7
6
5
4
3
2
2014
12
11
10
9
8
7
6
5
4
3
2
1
2013
12
11
10
9
8
7
6
5
4
3
2
1
2012
12
11
10
9
8
7
6
5
4
3
2
1
2011
12
11
10
9
8
7
6
5
4
3
2
1
2010
12
11
Feed
Follow @googledevjp
"プロダクトに関するご意見は
プロダクトフォーラム
にお願いします"