Local blog for Japanese speaking developers
「職人の技」の定量化を目指す TensorFlow
2020年5月27日水曜日
この記事は、株式会社ブレインパッド の Lead Data Scientist 吉田 勇太さんによるゲスト投稿です。
広島県熊野町で製造されている伝統工芸品 熊野筆は 180 年の歴史がある日本で最も有名な筆です。
日本の筆の生産の約 8 割が熊野町で行われておりシェアも日本一です。近年では化粧筆として海外の有名ブランドへの OEM(委託者ブランド名製造)の引き合いも増えており、熊野筆は世界にも広まっています。
一方、筆先の肌触り・見た目の美しさなど、機械による定量化が難しい要素が重要である筆作りでは、ほとんどの工程において人間の手作業が必須となります。そこで、経験を積んだ筆職人の育成が重要となりますが、技能習得までに長い時間を要することなどから後継者がなかなか定着して育たないことが課題になっています。
現状の筆職人の作業を一部でも技術でサポートすることは、生産効率向上だけではなく、文化の持続可能性の観点からも重要です。
今回我々は TensorFlow を使って、筆職人の属人的な作業となっている「穂先形状の検品作業」を定量化するツールのプロトタイプを作成しました。将来的には、このツールを用いることで職人作業の定量化、作業量の削減、後継者教育への貢献を目指しています。
熊野筆とは
1840 年頃から製造されている日本の伝統工芸筆です。用途としては書道筆と化粧筆が製造されています。曲線が多い日本語のひらがなを表現するために穂先の柔らかい書道筆が作られていましたが、その特徴を活かして化粧筆が誕生しました。空気に触れているような肌当たりの柔らかさが熊野筆の特徴です。現在では化粧筆の生産が主であり、日本のみならず海外の化粧品メーカーからも注文があります。
伝統技術後継者の育成が課題
柔らかい毛先づくりはすべて、機械ではなく人間の筆職人が手作業で製造しています。熊野筆を製造する職人は現在 1,500 名おり、そのうちの特に高い技術・技法を保持する職人 19 名が
伝統工芸士として登録
されています。
筆職人となるためには技術取得に長い年月がかかること、筆の評価に高い属人性があることなどから後継者教育が難しく、文化を守る意味でも課題になっています。
熊野筆の作り方
熊野筆に使われる毛には馬や狸など 10 種類以上の動物の毛が使われます。穂先の作り方、毛の種類や長さの配合は生産会社ごとに異なっています。また筆職人によって手作業で整形された穂先は、複数人が目でチェックすることで不良品を取り除き、その品質を確認しています。今回のプロジェクトのパートナーである
株式会社晃祐堂
では、この生産方法で一日に 2,000 ~ 4,000 本の熊野筆を製造されています。
熊野筆検品の難しいところ
熊野筆において穂先の形はとても重要です。
熊野筆の穂先は人間が手作業で作成しているため、良品であっても微妙に形が異なります。不良品でも、穂先が全体的に小さい・凹んでいる・毛が飛び出ているなどの極僅かな違いであり、素人には見極めが難しいです。
また時期によって素材となる動物の毛自体も変わることから、良品の形の基準を定量的に定めることもとても困難です。現状では筆職人が経験を元に総合的に判断して良品・不良品を選別しています。
私達の解決方法
そこで我々は TensorFlow を使い、良品・不良品を判定する画像分析ツールをプロトタイピングしました。職人の判断を機械的にどこまで再現できるかへの挑戦です。
小箱型の筐体にカメラと回転台を取り付け、対象となる筆を回転台にセットします。
筆が回転台で 1 周する間に 20 枚の画像を撮影し、それぞれの画像が良品か不良品か判定します。
20 枚の内に指定枚数以上が不良品と判定された場合に、その筆が「不良品」と判断されるようにしています。
学習データ
今回は 200 本の良品筆を職人の方々に選抜していただき、それらから約 5,000 枚の穂先の画像を撮影しモデルの学習に用いました。撮影した画像には
OpenCV
による輪郭抽出をすることで、学習に必要な穂先のみが写るように前処理をしています。
モデリング
シンプルな
Convolutional Auto Encoder
(CAE)を TensorFlow で構築しました。このモデルには先程の 5,000 枚の良品筆の穂先画像を学習させました。
良品筆の画像特徴を学習したこの CAE は、不良品画像(例えば、穂先が細すぎる画像)をインプットしても、学習した特徴量を元に「良品のような穂先をした画像」がアウトプット(再構成)する性質をもったモデルになります。
その後、インプットした筆画像とアウトプットされた筆画像との差分から再構成誤差を計算します。この再構成誤差を可視化すると、これはそのまま「インプットした筆のどこが不良箇所なのか」を表す不良品箇所の情報と見ることができます。
結果
この学習済みモデルを使って別の良品・不良品画像をインプットしたときの結果を見てみましょう。
良品筆をモデルにインプットし再構成された画像では再構成誤差(= 不良品箇所, 白い領域)はほとんど見られません。一方、不良品をインプットして再構成された画像では、相対的に大きな不良品箇所が確認できます。
参考として、1 本の筆の再構成画像を繋げて動画にしたものが以下です。赤い箇所が不良品箇所を表しています。静止画よりも不良品箇所が視覚的にわかりやすいと思います。(左 : 良品筆、中央&右 : 不良品筆)
評価方法
モデルによる定量的な評価(Precision, Recall の算出)と筆職人の定性的な評価の両方を加味し、再構成誤差の白いピクセルが 40 ピクセル以上存在すれば、その筆画像を「不良品」と分類するしきい値を設けました。
今回は特に、「不良品筆の検知」を重要視してしきい値を設定しましたが、この判定方法によって分類される筆は、概ね筆職人の評価結果と一致します。
また、その筆一本単位での良品 / 不良品判定方法では、1 本の筆が回転台で 1 周する間に 20 枚の画像を撮影し、それぞれの画像が良品か不良品か判定します。最終的に 20 枚中 6 枚が不良品と判定された場合に、その筆が「不良品」と判断されるようにしています。6 枚というしきい値も筆職人の方と相談して決定しました。
このツールの実際の出力結果画面は以下です。
展望
今回のプロジェクトでは、不良箇所を可視化して高い説明可能性を示しつつ、筆職人と概ね同じ判定結果を出すことができるプロトタイプを作ることができました。今後はこのような場面で活用できると考えています。
職人作業の定量化 : 人間の感覚だけに依存しない定量的な評価方法を確立していきたいと思います。方法の異なる判断の方法がいくつかある方が品質管理の観点でも有利です。職人の定性的な判断を定量的に援護するツールになれば良いと思います。
作業量の削減 : 職人の判断感覚を反映したツールを利用することで、長い経験を持った人以外でも検品作業が可能になります。また人間による何十ものチェック ポイントの中の 1 つを機械チェックに置き換えることで作業の一部は軽減することができます。
後継者教育への貢献 : 職人教育の場において、不良品箇所を可視化した再構成誤差の図は非常にリッチな情報となります。どこがどのくらい不良らしいのかを定量的に伝えられることは技術を伝える上で非常に有益です。
穂先形状の判定は、高い専門性と人間の感覚が重要である作業であるため、機械による作業の完全置き換えはまだ難しい状態です。今回の場合のように、人間の作業は非常に精度が高く、人間作業を前提に構築された現状のオペレーションでも効率が低いわけではないことが多いです。そのため、機能検証では機械学習の単純な検知精度だけではなく、既存のオペレーションと AI システムの可能性をきちんと理解して、どこにどのように AI を適応するのがベストかを見極めることが大切です。今回はまず「穂先形状の検品作業」という一部の作業で AI モデルの可能性を確かめることができました。今後はモデル精度・スループットの改善と共に、既存オペレーションへのこのツールの現実的な導入方法についても考えていくつもりです。
<参考>
株式会社ブレインパッド
は、2004 年の創業以来、AI、ビッグデータなどの言葉が広まる前から、データ活用のリーディングカンパニーとして、アナリティクスとエンジニアリングを駆使し、企業のビジネス創造と経営改善をご支援しています。支援実績は、金融・小売・メーカー・サービスなど幅広い業種を対象に 1,000 社を超え、データ活用のコンセプトデザインから運用による成果創出までをトータルに支援することで、データを価値に変えるお手伝いをしています。一般社団法人データサイエンティスト協会代表理事、一般社団法人日本ディープラーニング協会理事も担っており、近年はビジネス課題を解決するために機械学習・深層学習を用いる AI 活用事例を多数生み出しています。
Reviewed by
Khanh LeViet - Developer Relations Team
and
Takuo Suzuki - Developer Relations Team
ラベル
.app
1
.dev
1
#11WeeksOfAndroid
13
#11WeeksOfAndroid Android TV
1
#Android11
3
#DevFest16
1
#DevFest17
1
#DevFest18
1
#DevFest19
1
#DevFest20
1
#hack4jp
3
11 weeks of Android
2
A/B Testing
1
A4A
4
Accelerator
3
Accessibility
1
Actions on Google
16
Activation Atlas
1
Addy Osmani
1
ADK
2
AdMob
32
Ads
65
Ads API
58
Advanced Protection Program
3
AdWords API
11
Agency
1
AI
13
AIY
3
AIY Vision Kit
2
ALPN
1
AMP
114
AMP Cache
9
AMP Camp
2
AMP CSS
1
AMP Extension
1
AMP Fest
1
AMP for Email
4
AMP Optimizer
1
AMP Packager
1
AMP Playground
1
AMP Plugin
1
AMP SSR
1
AMP Story
4
AMP Toolbox
1
amp-bind
1
amp.dev
1
AMPHTML Ads
1
Analytics
9
Andorid
12
Android
391
Android 10
1
Android 11
20
Android 11 Compatibility
1
Android 11 final release
1
Android 11 meetups
1
Android 9
1
Android App Bundle
1
Android App Development
21
Android Architecture
1
Android Architecture Components
1
Android Auto
1
Android Design Support Library
1
Android Developer
13
Android Developer Story
4
Android Developers
12
Android Enterprise
5
Android for cars
2
Android Go
1
Android Jetpack
6
Android N
18
Android O
14
Android Open Source Project
1
Android P
7
Android Pay
1
android privacy
1
Android Q
13
android security
2
Android Security Year in Review
1
Android Studio
47
Android Studio 4.1
1
Android Support Library
6
Android Things
15
Android Tools
2
Android TV
11
Android Vitals
4
Android Wear
29
android11
6
androidmarket
3
androidstudio
1
AndroidX
6
Angular
2
Angular 2
2
AngularJS
2
Anthos
2
AoG
1
aosp
1
API
25
APIExpert
45
apk
2
APM
1
app
3
App Action
1
App Bundle
2
app engine
23
App Indexing
7
App Invites
6
App Maker
2
AppCompat
2
Apps Script
11
aprilfool
4
AR
2
Architecture Components
7
ARCore
1
ArtTech
1
Associate Android Developer Certificate
1
Audio
7
Auth Code
1
Authentication
9
AuthSub
2
Autofill
3
AutoML
1
Autotrack
2
award
1
Awareness API
1
Beacons
6
BERT
1
Best Practices
1
Better Ads Standards
3
BigQuery
10
Billing
1
Biometrics
1
BLE
4
Blink
1
Blockly
1
blogger
1
BodyPix
1
Brillo
1
Brotli
2
Budou
1
Buildbetterapps
2
Calendar
3
campaign
1
Campus
1
Canvas
1
Cardboard
4
Career
1
Case Study
1
CCPA
1
CDS 2020
3
CDS Recap 2020
3
Certificate
2
chrome
182
Chrome Custom Tab
3
Chrome Dev Summit
5
chrome extension
14
Chrome for Android
2
Chrome for iOS
3
Chrome OS
7
Chrome Tech Talk Night
4
Chromebook
4
Chromecast
7
chromewebstore
9
Chromium
6
CLI
1
ClientLogin
3
Closure Compiler
1
Cloud
22
Cloud AI Platform
1
Cloud Firestore
5
Cloud Functions
9
Cloud IoT Device SDK
1
Cloud Next
9
Cloud OnAir
2
Cloud OnBoard
4
Cloud PubSub
1
Cloud Storage
1
Cloud Study Jams
3
Cloud Summit
1
Cloud Test Lab
2
Cloudflare
1
CNN
1
Coalition for Better Ads
2
CocoaPods
1
code review
1
codejam
5
codelab
5
Codepen
1
Colaboratory
1
Community
5
compatibility
1
Compose
1
compute engine
3
Contests
1
Context
1
controls
1
Conversation API
1
conversations
2
Cookie
9
Coral
2
COVID-19
2
Crash Reporting
2
Crashlytics
2
Custom Element
1
Custom Model
1
dark theme
1
Dart
2
DataCenter
1
Daydream
4
Deep Learning
4
Delegation
1
Demo Party
1
Design Patterns
1
Design Sprint
3
DesignBytes
1
Designer
1
DevArt
3
DevBytes
6
Developer
14
Developer Console
4
Developer Preview
6
Developer Relations
2
Developer Review
1
Developers Story
4
DevFest
10
DevFestX
3
DevOps
1
devtools
4
Dialogflow
1
Differential privacy
1
Digital Goods API
1
DirectShare
1
Discover
1
DNS-over-HTTPS
4
Domain
1
Doodle
1
DoubleClick
4
Doze モード
1
drive
2
DX
1
Dynamic Links
3
EarlGrey
1
Easter Egg
1
ECMAScript 2015
1
Eddystone
4
Edge
1
egypt
1
Encryption
1
English
2
Envoy
1
ES2015
1
ES2016
1
ES6
2
ES7
1
Event
6
Featured
22
FIDO
5
final release
1
Firebase
120
Firebase Admin SDK
6
Firebase Analytics
10
Firebase Auth
4
Firebase Cloud Messaging
10
Firebase Crashlytics
2
Firebase Database
5
Firebase Libraries
1
Firebase Notifications
1
Firebase Performance
3
Firebase Remote Config
6
Flash
1
Flutter
6
Flutter App Development
1
font
3
fraud
1
G Suite
19
game
41
Game Developers Conference 2018
1
Game Developers Conference 2019
1
Gboard
1
GCP
17
GCPUG
1
GDC
1
GDD11JP
56
GDD2010JP
23
GDE
2
GDG
21
GDG Cloud
1
Geo
55
Gingerbread
1
GLIDE
5
Gmail
5
Gmail API
2
Go
1
golang
5
goo.gl
1
Google
7
Google Analytics
3
Google API
1
Google Apps
14
Google Apps Script
4
Google Assistant
10
Google Assistant SDK
2
Google Cast
8
Google Cloud
34
Google Cloud Day
4
Google Cloud INSIDE Digital
2
Google Cloud INSIDE Games & Apps
8
Google Cloud INSIDE Media
1
Google Cloud INSIDE Retail
3
Google Cloud Messaging
11
Google Cloud Platform
16
Google Code-in
1
Google Developer Experts
2
Google Developers Academy
1
Google Developers live
5
Google Developers Summit
2
Google Drive
6
Google Earth
1
Google Fit
2
Google for Games
2
Google for Mobile
2
Google for Startups
4
Google for Work
1
Google I/O
17
Google Impact Challenge
1
Google Maps
62
Google Maps Platform
50
Google ML Summit
2
Google Open Source Peer Bonus
1
Google Pay
4
Google Photo
1
Google Play
144
Google Play App Safety
1
Google Play Console
14
Google Play developer distribution agreement
1
Google Play Developer Policies
2
Google Play Game Services
10
Google Play Instant
1
Google Play Services
23
Google Play Store
1
Google Play アプリ署名
1
Google Plus
14
Google Search
7
Google Sheets API
3
Google Sign-In
12
Google Slides API
5
Google Summer of Code
1
Google Tag Manager
1
Google Trust Services
2
Google マップ
4
Google+
2
Googleapps
10
GoogleGames
1
GoogleI/O
28
GoogleLabs
1
GooglePlay
3
GoogleTV
1
GPS
1
Gradle
1
gRPC
2
GTUG
5
GWT
2
hack4jp
2
hackathon
7
Hangouts Chat
2
Hosting
3
HTML5
17
HTML5Rocks
1
HTTP/2
5
HTTPS
14
I/O Extended
4
ID Token
1
Identity
15
Identity Toolkit
1
IGF2010
4
IGF2020
2
Ignite
4
IME
11
Indie Game
7
Indie Games Festival
7
Indie Games Festival 2018
2
Indie Games Festival 2019
12
Indie Games Festival 2020
7
Inevitable ja Night
30
Insights
1
Instagram
1
Instant Apps
6
intern
2
Invites
1
IO19
3
iOS
21
IoT
7
IPv6
1
Issue Tracker
2
IWD
1
Japanese
5
Japanese Input
1
JavaScript
10
Jetpack
4
Jetpack Compose
3
K-12
1
Key Transparency
1
Knowledge Graph
1
Kotlin
22
Kotlin Android Extensions
1
Kotlin Beginners
3
Kotlin Vocabulary
2
Kubernetes
2
l10n
8
latest
16
latest news
1
LaunchPad
2
lifull
1
Lighthouse
1
LINE
1
Local AI
1
Location
1
Lollipop
10
Machine Learning
29
MAD Skills
2
MADSkills
1
Maker Faire Tokyo
1
Marshmallow
10
Material
1
Material Design
31
MDL
1
MDN
1
metrics
1
MIDI
2
mikan
1
Mixed Contents
4
ML
1
ML Kit
12
Mobile
15
Mobile Bootcamp
4
Mobile Sites certification
1
Mobile Vision
4
mod_pagespeed
1
Model Maker
1
monetization
2
monetize
3
Mozc
15
Music
1
NativeDriver
2
NativeScript
1
Navigation
1
NBU
1
ndk
3
Nearby
5
News
1
Next Extended
1
Next Tokyo
3
Nexus
2
Nexus S
1
NFC
1
Node.js
3
notifications
2
Noto CJK
1
Now in Android
12
NPAPI
2
NPN
1
oauth
12
open source
1
OpenAI
1
opencensus
1
OpenGL
4
OpenID
3
OpenID Connect
4
OpenSocial
1
opensource
18
OpenTitan
1
Optimization
1
Page Experience
1
Password Manager
1
Payment
8
Payment Handler API
1
Payment Request API
1
PDF
1
PEM
33
people
2
People API
3
Performance
14
Performance budget
1
permissions
1
PersonFinder
1
Physical Web
3
Pi
1
Pixel
1
Place Picker
1
Platform Stability
1
Play Billing
2
Play Billing Library
2
Play Console
2
Play Store
1
Player Analytics
4
Playtime 2017
1
Policy
6
policy compliance
2
policy violations
2
Polymer
7
privacy
13
Privacy Sandbox
13
Progressive Web Apps
14
project hosting
1
Promise
1
Promo code
1
Protocol Buffers
1
PRPL
1
publicdata
1
Push API
1
Push Notification
6
PWA
3
Python
2
QUIC
2
QWIKLABS
3
RAIL
1
React
1
React Native
2
Realtime Database
9
Recap Live Japan 2019
3
reCaptcha
1
Redux
1
release
1
Remote Config
3
Remote Display API
1
Requirements
1
Resonance Audio
1
Rewarded Video Ads
2
Runtime Permission
1
Safe Browsing
3
safety
1
Sample Code
2
Santa Tracker
1
schema.org
1
secur
1
security
70
Service Worker
4
SHA-1
1
sketchup
1
SmartLock for Passwords
4
social
4
Social Good
1
Social Media
1
software development
1
SPDY
3
speak2tweet
1
Spreadsheet
3
SSR
1
stable release
1
startup
7
Storage
2
story
1
streetview
3
Study Jams
9
subscriptions
4
Swift
2
SwiftShader
1
Symantec
1
tapple
1
Task
4
Team Drive
1
techtalk
13
TensorFlow
41
TensorFlow Federated
1
TensorFlow Lite
8
TensorFlow Object Detection API
1
TensorFlow Probability
2
TensorFlow.js
4
test
4
Test Lab
6
TF Certificate
2
TFX
1
TLS
1
ToS
1
trace
1
Transliteration
1
Trusted Web Activity
1
Twitter
1
Udacity
20
Unity
3
UX
5
V8
3
VP9
1
VR
11
Vulkan
2
Watch Face
2
wave
2
Wear OS
3
Weave
1
Web
34
Web Animations
1
Web Components
7
Web Manifest
1
Web Packaging
3
Web Stories
2
Web Story
3
Web Vitals
5
web.dev
1
WebAssembly
5
WebGL
1
WebM
1
WebMusic
5
WebRTC
1
WebView
1
Women Techmakers Scholars Program
1
Wordpress
1
WTM
6
Xcode
1
YouTube
17
YouTube API
1
インタビュー
1
コードサンプル
1
プライバシー
1
機械学習
3
言論の自由
1
節電
3
定期購入
1
東日本大震災
9
日本語入力
41
ブログ アーカイブ
2021
1
2020
12
11
10
9
8
7
6
5
4
3
2
1
2019
12
11
10
9
8
7
6
5
4
3
2
1
2018
12
11
10
9
8
7
6
5
4
3
2
1
2017
12
11
10
9
8
7
6
5
4
3
2
1
2016
12
11
10
9
8
7
6
5
4
3
2
1
2015
12
11
10
9
8
7
6
5
4
3
2
2014
12
11
10
9
8
7
6
5
4
3
2
1
2013
12
11
10
9
8
7
6
5
4
3
2
1
2012
12
11
10
9
8
7
6
5
4
3
2
1
2011
12
11
10
9
8
7
6
5
4
3
2
1
2010
12
11
Feed
Follow @googledevjp
"プロダクトに関するご意見は
プロダクトフォーラム
にお願いします"