Google Developers Japan: Tensor2Tensor ライブラリでディープラーニング研究を加速化

Local blog for Japanese speaking developers

Tensor2Tensor ライブラリでディープラーニング研究を加速化

2017年7月10日月曜日

この記事は Google Brain チーム上級科学研究者、Łukasz Kaiser による Google Research Blog の記事 "Accelerating Deep Learning Research with the Tensor2Tensor Library" を元に翻訳・加筆したものです。詳しくは元記事をご覧ください。機械翻訳音声認識物体検知Tensor2TensorAttention Is All You NeedDepthwise Separable Convolutions for Neural Machine TranslationOne Model to Learn Them All

翻訳モデル

トレーニング時間

BLEU（基準点との差）

Transformer（T2T）

8 GPU で 3 日間

28.4（+7.8）

SliceNet（T2T）

32 GPU で 6 日間

26.1（+5.5）

GNMT + Mixture of Experts

64 GPU で 1 日間

26.0（+5.4）

1 GPU で 18 日間

25.1（+4.5）

96 GPU で 1 日間

24.6（+4.0）

32 GPU で 8 日間

23.8（+3.2）

MOSES（フレーズベースの基準点）

該当せず

20.6（+0.0）

標準 WMT 英独翻訳タスクの BLEU スコア（高いほどよい）

GNMT+MoEGNMTフレーズベースの翻訳手順github レポジトリ
モジュール式のマルチタスクトレーニングLSTM Sequence to Sequence モデル数十行のコードMultiModelMS COCOWSJWMTPenn Treebankベストプラクティスの組み込み¹²シーケンス変換問題解析データセット生成ツール

解析モデル

F1 スコア（高いほどよい）

Transformer（T2T）

91.3

91.7

90.4

90.4

Vinyals & Kaiser など

88.3

標準テストセット、WSJ セクション 23 の解析 F1 スコア。Penn Treebank WSJ トレーニングセットのみでトレーニングしたモデルで比較。詳しい結果は論文を参照。

Tensor2Tensor に貢献するgithub レポジトリ謝辞Tensor2TensorSamy Bengio、Eugene Brevdo、Francois Chollet、Aidan N. Gomez、Stephan Gouws、Llion Jones、Łukasz Kaiser、Nal Kalchbrenner、Niki Parmar、Ryan Sepassi、Noam Shazeer、Jakob Uszkoreit、Ashish Vaswani
1 イメージ分類（MNIST、CIFAR-10、CIFAR-100、ImageNet）、イメージのキャプション生成（MS COCO）、翻訳（英独と英仏を含む複数言語 WMT）、言語モデリング（LM1B）、解析（Penn Treebank）、自然言語推論（SNLI）、音声認識（TIMIT）、アルゴリズム問題（逆転、加算、乗算から代数まで、10 以上のタスク）などに利用できる多数のデータセットが含まれています。今後さらに追加される予定で、皆さんのデータセットも歓迎します。^↩

2 LSTM Sequence to Sequence RNN、分割可能なものを含む畳み込みネットワーク（例: Xception）、ByteNet や Neural GPU などの最新研究モデルのほか、レポジトリのアップデートが精力的に行われている本投稿で紹介した最新モデルなどが含まれています。^↩
Kaz Sato - Staff Developer Advocate, Google Cloud

ラベル

ブログアーカイブ

2021
- 4
- 3
- 2
- 1

2020
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2
- 1

2019
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2
- 1

2018
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2
- 1

2017
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2
- 1

2016
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2
- 1

2015
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2

2014
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2
- 1

2013
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2
- 1

2012
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2
- 1

2011
- 12
- 11
- 10
- 9
- 8
- 7
- 6
- 5
- 4
- 3
- 2
- 1

2010
- 12
- 11

Feed

"プロダクトに関するご意見はプロダクトフォーラムにお願いします"

Google
Privacy
Terms