Google I/O 2021 アシスタント関連のまとめ
Google I/O 2021 のバーチャル ステージがすべて終了したので、App Actions、Conversational Actions、Smart Home Actions についてのハイライトや新しいプロダクトのお知らせをお届けします。I/O の期間中には、たくさんのすばらしいライブイベントやミートアップも開催されました。その要約も併せて紹介します。
App Actions
App Actions を使うと、Android アプリを拡張して Google アシスタントを導入できます。Android デベロッパーのために、App Actions が Android フレームワークの一部になったことをお知らせできたのはうれしいことです。ベータ版として shortcuts.xml 構成リソースが導入され、最新の Google Assistant Plug App Actions はますます Android プラットフォームに近づいています。
Capabilities
Capabilities は新しい Android フレームワーク API で、ユーザーが皆さんのアプリを起動し、特定のタスクを直接行う際に使うアクションの種類を宣言できます。アシスタントは、実際に利用できる Capabilities API の最初の具体的実装を提供します。Capabilities では、shortcuts.xml リソースを作成して機能を定義し、起動方法と起動時に何をするかという 2 つのことを指定します。Capability を追加するには、組み込みインテント（BII）を使います。組み込みインテントは、ユーザーの入力を個々のフィールドにマッピングするために必要な自然言語理解をすべて提供するインテントで、あらかじめシステムに組み込まれています。BII とユーザーの会話が一致すると、Capability によって Android インテントが起動し、解釈済みの BII フィールドがアプリに渡されます。そのため、応答として何を表示すればよいかがわかります。
このフレームワークの統合は、現在ベータリリース段階にあり、将来的には actions.xml を使う App Actions のオリジナル実装の後継となる予定です。アプリに新しい shortcuts.xml と古い actions.xml の両方が含まれる場合、後者は無視されます。
検出のための音声ショートカット
Google アシスタントは、関連性の高いショートカットをユーザーに提案します。また、ユーザーが「OK Google, ショートカット」と言うと、ショートカットを簡単に探して追加できるようになっています。
現在ベータ版の Google Shortcuts Integration ライブラリを使うと、動的に任意の数のショートカットを Google にプッシュし、ユーザーに音声ショートカットとして表示できるようになります。アシスタントは、関連性の高いショートカットをユーザーに提案し、皆さんの Android アプリをさらに便利に利用できるようにします。
In-App Promo SDK
アシスタントができるのは、ショートカットの提案だけではありません。現在ベータ版の In-App Promo SDK を使うと、ユーザーがアシスタントの音声コマンドで繰り返し利用するアクションのショートカットを、アプリであらかじめ提案できます。この SDK では、提案したいショートカットをそのユーザーがすでに作成しているかをチェックし、ショートカットの作成を促すことができます。
Android Studio の Google アシスタント プラグイン
Capabilities のテストをサポートするため、Android Studio の Google Assistant プラグインがリリースされました。これには、更新版の App Action Test Tool が含まれています。App Action のプレビューを作成できるので、Play ストアに公開する前に統合をテストできます。
新しい App Actions リソース
以下の新規コンテンツや更新版コンテンツをご覧ください。
- 更新版のドキュメントと、 App Action 概要動画
- 新しいベータ版 Codelab では、shortcuts.xml で定義した Capabilities を使って一般的な 2 つの BII を追加する方法について説明しています。
- App Actions プレイリストには9 つの新しい動画が追加されました。Android アプリを音声に対応させる方法やアシスタント用の Android ショートカットについてのセッション、App Actions AMA、初めての App Action の作り方、App Actions テストツールについての短い 2 分デモなどが含まれます。
Conversational Actions
Google アシスタントの新機能基調講演では、Google アシスタント デベロッパー プラットフォームのプロダクト ディレクターを務める Rebecca Nathenson が、Conversational Actions について今後予定しているいくつかのアップデートや変更点に触れました。
インタラクティブ描画キャンバスのアップデート
これから数週間で、インタラクティブ描画キャンバスに新機能を導入します。描画キャンバスのデベロッパーは、クライアント側でインテントのフルフィルメントを管理できるようになるので、Webhook をはさむ必要がなくなる場合があります。トランザクションやアカウントのリンクなど、サーバー側のフルフィルメントが必要なユースケースでは、必要に応じてサーバー側フルフィルメントをオプトインできるようになります。
さらに、新しい関数 outputTts() を導入し、クライアント側でテキスト読み上げを起動できるようにします。これにより、エンドユーザーのレイテンシが改善されます。
さらに、ホームと個人ユーザーの両方のストレージの取得や設定をする API がアップデートされ、ユーザー情報をクライアント側に格納できるようになります。これまで、ユーザー情報には Webhook でしかアクセスできませんでしたが、ウェブアプリ内に永続化できるようになります。
以上のインタラクティブ描画キャンバスの新機能は、まもなく Conversational Actions のデベロッパー プレビューの一部として公開されます。新機能の詳細については、プレビューページをご覧ください。
スマート ディスプレイのトランザクション UX のアップデート
同じく近日中に Conversational Actions に導入されるのが、トランザクションを完了する際のワークフローのアップデートです。これにより、ユーザーは選択した支払い方法の CVC コードを確認することで、スマート スクリーンからトランザクションを完了できるようになります。この変更について詳細を確認したい方は、スマート デバイスでの新しいトランザクション機能のデモ動画をご覧ください。
Conversational Action をリリースする際のヒント
マーケティング チームの編成戦略や、Conversational Action をリリースする際の市場開拓計画については、テクニカル セッション Conversational Actions のリリースを成功させるをご覧ください。
AMA : Google アシスタントでのゲーム
Google アシスタントと Conversational Actions を使ったゲームの構築に興味がある方には、AMA の録画をご覧ください。Google 社員がゲームの設計、構築、リリースに関する I/O 参加者からの質問に回答しています。
Smart Home Actions
スマートホームの新機能基調講演では、Smart Home Actions のいくつかのアップデートについて説明しました。質の高いスマートホーム統合に今後も注力するために改訂版のポリシーをリリースするとともに、ユーザーのためにエンゲージメントと信頼性が高い Actions を構築できるように、新機能を追加しました。
テストスイートとアナリティクス
更新版のスマートホーム向けテストスイートでは、TTS を使わない自動テストがサポートされます。さらに、アナリティクス ダッシュボードが拡張され、さらに詳しいログや徹底的に掘り下げたエラーレポートが表示されるようになっています。これにより、Action の潜在的な問題をすばやく特定できるようになります。この拡張の詳細については、スマートホームのデバッグ ワークショップをお試しください。また、2 つの新しいデバッグ Codelabs があり、ツールを使って Action の質を改善する操作を習得できます。
通知
事前通知のサポートを拡大し、RunCycle と SensorState のデバイス特性を含めました。ユーザーは、複数のデバイス イベントの事前通知を受信できるようになります。また、フォローアップ レスポンスのリリースについてもお知らせしました。フォローアップ レスポンスを使うと、スマート デバイスがデバイスの変更の成功や失敗について非同期でユーザーに通知できます。
WebRTC
CameraStream 特性に WebRTC サポートを追加しました。スマートカメラのユーザーは、低遅延とデバイス間の半二重トークによるメリットを活用できるようになります。基調講演で触れたように、スマートカメラでは、現在サポートされているその他のプロトコルのアップデートもする予定です。
Bluetooth Seamless Setup
オンボーディング操作を改善するため、Bluetooth Seamless Setup によるデバイスのオンボーディングで、BLE（Bluetooth Low Energy）を有効化できるようになります。Google Home と Nest デバイスは、ローカルハブとして動作し、ローカル フルフィルメントが構成された任意の Action で、近くのデバイスのプロビジョニングと登録ができるようになります。
Matter
Project CHIP は正式に Matter という名称になりました。この IP ベースの接続プロトコルが正式にリリースされたら、このプロトコルを使うデバイスをサポートする予定です。詳しくは、Project CHIP 入門のテクニカル セッションをご覧ください。
エコシステムとコミュニティ
Voice AI を構築する女性たちと音声革命におけるその役割
Voice AI は私たちのテクノロジーとの関わりを根本的に変えつつあり、その未来はそれを構築する人たちにかかっています。このセッションでは、Google のプロダクト管理シニア ディレクターである Lilian Rincon のインタビューなど、Voice AI の分野で活躍する才能ある女性たちを紹介します。また、簡単ではないが不可欠な目標である、Voice AI におけるジェンダー平等の達成に向けた戦略も紹介します。
AMA : アシスタント投資プログラムによるスタートアップへの資金提供
この「Ask Me Anything」セッションを進行するのは、Google for Startups Accelerator : Voice AI を運営するオールスター チームです。このチームが、音声技術を使ったビジネスの構築に関心のある世界中のスタートアップ企業や投資家からの質問に答えました。イベントの録画は、こちらからご覧ください。AMA セッションの翌日には、Voice AI アクセラレータ 2021 年のデモデーが開催されました。プレゼンテーションの録画は、こちらからご覧いただけます。
Women in Voice ミートアップ
私たちは、Voice AI のすばらしい女性たちと交流し、エコシステムの包括性を高め、音声業界に関わる女性たちの成功をサポートする方法について話し合いました。このミートアップを主催したのは、Leslie Garcia-Amaya、Jessica Dene Earley-Cha、Karina Alarcon、Mike Bifulco、Cathy Pearl、Toni Klopfenstein、Shikha Kapoor、Walquiria Saad です。
スマートホーム デベロッパー ミートアップ
今年のバーチャル I/O ならではの特徴の 1 つは、世界中の学生、ホビイスト、デベロッパーと交流し、スマートホームの現状や今後の機能などについて話し合えたことでした。アジア太平洋、南北アメリカ、ヨーロッパ中東アフリカのリージョンで 3 つのミートアップを開催し、コミュニティからのすばらしいフィードバックを集めました。
アシスタント Google Developers Experts ミートアップ
毎年、Assistant Google Developer Expert ミートアップを開催し、交流と知識の共有をしています。今年は、Google アシスタントの構築に興味がある方全員をお招きし、人脈を作ったり交流したりすることができました。最後には、一部の参加者がアシスタント サンドボックスに集まって、バーチャル写真を撮影しました。
お読みいただき、ありがとうございました！意見や質問を共有したい方は、Reddit の r/GoogleAssistantDev からお願いします。
Twitter で @ActionsOnGoogle をフォローして最新情報を受け取り、#AoGDevs を付けてツイートして、皆さんが作っているものについて教えてください。皆さんのアプリのリリースを楽しみにしています。
