クラウド×メディア技術×IoT@技研公開2019
2019-06-03
azblob://2022/11/11/eyecatch/2019-06-03-clould-media-iot-000.jpg

はじめに

5/30~6/2に開催されたNHK放送技術研究所の技研公開2019にクラウド関連の展示があると聞いたため、参加してきました。
この記事ではメディア技術×クラウドの展示とメディア技術×IoTの展示について紹介します。
本題に入る前に全体の傾向を紹介します。

技研公開2019の傾向

約40ブース中18ブースはVR/ARを活用してより臨場感・実物感の高いコンテンツの実現を目指すリアリティーイメージングの展示でした。 中には、iPadやVRゴーグルでどのようにテレビ視聴が拡張されるかを体験できるブースもありました。
具体的には、テレビの中で動く人物がテレビを飛び出して動いたり、出演者がとなりで番組の解説をしてくれたり、といったようによりテレビ越しだった現実を身近に感じさせてくれる拡張です。
また、テレビ視聴デバイスとしてVRゴーグル以外にもこのような非接触型のものも考えられているようです。これなら肩こりにはならなそうですね。

ドーム型ディスプレイ

メディア技術×クラウド

ここでは、コンテンツ制作を行うための基盤技術に関する展示について紹介します。
コンテンツの多様化に伴って、基盤技術のマイクロサービス化とマルチクラウド化に取り組んでいる様子がみられました。 そのコンテンツ制作システムは欧州放送連合が作成しているメディアサービスのフレームワークの1つであるMedia Cloud and Microservice Architecture (MCMA) で作成しているそうです。

マイクロサービス、マルチクラウド

今回展示されていたのはコンテンツを作成するためのツールをAzure Logic Appsのようにノンコーディングで作成するMAMシステムです。
システム構成は以下のようになっていて、外部のAPIを呼び出す部分を共通化することで他のツールへの移行を容易にしています。 また、MAMシステム自体はAmazon Web Service(AWS)を使って構成しているそうです。 なぜAWSを使った構成にしているのかを伺ったところ、欧州放送連合がAWSを使っているためだそうです。 実際に運用した時の料金なども考慮してAzureなどに移行することも考えているそうですが、なかなか難しいかもしれないとのことでした。

MAMシステムの詳細

このMAMシステムを用いて、作成したアプリも展示されていました。 システム構成図はうっかり撮影し忘れてしまったのですが、Logic Appsのデザイナー画面のような見た目でした。
今回は入力が映像で、音声認識した後、多言語に翻訳&音声合成、出力は翻訳文とその音声合成結果となっていました。 写真は実際に実行したときの出力結果です。

メディア技術×IoT

ここではメディア技術×IoTの展示について紹介します。
様々なIoT家電が登場している今、メディアとIoTがどのように連携するのかを実際に2つのデモで目にすることができました。

まずは1つ目の料理番組のデモについて紹介します。 流れとしては

  1. テレビに料理番組が流れる
  2. 冷蔵庫のアイコンがメッセージを受信したと点灯
  3. そのアイコンをタッチすると現在放送している料理が作成できるかを発話
  4. ディスプレイにレシピが表示される

といった感じでした。

料理番組とIOT

また、レシピの表示画面は以下のようになっています。
素晴らしいポイントとしては冷蔵庫の中のものを認識して、レシピの材料がそろっているかどうかを確認し、その材料がなかった場合は代替えできるものを提案しているところです。 代替食材の発見手法には大量のレシピデータから食材と調理方法を特徴量としたword2vecを用いて食材同士の類似度を算出し、代替食材を提案する研究[1]などが利用されていそうですね。

レシピの表示画面

2つ目のフィギュアスケートのデモについて紹介します。 流れとしては

  1. テレビをつけたまま、洗濯機のもとに行くと洗濯機のアイコンが点灯
  2. アイコンをタッチすると、「まもなく**選手の演技になります」といったように良いシーンを見逃さないようにアナウンス
  3. スマートミラーにはフィギュアスケートの滑走順路などが表示され、離れた場所にいてもテレビの情報を見ることが可能
  4. テレビの元に向かうと、滑走が始まるため、騒音の元になるルンバや空気清浄機が停止

といった感じでした。

フィギュアスケートとIOT

視聴者がテレビの前を離れても、周囲の様々なIoTデバイスが様々な方法で番組の内容を教えてくれるような仕組みは近未来感があって面白いですね。

まとめ

技研公開2019で見学した

  • メディア技術×クラウド:基盤技術のマイクロサービス化とマルチクラウド化
  • メディア技術×IoT:テレビの前以外でも番組の内容を様々なIoTを通して知ることができるような仕組みの開発

を紹介しました。
おそらく、次回は技研公開2019で見学したNLP技術について紹介します。