See-Through Captions

2021. 02. 10

See-Through Captions: Real-Time Captioning on Transparent Display for Deaf and Hard-of-Hearing People
ろう・難聴者とのコミュニケーションのためのリアルタイム字幕を表示する透明ディスプレイ

Real-time captioning is a useful technique for deaf and hard-of-hearing (DHH) people to talk to hearing people. With the improvement in device performance and the accuracy of automatic speech recognition (ASR), real-time captioning is becoming an important tool for helping DHH people in their daily lives. To realize higher-quality communication and overcome the limitations of mobile and augmented-reality devices, real-time captioning that can be used comfortably while maintaining nonverbal communication and preventing incorrect recognition is required. Therefore, we propose a real-time captioning system that uses a transparent display. In this system, the captions are presented on both sides of the display to address the problem of incorrect ASR, and the highly transparent display makes it possible to see both the body language and the captions.

音声認識を使ったリアルタイム文字起こしは,声を聞き取りづらい人の日常生活を支援する重要なツールとなりつつある。より良いコミュニケーションを図るためには,表情や身振り手振りなどのボディーランゲージを用い,誤認識を防ぎながら快適に利用できるシステムが必要だ。そこで,透明ディスプレイを利用したリアルタイム文字起こしのシステムを提案する。このシステムでは,自動音声認識の誤認識を話し手が確認するために,文字起こしの結果がディスプレイの両側に向けて表示される。また,透明度の高いディスプレイにより,ボディーランゲージと文字の両方を確認しながら会話を行うことができる。

Authors: Kenta Yamamoto*, Ippei Suzuki*, Akihisa Shitara*, Yoichi Ochiai (Three authors contributed equally to this research.)
Transparent display provided by Japan Display Inc.

著者: 山本健太*,鈴木一平*,設楽明寿*,落合陽一(3人の筆頭著者による研究)
機材提供(透明ディスプレイ):株式会社ジャパンディスプレイ

本プロジェクトに関するお問い合わせ / Contact
E-mail: prj_see-through-captions <-at-> digitalnature.slis.tsukuba.ac.jp (<-at->を@に置き換えてください)
担当: 鈴木一平