See-Through Captions

2021. 02. 10

See-Through Captions: Real-Time Captioning on Transparent Display for Deaf and Hard-of-Hearing People
シースルーキャプションズ: ろう・難聴者とのコミュニケーションのためのリアルタイム字幕を表示する透明ディスプレイ

Real-time captioning is a useful technique for deaf and hard-of-hearing (DHH) people to talk to hearing people. With the improvement in device performance and the accuracy of automatic speech recognition (ASR), real-time captioning is becoming an important tool for helping DHH people in their daily lives. To realize higher-quality communication and overcome the limitations of mobile and augmented-reality devices, real-time captioning that can be used comfortably while maintaining nonverbal communication and preventing incorrect recognition is required. Therefore, we propose a real-time captioning system that uses a transparent display. In this system, the captions are presented on both sides of the display to address the problem of incorrect ASR, and the highly transparent display makes it possible to see both the body language and the captions.

Project Members: Akihisa Shitara, Kenta Yamamoto, Ippei Suzuki, Ryosuke Hyakuta, Ryo Iijima, Yoichi Ochiai
Transparent display provided by Japan Display Inc.

音声認識を使ったリアルタイム文字起こしは,声を聞き取りづらい人の日常生活を支援する重要なツールとなりつつある。より良いコミュニケーションを図るためには,表情や身振り手振りなどのボディーランゲージを用い,誤認識を防ぎながら快適に利用できるシステムが必要だ。そこで,透明ディスプレイを利用したリアルタイム文字起こしのシステムを提案する。このシステムでは,自動音声認識の誤認識を話し手が確認するために,文字起こしの結果がディスプレイの両側に向けて表示される。また,透明度の高いディスプレイにより,ボディーランゲージと文字の両方を確認しながら会話を行うことができる。

プロジェクトメンバー: 設楽明寿,山本健太,鈴木一平,百田涼佑,飯嶋稜,落合陽一
機材提供(透明ディスプレイ):株式会社ジャパンディスプレイ

本プロジェクトに関するお問い合わせ / Contact
E-mail: prj_see-through-captions <-at-> digitalnature.slis.tsukuba.ac.jp (<-at->を@に置き換えてください)
担当: 鈴木一平
*お問い合わせの前に ページ下部のよくあるご質問 をご覧いただけますと幸いです。

ろう・難聴者とのコミュニケーションのためのリアルタイム字幕を表示する透明ディスプレイ / Real-Time Captioning on Transparent Display for DHH People プロジェクトページ

オープンラボ「透明パネルで言葉と顔の両方が見えると伝わりやすい?〜聞こえる人と聞こえない人のコミュニケーション」@日本科学未来館, 2021/06/05 – 2021/06/06
https://www.miraikan.jst.go.jp/events/202106051969.html


よくあるご質問

実物を見てみたい

現在,非常に多くのお問い合わせをいただいており,研究室では個別の体験会を行うことが難しい状況です。See-Through Captions を含むイベント等の情報は,研究室や xDiversity の WebサイトやSNSでも告知しておりますので,こちらも併せてご覧いただければ幸いです。透明ディスプレイの導入を検討されている方は,株式会社ジャパンディスプレイ様へお問い合わせをお願いします。

▼ 株式会社ジャパンディスプレイ 透明ディスプレイ詳細 / お問い合わせ
https://www.j-display.com/technology/jdinew/clear_display.html

▼ デジタルネイチャー研究室 SNS
https://twitter.com/labDNG
https://www.facebook.com/DigitalNatureGroup/

▼ xDiversity 公式サイト
https://xdiversity.org

▼ xDiversity SNS
https://twitter.com/xdiversity_org
https://www.facebook.com/xDiversity

製品化・販売の予定はありますか?

透明ディスプレイの製品化・販売については,株式会社ジャパンディスプレイ様にお問い合わせください。See-Through Captions のソフトウェアはオープンソースでの公開を予定しております(時期未定)。

レンタルは可能ですか?

See-Through Captions 一式のセット数に限りがございますので,研究室ではレンタルを行っておりません。透明ディスプレイのレンタルについては,株式会社ジャパンディスプレイ様にお問い合わせください。

多言語対応は可能ですか?

可能です。60言語の認識および,双方向の翻訳が可能です。

AWARD / HONORS

[AWARD]「See-Through Captions」がジェームズダイソンアワード日本国内最優秀賞を受賞!
[AWARD]「See-Through Captions」が2021年度グッドデザイン賞を受賞!
[AWARD]Innovative Technologies 2021 に「See-Through Captions」が採択されました!
[AWARD]「See-Through Captions」が 異能vation 2021年度 ジェネレーションアワード部門 株式会社アクセストレードセンター 企業特別賞を受賞!
[AWARD]「See-Through Captions」が『知財番付2021』東ノ前頭を受賞!

Suzuki, I., Yamamoto, K., Shitara, A., Hyakuta, R., Iijima, R., Ochiai, Y. (2022). See-Through Captions in a Museum Guided Tour: Exploring Museum Guided Tour for Deaf and Hard-of-Hearing People with Real-Time Captioning on Transparent Display. In: Miesenberger, K., Kouroupetroglou, G., Mavrou, K., Manduchi, R., Covarrubias Rodriguez, M., Penáz, P. (eds) Computers Helping People with Special Needs. ICCHP-AAATE 2022. Lecture Notes in Computer Science, vol 13341. Springer, Cham. https://doi.org/10.1007/978-3-031-08648-9_64

Kenta Yamamoto, Ippei Suzuki, Akihisa Shitara, and Yoichi Ochiai. 2021. See-Through Captions: Real-Time Captioning on Transparent Display for Deaf and Hard-of-Hearing People. In arXiv e-prints. 5 pages. URL: https://arxiv.org/abs/2101.11326