In the midst of the coronavirus disease 2019 pandemic, online meetings are rapidly increasing. Deaf or hard of hearing (DHH) people participating in an online meeting often face difficulties in capturing the affective states of other speakers. Recent studies have shown the effectiveness of emoji-based representation of spoken text to capture such affective states. Nevertheless, in voice-only online meetings, it is still not clear how emoji-based spoken texts can assist DHH people to understand the feelings of speakers without perceiving their facial expressions. We therefore conducted a preliminary experiment to understand the effect of emoji-based text representation during voice-only online meetings by leveraging an emoji-based captioning system. Our preliminary results demonstrate the necessity of designing an advanced system to help DHH people understanding the voice-only online meetings more meaningfully.
Kotaro Oomori*, Akihisa Shitara, Tatsuya Minagawa, Sayan Sarcar, Yoichi Ochiai
コロナ禍において、オンライン会議を行う機会が急増している。オンライン会議に参加している聴覚障害者は、声が聞こえないために他の話し手の感情的な状態を捉えることが困難なことが多い。最近の研究では、音声が聞こえないことによって損失してしまう感情に関する情報を補うために、話し言葉を絵文字付きテキストで表現することが有効であることが示されている。しかし、他の人の表情を認識できない音声のみのオンライン会議において、絵文字付きテキストでの表現が、聴覚障害者が話し手の感情を理解するのにどのように役立つのかはまだ明らかになっていない。そこで我々は、絵文字付きキャプショニングシステムを利用して、音声のみのオンライン会議における絵文字付きテキストでの表現の効果を理解するための予備的な実験を行った。その結果、聴覚障害者に音声のみのオンライン会議をより有意義に理解してもらうための先進的なシステム設計の必要性が示された。
大森功太郎、設楽明寿、皆川達也、Sarcar Sayan、落合陽一