2021. 11. 06

EmojiCam: Emoji-Assisted Video Communication System Leveraging Facial Expressions

This study proposes the design of a communication technique that uses graphical icons, including emojis, as an alternative to facial expressions in video calls. Using graphical icons instead of complex and hard-to-read video expressions simplifies and reduces the amount of information in a video conference. The aim was to facilitate communication by preventing quick and incorrect emotional delivery. In this study, we developed EmojiCam, a system that encodes the emotions of the sender with facial expression recognition or user input and presents graphical icons of the encoded emotions to the receiver. User studies and existing emoji cultures were applied to examine the communication flow and discuss the possibility of using emoji in video calls. Finally, we discuss the new value that this model will bring and how it will change the style of video calling.

この研究では、ビデオ通話における表情の代替として、絵文字を含むグラフィックアイコンを使用するコミュニケーション手法の設計を提案します。複雑で読みにくいビデオ表現の代わりにグラフィカルアイコンを使用することで、ビデオ会議の情報量が簡素化され、削減されます。その目的は、感情の伝達が迅速かつ誤って行われることを防ぎ、コミュニケーションを促進することでした。この研究では、表情認識またはユーザー入力によって送信者の感情をエンコードし、エンコードされた感情のグラフィックアイコンを受信者に提示するシステムである EmojiCam を開発しました。ユーザー調査と既存の絵文字文化を適用して、コミュニケーション フローを調査し、ビデオ通話で絵文字を使用する可能性について議論しました。最後に、このモデルがもたらす新たな価値と、ビデオ通話のスタイルをどのように変えるのかについて説明します。

contact: Kosaku Namikawa (namikawa@digitalnature.slis.tsukuba.ac.jp)

Namikawa K., Suzuki I., Iijima R., Sarcar S., Ochiai Y. (2021) EmojiCam: Emoji-Assisted Video Communication System Leveraging Facial Expressions. In: Kurosu M. (eds) Human-Computer Interaction. Design and User Experience Case Studies. HCII 2021. Lecture Notes in Computer Science, vol 12764. Springer, Cham. https://doi.org/10.1007/978-3-030-78468-3_42