A Preliminary Study on Eye Contact Framework toward Improving Gaze Awareness in Video Conferences

2023. 06. 09

A Preliminary Study on Eye Contact Framework toward Improving Gaze Awareness in Video Conferences

Gaze information plays an important role as non-verbal information in face-to-face conversations. However, in online videoconferences, users’ gaze is perceived as misaligned due to the different positions of the screen and the camera. This problem causes a lack of gaze information, such as gaze awareness. To solve this problem, gaze correction methods in videoconference have been extensively discussed, and these methods allow us to maintain eye contact with other participants even in videoconference. However, people rarely make constant eye contact with the other person in face-to-face conversations. Although a person’s gaze generally reflects their intentions, if the system unconditionally corrects gaze, the intention of the user’s gaze is incorrectly conveyed. Therefore, we conducted a preliminary study to develop an eye contact framework; a system that corrects the user’s gaze only when the system detects that the user is looking at the face of the videoconferencing participant. In this study, participants used this system in a online conference and evaluated it qualitatively. As a result, this prototype was not significant in the evaluation of gaze awareness, but useful feedback was obtained from the questionnaire. We will improve this prototype and aim to develop a framework to facilitate non-verbal communication in online videoconferences.

Authors: Kazuya Izumi, Shieru Suzuki, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Ryosuke Hyakuta, and Yoichi Ochiai

オンラインのビデオ会議では画面とカメラの位置の違いからユーザーの視線がずれて認識されてしまい、コミュニケーションに支障をきたすことが問題とされてきた。近年では視線追跡技術及び画像処理技術によるビデオ会議における視線補正手法が盛んに議論され、ビデオ会議中でも他の参加者とのアイコンタクトを維持することができるようになった。しかし、本来対面での会話において、相手と常にアイコンタクトを取ることはほとんどないため、アイコンタクトの維持は逆に不自然な印象を与えてしまう。また、システムがユーザの視線を常に補正してしまうと、ユーザがなぜそこを見ているのかといった視線の意図が正しく伝わらなくなってしまうこともある。そこで、ユーザのgaze awarenessをより強化し、適切な非言語コミュニケーションを行える「アイコンタクトフレームワーク」の構築を目指し、まずはテレビ会議参加者の顔を見ていることを検知した場合にのみ、視線を補正するシステムを構築し、常にアイコンタクトがなされるシステムと比較して会話に変化が生じるか予備研究を行った。

著者: 泉和哉,  鈴木紫琉, 丹羽遼吾, 篠田篤, 飯嶋 稜, 百田 涼佑, 落合陽一