See-Through Face Display is a display system that enables facial communication—including eye contact—in interactions between people and between people and AI. This system consists of a transparent display and a camera installed behind it. The display rapidly alternates between displaying and not displaying a face, and during the non-display periods, the camera synchronously captures the face of the user looking at the display. As a result, See-Through Face Display can display human faces at high brightness and high resolution in a compact form factor. By capturing the face of the person viewing the display in high resolution, it achieves more natural eye contact.
Previous eye contact systems can be broadly divided into two types. One is optical methods that allow natural gaze correction but had the issue of a large form factor. The other is image processing methods where the hardware becomes compact but computational resources and visual artifacts were issues. However, See-Through Face Display is a new eye contact system that combines the advantages of these methods. See-Through Face Display aims to realize natural gaze communication between people and between people and AI in a wider range of situations, such as casual multi-person remote conversations, remote receptions, and interactions with AI avatars.
Authors: Kazuya Izumi, Ryosuke Hyakuta, Ippei Suzuki, Yoichi Ochiai (Digital Nature Group)
Technical Assistants in Hardware Development: Kazuhiko Sako, Kazunari Tomizawa, and Kentaro Okuyama (Japan Display Inc.)
Equipment (Transparent display, camera, etc.) provided by: Japan Display Inc.
Contact: izumin@digitalnature.slis.tsukuba.ac.jp
See-Through Face Displayは人と人、人とAIの対話における、視線をはじめとする顔によるコミュニケーションを可能にするディスプレイシステムです。このシステムは透明ディスプレイとその後ろに設置したカメラで構成され、ディスプレイは顔の表示と非表示を高速で交互に切り替え、カメラは非表示の時に同期してディスプレイを見るユーザの顔を撮影します。これにより、See-Through Face Displayはコンパクトなフォームファクタで高輝度かつ高解像度に人の顔を表示し、ディスプレイを見る相手の顔も高解像度に撮影することで、より自然なアイコンタクトを実現できるようになりました。
これまでのアイコンタクトシステムは、大きく2種類に大別されます。一つは、自然な視線の修正が可能だが大きなフォームファクタが課題だった光学的手法によるアイコンタクト。もう一つは、ハードウェアはコンパクトになるが計算リソースや視覚的アーティファクトが課題だった画像処理によるアイコンタクトですが、See-Through Face Displayはこれらの長所を備えた新しいアイコンタクトシステムとなります。
See-Through Face Displayは、カジュアルな複数人でのリモート会話やリモート受付、AIアバターとの対話など、より広い場面において、人と人、人とAIの自然な視線コミュニケーションの実現を目指しています。
著者：泉和哉、百田涼佑、鈴木一平、落合陽一（デジタルネイチャー研究室）
技術協力：迫和彦、冨沢一成、奧山健太郎（株式会社ジャパンディスプレイ）
機材提供（透明ディスプレイ、カメラ等）：株式会社ジャパンディスプレイ
連絡先：izumin@digitalnature.slis.tsukuba.ac.jp