This project presents a sign language conversation system based on the See-Through Face Display to address the challenge of maintaining eye contact in remote sign language interactions. A camera positioned behind a transparent display allows users to look at the face of their conversation partner while appearing to maintain direct eye contact. Unlike conventional methods that rely on software-based gaze correction or large-scale half-mirror setups, this design reduces visual distortions and simplifies installation.
We implenmented a videoconferencing system that integrates See-Through Face Display, and also will evaluated comaring it to traditional videoconferencing methods. We explore its potential applications for Deaf and Hard of Hearing (DHH), including multi-party sign language conversations, corpus collection, remote interpretation, and AI-driven sign language avatars.
Authors: Kazuya Izumi*, Akihisa Shitara*, Yoichi Ochiai (Digital Nature Group, Two authors contributed equally to this research.)
Technical Assistants in Hardware Development: Kazuhiko Sako, Kazunari Tomizawa, and Kentaro Okuyama (Japan Display Inc.)
Equipment (Transparent display, camera, etc.) provided by: Japan Display Inc.
Contact: izumin@digitalnature.slis.tsukuba.ac.jp
このプロジェクトは，遠隔手話インタラクションにおけるアイコンタクト（視線合わせ）の課題に対応するために，See-Through Face Displayを基盤とした手話会話システムを提案しています．このシステムは透明ディスプレイとその後ろに設置したカメラで構成されており，ユーザは透明ディスプレイに表示されている会話相手の顔を見ることで，より自然なアイコンタクトを実現しています．従来の画像処理による視線補正手法や大きいハーフミラー装置を用いた光学的手法とは異なることから，設置の簡素化や画像処理による歪みの軽減の長所を持ち合わせた設計になっています．
私たちは，この手話会話システムを活用したビデオ会議と従来のビデオ会議との比較実験を実施する予定でだけではなく，ろう・難聴者に適した複人数の手話会話，手話映像のコーパス収集，遠隔手話通訳，AIを活用した手話アバターなどの応用先を模索していきます．
著者：泉和哉*，設楽明寿*，落合陽一（デジタルネイチャー研究室，２人の筆頭著者による研究）
技術協力：迫和彦、冨沢一成、奧山健太郎（株式会社ジャパンディスプレイ）
機材提供（透明ディスプレイ、カメラ等）：株式会社ジャパンディスプレイ
連絡先：izumin@digitalnature.slis.tsukuba.ac.jp
