Optical Marionette

Optical Marionette: Graphical Manipulation of Human’s Walking Direction
視覚的錯覚を用いて，シースルー型HMDを装着した歩行者の歩行パスを制御する手法

We present a novel manipulation method that subconsciously changes the walking direction of users via visual processing on a head mounted display (HMD). Unlike existing navigation systems that require users to recognize information and then follow directions as two separate, conscious processes, the proposed method guides users without them needing to pay attention to the information provided by the navigation system and also allows them to be graphically manipulated by controllers. In the proposed system, users perceive the real world by means of stereo images provided by a stereo camera and the HMD. Specifically, while walking, the navigation system provides users with real-time feedback by processing the images they have just perceived and giving them visual stimuli. This study examined two image-processing methods for manipulation of human’s walking direction: moving stripe pattern and changing focal region. Experimental results indicate that the changing focal region method most effectively leads walkers as it changes their walking path by approximately 200 mm/m on average.

本研究は視覚的錯覚を用いてナビゲーションシステムから提示された情報を意識的に見なくても歩行者を制御可能にする新しい手法である．これまでの歩行者ナビゲーションにおける研究は，ユーザに対し情報を視覚的にそして聴覚的にどのように提示するかが議論されてきた．既存のナビゲーションシステムは「右へ曲がれ」のような「指示情報を提示し，人が認識する」という意味では，その見せ方は30年間進化していない．ナビゲーションは，マップや矢印の提示する空間と自分の自己位置認識がうまく適応できないとユーザーに負荷をかける．そこで情報を提示するのではなく，人間を無意識に制御すれば良いのではないかと考えた．本システムはカメラとHMDを用い，ユーザはカメラとHMD越しに現実世界の風景を捉える．ユーザが歩行している時に，システムはカメラから捉えられた映像に対し画像処理を行うことにより，ユーザの視界に対してリアルタイムな視覚的フィードバックを与える．本システムはユーザに対して視覚的錯覚を引き起こすような画像処理を行い，そしてそれをフィードバックすることによりユーザの歩行方向を無意識的にコントロールする．

Akira Ishii, Ippei Suzuki, Shinji Sakamoto, Keita Kanai, Kazuki Takazawa, Hiraku Doi, Yoichi Ochiai
University of Tsukuba

石井晃，鈴木一平，坂本慎司，金井啓太，高澤和希，土井ひらく，落合陽一
筑波大学

Technical papers (Author Preprint) : PDF (lowres, 2MB)
UIST2016 presentation :  PDF (2.4MB)