Optical Marionette

2016. 06. 30

Optical Marionette: Graphical Manipulation of Human’s Walking Direction

Abstract :
We present a novel manipulation method that subconsciously changes the walking direction of users via visual processing on a head mounted display (HMD). Unlike existing navigation systems that require users to recognize information and then follow directions as two separate, conscious processes, the proposed method guides users without them needing to pay attention to the information provided by the navigation system and also allows them to be graphically manipulated by controllers. In the proposed system, users perceive the real world by means of stereo images provided by a stereo camera and the HMD. Specifically, while walking, the navigation system provides users with real-time feedback by processing the images they have just perceived and giving them visual stimuli. This study examined two image-processing methods for manipulation of human’s walking direction: moving stripe pattern and changing focal region. Experimental results indicate that the changing focal region method most effectively leads walkers as it changes their walking path by approximately 200 mm/m on average.

Akira Ishii, Ippei Suzuki, Shinji Sakamoto, Keita Kanai, Kazuki Takazawa, Hiraku Doi, Yoichi Ochiai
University of Tsukuba

本研究は視覚的錯覚を用いてナビゲーションシステムから提示された情報を意識的に見なくても歩行者を制御可能にする新しい手法である.これまでの歩行者ナビゲーションにおける研究は,ユーザに対し情報を視覚的にそして聴覚的にどのように提示するかが議論されてきた.既存のナビゲーションシステムは「右へ曲がれ」のような「指示情報を提示し,人が認識する」という意味では,その見せ方は30年間進化していない.ナビゲーションは,マップや矢印の提示する空間と自分の自己位置認識がうまく適応できないとユーザーに負荷をかける.そこで情報を提示するのではなく,人間を無意識に制御すれば良いのではないかと考えた.本システムはカメラとHMDを用い,ユーザはカメラとHMD越しに現実世界の風景を捉える.ユーザが歩行している時に,システムはカメラから捉えられた映像に対し画像処理を行うことにより,ユーザの視界に対してリアルタイムな視覚的フィードバックを与える.本システムはユーザに対して視覚的錯覚を引き起こすような画像処理を行い,そしてそれをフィードバックすることによりユーザの歩行方向を無意識的にコントロールする.

石井晃,鈴木一平,坂本慎司,金井啓太,高澤和希,土井ひらく,落合陽一
筑波大学

Two-pages abstract  (Author Preprint) : PDF (570KB)
Technical papers (Author Preprint) : PDF (lowres, 2MB)
UIST2016 presentation :  PDF (2.4MB) 

All visual and video documents are available for the media and press
(under CC2.0 http://creativecommons.org/licenses/by/2.0).
All images are taken by Ippei Suzuki/ University of Tsukuba (鈴木一平/筑波大学)
Pictures are drawn by Ryo Sejiri / University of Tsukuba (瀬尻瞭/筑波大学)


Download PDF (2.4MB)

石井晃, Optical Marionette, 第22回 学生CGコンテスト エンターテイメント部門 SILVER(塩田周三 審査員賞)

SIGGRAPH 2016 STUDENT RESEARCH COMPETITION SEMI-FINALIST