We paper presents EXController, a new controller-mounted finger posture recognition device specially designed for VR handheld controllers. We seek to provide additional input through real-time vision sensing by attaching a near infrared (NIR) camera onto the controller. We designed and implemented an exploratory prototype with a HTC Vive controller. The NIR camera is modified from a traditional webcam and applied with a data-driven Convolutional Neural Network (CNN) classifier. We designed 12 different finger gestures and trained the CNN classifier with a dataset from 20 subjects, achieving an average accuracy of 86.17% across – subjects, and, approximately more than 92% on three of the finger postures, and more than 89% on the top-4 accuracy postures. We also developed a Unity demo that shows matched finger animations, running at approximately 27 fps in real-time.
VRハンドヘルドコントローラー用に特別に設計された新しいコントローラー搭載指姿勢認識デバイス，EXControllerを紹介します．コントローラに近赤外線(NIR)カメラを取り付けることにより，リアルタイムの視覚検知を介して追加入力を提供することを目指しています．我々は HTC Viveコントローラーを用いた探索的プロトタイプを設計し，実装しました．NIRカメラは従来のウェブカメラから修正し，データ駆動型の畳み込みニューラルネットワーク(CNN)分類器を適用しています．12の異なる指のジェスチャを設計し，20人の被験者からのデータセットを使用してCNN分類器を訓練し，被験者全体で86.17%，三つの指の姿勢精度で約92%超，上位4つの姿勢精度で89%超の平均精度を達成しました． また，一致した指のアニメーションをリアルタイムに約27 fpsで実行するUnityデモを開発しました．
Junjian Zhang, Yaohao Chen, Satoshi Hashizume, Naoya Muramatsu, Kotaro Omomo, Riku Iwasaki, Wataru Kaji, and Yoichi Ochiai