Designing Gestures for Digital Musical Instruments: Gesture Elicitation Study with Deaf and Hard of Hearing People
楽器アプリのジェスチャデザイン：スマートフォンを楽器として遊ぶためのジェスチャをユーザーに考案してもらう研究
When playing musical instruments, deaf and hard-of-hearing (DHH) people typically sense their music from the vibrations transmitted by the instruments or the movements of their bodies while performing. Sensory substitution devices now exist that convert sounds into light and vibrations to support DHH people’s musical activities. However, these devices require specialized hardware, and the marketing profiles assume that standard musical instruments are available. Hence, a significant gap remains between DHH people and their musical performance enjoyment. To address this issue, this study identifies end users’ preferred gestures when using smartphones to emulate the musical experience based on the instrument selected. This gesture elicitation study applies 10 instrument types. Herein, we present the results and a new taxonomy of musical instrument gestures. The findings will support the design of gesture-based instrument interfaces to enable DHH people to more directly enjoy their musical performances.
Project Members: Ryo Iijima, Akihisa Shitara, Yoichi Ochiai
ろう・難聴者が楽器を演奏するときには、楽器から伝わる振動や、自分の体の動きなどが、音楽を感じ取るための手助けになります。しかし、これらの手がかりは、今日普及している楽器演奏・音楽製作アプリでは利用しきれないのが現状です。このプロジェクトは、ろう・難聴者が、スマートフォンを体で動かし、振動を奏でる楽器アプリの実現を目指しています。そのための第一歩として、「どのようなジェスチャで演奏したいか」を調査しました。ASSETS ’22 で発表する論文では、Gesture Elicitationと呼ばれる手法を用いて、ユーザーが考案するジェスチャの傾向を分析し、楽器演奏のためのジェスチャの分類法を提案します。また、ジェスチャと振動で演奏する楽器アプリをデザインするための指針を提供します。（スライド資料 / Presentation Slide）
プロジェクトメンバー: 飯嶋稜、設楽明寿、落合陽一
Contact / 連絡先：飯嶋稜（ryoiijima -at- digitalnature.slis.tsukuba.ac.jp）
