DNG in ASSETS 2022 / ギリシャ アテネにて開催されるASSETS 2022 にて 口頭発表を行います

2022. 10. 21

We will present our work at The 24th International ACM SIGACCESS Conference on Computers and Accessibility（ASSETS 2022）in Athens, Greece ! See you in Vancouver !

デジタルネイチャー研究室は，ギリシャのアテネにて開催されるThe 24th International ACM SIGACCESS Conference on Computers and Accessibility（ASSETS 2022）にて口頭発表を行います。

Official Web : https://assets22.sigaccess.org/index.html

会　期：2022/10/23〜2022/10/26

発表プロジェクト

Gestures for Digital Musical Instruments Defined by Deaf and Hard of Hearing Users

楽器アプリのジェスチャデザイン：スマートフォンを楽器として遊ぶためのジェスチャをユーザーに考案してもらう研究

When playing musical instruments, deaf and hard-of-hearing (DHH) people typically sense their music from the vibrations transmitted by the instruments or the movements of their bodies while performing. Sensory substitution devices now exist that convert sounds into light and vibrations to support DHH people’s musical activities. However, these devices require specialized hardware, and the marketing profiles assume that standard musical instruments are available. Hence, a significant gap remains between DHH people and their musical performance enjoyment. To address this issue, this study identifies end users’ preferred gestures when using smartphones to emulate the musical experience based on the instrument selected. This gesture elicitation study applies 10 instrument types. Herein, we present the results and a new taxonomy of musical instrument gestures. The findings will support the design of gesture-based instrument interfaces to enable DHH people to more directly enjoy their musical performances.

ろう・難聴者が楽器を演奏するときには、楽器から伝わる振動や、自分の体の動きなどが、音楽を感じ取るための手助けになります。しかし、これらの手がかりは、今日普及している楽器演奏・音楽製作アプリでは利用しきれないのが現状です。このプロジェクトは、ろう・難聴者が、スマートフォンを体で動かし、振動を奏でる楽器アプリの実現を目指しています。そのための第一歩として、「どのようなジェスチャで演奏したいか」を調査しました。ASSETS ’22 で発表する論文では、Gesture Elicitationと呼ばれる手法を用いて、ユーザーが考案するジェスチャの傾向を分析し、楽器演奏のためのジェスチャの分類法を提案します。また、ジェスチャと振動で演奏する楽器アプリをデザインするための指針を提供します。

Project page: Gestures for Digital Musical Instruments

Publication: https://digitalnature.slis.tsukuba.ac.jp/2022/10/designing-gestures-for-digital-musical-instruments-gesture-elicitation-study-with-deaf-and-hard-of-hearing-people/
Ryo Iijima, Akihisa Shitara, and Yoichi Ochiai. 2022. Designing Gestures for Digital Musical Instruments: Gesture Elicitation Study with Deaf and Hard of Hearing People. In the 24th International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS ’22). October 23–26, 2022, Athens, Greece, 8 pages. https://doi.org/10.1145/3517428.3544828

Authors : Ryo Iijima, Akihisa Shitara, Yoichi Ochiai

Date: Tuesday, Oct 25
Time: 10:45 [Athens, GMT+3]
Session 4: Composition in Music, Programming and Design
Program: https://assets22.sigaccess.org/program.html

 

研究室概要

名称 ： デジタルネイチャー研究室
代表者 ： 准教授　落合 陽一
所在地 ： 茨城県つくば市春日1-2
研究内容 ： 波動工学、デジタルファブリケーション、人工知能技術を用いた空間研究開発
URL ： https://digitalnature.slis.tsukuba.ac.jp/

代表略歴

落合陽一　Yoichi Ochiai

1987生，2015年東京大学学際情報学府博士課程修了（学際情報学府初の短縮終了），博士（学際情報学）．日本学術振興会特別研究員DC1，米国Microsoft ResearchでのResearch Internなどを経て，2015年より筑波大学図書館情報メディア系助教 デジタルネイチャー研究室主宰．2015年，Pixie Dust Technologies.incを起業しCEOとして勤務．2017年から2019年まで筑波大学学長補佐，2017年から大阪芸術大学客員教授，2020年デジタルハリウッド大学特任教授，金沢美術工芸大学客員教授，2021年4月から京都市立芸術大学客員教授を兼務．2017年12月より，ピクシーダストテクノロジーズ株式会社による筑波大学デジタルネイチャー推進戦略研究基盤代表及び准教授を兼務．2020年6月デジタルネイチャー開発研究センター・センター長就任．専門はCG，HCI，VR，視・聴・触覚提示法，デジタルファブリケーション，自動運転や身体制御．

本件に関するお問い合わせ先

名称    ： 筑波大学デジタルネイチャー研究室
Email ： contact<-at->digitalnature.slis.tsukuba.ac.jp

News

New