DNG at ICMI / イタリア ナポリにて開催されるICMI 2026にて研究発表を行います

2026. 10. 05

We will present our work at ICMI 2026!

デジタルネイチャー研究室は，2026年10月5日から9日に開催される28th ACM International Conference on Multimodal Interaction (ICMI 2026)にて，研究課題「Human-Centered Metrics for Evaluating Usability in Artificial Intelligence Generated Human Object Interactions」の研究発表を行います。

ICMI 2026：https://icmi.acm.org/2026/

PeriodOctober 5–9, 2026

locationCentro Congressi Federico II,  Hotel Royal Continental, Naples, Italy

発表プロジェクト

[Paper] Human-Centered Metrics for Evaluating Usability in Artificial Intelligence Generated Human Object Interactions

Usability is key to assessing whether interactions reflect real-world engagement with designed artifacts. However, evaluating usability requires design and prototyping, which incur substantial time and financial costs. With recent advances in multimodal generative AI (GenAI), it has become possible to predict, to some extent, the usability that a given design will afford, offering a potential solution to this problem. However, existing approaches focus primarily on visual fidelity and lack systematic evaluation of interaction interpretability from a human-centered perspective. To address this gap, the present study introduces the concept of interaction GenAI Affordance Quotient (AI-AQ), a human-centered framework for evaluating human-object interaction(HOI) quality. AI-AQ decomposes interactions into three components: subject consistency, affordance quality, and common sense alignment, enabling structured assessment. We compare GenAI-generated HOIs with real HOIs across varying object familiarity through a two-stage user study (N=80 pilot; N=800 main), using object images and textual prompts in GPT-4o.
Results reveal a fundamental boundary condition: when evaluators possess semantic but not procedural knowledge of an object, neither structured metrics nor intuitive judgments can reliably differentiate AI-generated from real interactions — a systematic evaluation collapse that is absent when knowledge is complete or entirely absent. Beyond this, GenAI interactions are consistently inferior to real interactions across all dimensions. These findings suggest that multimodal generative models capture high-level visual and semantic patterns but remain limited in representing fine-grained interaction structure. This work contributes to human-aligned multimodal interaction and supports AI–human co-design by bridging visual, behavioral, and cognitive aspects of interaction.

ユーザビリティは、デザインされた人工物との実世界における関わりを反映しているかどうかを評価する上で鍵となる。しかし、ユーザビリティの評価にはデザインとプロトタイピングが必要であり、多大な時間的・金銭的コストがかかる。マルチモーダル生成AI(GenAI)における近年の進歩により、あるデザインがもたらすユーザビリティをある程度予測することが可能になりつつあり、この問題に対する潜在的な解決策となっている。しかし、既存のアプローチは主に視覚的忠実度(visual fidelity)に焦点を当てており、人間中心の観点からのインタラクション解釈可能性(interaction interpretability)の体系的な評価を欠いている。このギャップに対処するため、本研究では、human-object interaction(HOI)の質を評価するための人間中心のフレームワークである、interaction GenAI Affordance Quotient(AI-AQ)という概念を導入する。AI-AQは、インタラクションを subject consistency(主体の一貫性)、affordance quality(アフォーダンス品質)、common sense alignment(常識との整合性)の3要素に分解し、構造化された評価を可能にする。我々は、GPT-4oにおいてオブジェクト画像とテキストプロンプトを用いた2段階のユーザースタディ(予備調査 N=80、本調査 N=800)を通じて、オブジェクトへの馴染み度(object familiarity)を変化させながら、GenAIが生成したHOIと実際のHOIを比較する。
結果は、根本的な境界条件(boundary condition)を明らかにした。評価者がオブジェクトについて意味的知識(semantic knowledge)は持つが手続き的知識(procedural knowledge)を持たない場合、構造化されたメトリクスも直感的判断も、AI生成インタラクションと実際のインタラクションを信頼性をもって区別することができない——これは、知識が完全である場合、あるいは全く存在しない場合には見られない、systematic evaluation collapse(評価の体系的崩壊)である。これを超えて、GenAIによるインタラクションは、すべての次元において実際のインタラクションよりも一貫して劣っている。これらの知見は、マルチモーダル生成モデルが高次の視覚的・意味的パターンを捉える一方で、fine-grained interaction structure(きめ細かなインタラクション構造)を表現する点では依然として限界があることを示唆している。本研究は、視覚的・行動的・認知的側面を橋渡しすることで、human-aligned multimodal interaction(人間に整合したマルチモーダル・インタラクション)に貢献し、AI-human co-design(AIと人間の協調デザイン)を支援するものである。

Authors：Shengdi Xiao, Yuto Asano, Jingjing Li, Yoichi Ochiai

Project Page：In Preparation

Publication Page：In Preparation

Poster Session
Date : Wednesday, October 7, 2026
Time：15:00–16:30
Session：Poster Session #3: Multimodal Learning, Vision-Language Models & Responsible AI

Program：詳細なプログラムは現在公開準備中です。

研究室概要

名　　称 ： デジタルネイチャー研究室
指導教員 ： 落合 陽一教授，伏見龍樹助教，李晶晶助教
所 在 地 ： 茨城県つくば市春日1-2 筑波大学
研究内容 ： 波動工学，デジタルファブリケーション，人工知能技術を用いた空間研究開発
URL： https://digitalnature.slis.tsukuba.ac.jp/

代表略歴

落合陽一　Yoichi Ochiai

筑波大学図書館情報メディア系教授、東京大学准教授。1987生，2015年東京大学学際情報学府博士課程修了（学際情報学府初の短縮終了），博士（学際情報学）．日本学術振興会特別研究員DC1，米国Microsoft ResearchでのResearch Internなどを経て，2015年より筑波大学図書館情報メディア系 デジタルネイチャー研究室主宰．2015年，Pixie Dust Technologies.incを起業しCEOとして勤務．2017年から2019年まで筑波大学学長補佐，2017年から大阪芸術大学客員教授，2020年デジタルハリウッド大学特任教授，金沢美術工芸大学客員教授，2021年4月から京都市立芸術大学客員教授を兼務．2017年12月より，ピクシーダストテクノロジーズ株式会社による筑波大学デジタルネイチャー推進戦略研究基盤代表及び准教授を兼務．2020年6月デジタルネイチャー開発研究センター・センター長就任．専門はヒューマンコンピュータインタラクション・バーチャルリアリティ・人工知能領域の学際的展開，特に音響・レーザーホログラムの計算・応用領域に強い興味を持つ．

本件に関するお問い合わせ先

名称 ： 筑波大学デジタルネイチャー研究室
Email ： contact<-at->digitalnature.slis.tsukuba.ac.jp　<-at->を＠に置き換えてください

Event News

New

Category