DNG in AHs / 沖縄にて開催されるAHs 2026 にて研究発表を行います

2026. 03. 06

We will present our work at the ACM (Association for Computing Machinery) the Augmented Humans (AHs) International Conference 2026 ! See you in Okinawa!

デジタルネイチャー研究室は，沖罠にて開催される AHs2026 にて、ポスター発表を行います。

（4/22追記）『Understanding How International Students Co-develop with AI when Facing Daily Challenges in Japan』が、Augmented Humans 2026 Conference Best Poster Honorable Mention を受賞しました！

AHs 2026: https://augmented-humans.org/

Period16-19 March, 2026

locationOkinawa Institute of Science and Technology graduate university (OIST)

発表プロジェクト

[Paper] OnomaCompass: A Texture Exploration Interface that Shuttles between Words and Images 

Humans can finely perceive material textures, yet articulating such somatic impressions in words is a cognitive bottleneck in design ideation. We present OnomaCompass, a web-based exploration system that links sound-symbolic onomatopoeia and visual texture representations to support early-stage material discovery. Instead of requiring users to craft precise prompts for generative AI, OnomaCompass provides two coordinated latent-space maps–one for texture images and one for onomatopoeic term–built from an authored dataset of invented onomatopoeia and corresponding textures generated via Stable Diffusion. Users can navigate both spaces, trigger cross-modal highlighting, curate findings in a gallery, and preview textures applied to objects via an image-editing model. The system also supports video interpolation between selected textures and re-embedding of extracted frames to form an emergent exploration loop. We conducted a within-subjects study with 11 participants comparing OnomaCompass to a prompt-based image-generation workflow using Gemini 2.5 Flash Image (“Nano Banana”). OnomaCompass significantly reduced workload (NASA-TLX overall, mental demand, effort, and frustration; p < .05) and increased hedonic user experience (UEQ), while usability (SUS) favored the baseline. Qualitative findings indicate that OnomaCompass helps users externalize vague sensory expectations and promotes serendipitous discovery, but also reveals interaction challenges in spatial navigation. Overall, leveraging sound symbolism as a lightweight cue offers a complementary approach to Kansei-driven material ideation beyond prompt-centric generation.

人間は素材の質感を繊細に知覚できる一方で、そうした身体的印象を言葉で表現することは、デザインのアイデア発想における認知的なボトルネックとなっている。本研究では、OnomaCompass を提案する。これは、音象徴的なオノマトペと視覚的な質感表現を結びつけることで、デザイン初期段階における素材探索を支援するWebベースのシステムである。生成AIに対して正確なプロンプトを作成することをユーザに求める代わりに、OnomaCompassは2つの連動した潜在空間マップを提供する。一方は質感画像、もう一方はオノマトペ語のマップであり、Stable Diffusionによって生成されたオノマトペと対応する質感の独自データセットをもとに構築されている。ユーザは両空間を自由に探索し、クロスモーダルなハイライト表示を起動したり、発見した素材をギャラリーにまとめたり、画像編集モデルを通じてオブジェクトに質感を適用したプレビューを確認したりすることができる。また、選択した質感間の動画補間や、抽出したフレームの再埋め込みにより、創発的な探索ループを形成する機能も備えている。本研究では、11名の参加者を対象とした被験者内実験を実施し、OnomaCompassとGemini 2.5 Flash Imageを用いたプロンプトベースの画像生成ワークフロー（「Nano Banana」）を比較した。OnomaCompassは作業負荷（NASA-TLX：総合・精神的負荷・努力・フラストレーション、p < .05）を有意に低減し、快楽的ユーザ体験（UEQ）を向上させた一方、ユーザビリティ（SUS）はベースラインが優位であった。定性的な知見として、OnomaCompassはユーザが漠然とした感覚的期待を外在化するのに役立ち、セレンディピティ的な発見を促すことが示されたが、空間ナビゲーションにおけるインタラクション上の課題も明らかになった。総じて、音象徴性を軽量な手がかりとして活用することは、プロンプト中心の生成に依存しない、感性駆動型の素材アイデア発想への補完的アプローチとなることを示す。

Project Page: In Preparation

Authors: Miki Okamura, Shuhey Koyama, Li Jingling and Yoichi Ochiai

Publication: Miki Okamura, Shuhey Koyama, Li Jingling, and Yoichi Ochiai. 2026. OnomaCompass: A Texture Exploration Interface that Shuttles between Words and Images. In Proceedings of the Augmented Humans International Conference 2026 (AHs ’26). Association for Computing Machinery, New York, NY, USA, 177–188. https://doi.org/10.1145/3795011.3795051

Session 6 — Augmenting Communication, Gaze, and Expression (7 papers)
Date: Wed, 18 March
Time: 10:50 – 12:00  (JST)
Program：https://augmented-humans.org/program/

[Poster] Understanding How International Students Co-develop with AI when Facing Daily Challenges in Japan

We examine how international students co-develop with AI when navigating everyday challenges during early-stage cultural adaptation. While AI has been widely studied as a tool for improving performance in educational and workplace contexts, its role in supporting daily life adaptation, where institutional rules, social expectations, and cultural norms intersect, remains underexplored. We shift the focus from AI as an information provider to AI as a cognitive collaborator, highlighting how users iteratively engage with AI to make sense of unfamiliar situations rather than simply retrieve answers. Through a scenario-based user study involving real-world tasks (garbage classification and hair salon interaction), we analyze 154 interaction instances to characterize support needs and interaction patterns. Our findings reveal task-dependent differences in AI use, as well as frequent multi-turn interactions in which users actively evaluate, revise, and negotiate AI outputs. We argue that the value of AI in cultural adaptation lies not in replacing existing support structures, but in enabling situated sensemaking and co-problem-solving under uncertainty, providing design implications for future AI-mediated support systems.

留学生が新たな文化環境に入った直後、ゴミ分別や美容院の利用といった日常的課題は、単なる生活行為にとどまらず、制度的規範や社会的期待を読み解く必要のある複雑な実践となる。こうした状況の中で、AIはどのように関与し、ユーザとともにどのように共に発展（co-develop）していくのだろうか。従来の研究は、AIを教育や職業文脈におけるパフォーマンス向上のツールとして扱う傾向があり、制度的規範や社会的期待が交差する日常生活における適応支援の役割は十分に検討されてこなかった。本研究では、AIを単なる情報提供手段としてではなく、「認知的協働者（cognitive collaborator）」として再定位し、ユーザが未知の状況を理解するためにAIと繰り返し関わるプロセスに着目する。ゴミ分別や美容院利用といった実生活に基づくシナリオを用いたユーザスタディを通じて、154件のインタラクションデータを分析し、支援ニーズおよびやり取りのパターンを明らかにした。その結果、タスクの種類による支援の違いや、複数回のやり取りを通じてユーザがAIの出力を評価・修正・交渉する傾向が確認された。以上より、文化適応におけるAIの価値は既存支援の代替ではなく、不確実性の中での状況に応じた意味の生成と共同問題解決を支える点にあることを示し、今後のAI支援システム設計への示唆を与える。

Project Page: Understanding How International Students Co-develop with AI when Facing Daily Challenges in Japan

Authors: Chunpi Hsieh, Jingjing Li, Ichiro Matsuda, Tatsuki Fushimi, and Yoichi Ochiai

Publication:ChunPi Hsieh, Jingjing Li, Ichiro Matsuda, Tatsuki Fushimi, and Yoichi Ochiai. 2026. Understanding How International Students Co-develop with AI when Facing Daily Challenges in Japan. In Proceedings of the Augmented Humans International Conference 2026 (AHs ’26). Association for Computing Machinery, New York, NY, USA, 948–951. https://doi.org/10.1145/3795011.3797370

Day2 — Poster & Demo Sessions
Date: Tue, 17 March
Time: 13:00 – 15:00 (JST)
Program：https://augmented-humans.org/program/

研究室概要

名　　称 ： デジタルネイチャー研究室
指導教員 ： 落合 陽一 教授，伏見龍樹 助教，李晶晶 助教
所   在   地 ： 茨城県つくば市春日1-2
研究内容 ： 波動工学，デジタルファブリケーション，人工知能技術を用いた空間研究開発
URL ： https://digitalnature.slis.tsukuba.ac.jp/

代表略歴

落合陽一　Yoichi Ochiai

1987生，2015年東京大学学際情報学府博士課程修了（学際情報学府初の短縮終了），博士（学際情報学）．日本学術振興会特別研究員DC1，米国Microsoft ResearchでのResearch Internなどを経て，2015年より筑波大学図書館情報メディア系助教 デジタルネイチャー研究室主宰．2015年，Pixie Dust Technologies.incを起業しCEOとして勤務．2017年から2019年まで筑波大学学長補佐，2017年から大阪芸術大学客員教授，2020年デジタルハリウッド大学特任教授，金沢美術工芸大学客員教授，2021年4月から京都市立芸術大学客員教授を兼務．2017年12月より，ピクシーダストテクノロジーズ株式会社による筑波大学デジタルネイチャー推進戦略研究基盤代表及び准教授を兼務．2020年6月デジタルネイチャー開発研究センター・センター長就任．専門はヒューマンコンピュータインタラクション・バーチャルリアリティ・人工知能領域の学際的展開，特に音響・レーザーホログラムの計算・応用領域に強い興味を持つ．

本件に関するお問い合わせ先

名称 ： 筑波大学デジタルネイチャー研究室
Email ： contact<-at->digitalnature.slis.tsukuba.ac.jp　<-at->を＠に置き換えてください

Event News

New

Category