DNG in CHI 2024 / 米 ハワイで開催されるCHI 2024にて発表を行います

2024. 05. 02

We will present our works at CHI 2024. See you in Honolulu, Hawaii!

デジタルネイチャー研究室は,米ハワイ州 ホノルルで開催されるThe ACM (Association of Computing Machinery) Conference on Human Factors in Computing Systems (CHI) 2024にて以下の発表を行います.

  • HIFU Embossment of Acrylic Sheets
  • A Design of Interface for Visual-Impaired People to Access Visual Information from Images Featuring Large Language Models and Visual Language Models
  • Documentary Film of Low Vision Boxing: Collaborative Design of Adaptive Kickboxing Experiences

Official Web : https://chi2024.acm.org/

今回の渡航経費の一部は「筑波大デジタルネイチャー研究室|研究活動支援プロジェクト」の支援金によって賄われています。


発表プロジェクト

[Paper] HIFU Embossment of Acrylic Sheets

Tactile interfaces such as embossment facilitate information transfer through touch in Human-Computer Interaction (HCI). Traditional embossing methods, while enabling the creation of intricate patterns, face limitations due to mold reliance and material thickness restrictions, hindering bespoke embossment creation. In this study, we propose High-Intensity Focused Ultrasound (HIFU) as an alternative technique to produce tailored embossed designs on acrylic without the need for traditional molds. We uncover specific HIFU parameters, such as amplitude, irradiation time, and distance that directly impact essential qualities of embossment including embossment height, transparency, and line generation. Additionally, the capability of embossing without the use of molds expands the applications for quick prototyping and customization of embossed designs within HCI. Furthermore, we introduce a user interface developed to streamline the design and application of customizable tactile graphics using HIFU, aimed at non-expert users. Preliminary user studies reveal positive feedback on the interface’s intuitiveness and the quality of the HIFU embossment. Our study indicates that HIFU embossment presents a viable approach for creating embossed features in interactive systems, with the potential to offer methods for personal customization in the design of tactile materials.

エンボスなどの触覚インターフェイスは、ヒューマン コンピューター インタラクション (HCI) におけるタッチを介した情報伝達を容易にします。 従来のエンボス加工方法では、複雑なパターンの作成が可能ですが、金型への依存や材料の厚さの制限による制限があり、オーダーメイドのエンボス加工の作成を妨げていました。 この研究では、従来の型を必要とせずにアクリル上にオーダーメイドのエンボスデザインを作成するための代替技術として、高密度焦点式超音波(HIFU)を提案します。 エンボスの高さ、透明度、線の生成などのエンボスの本質的な品質に直接影響を与える、振幅、照射時間、距離などの特定の HIFU パラメーターを明らかにします。 さらに、金型を使用せずにエンボス加工ができるため、HCI 内でのエンボス デザインの迅速なプロトタイピングとカスタマイズの用途が拡張されます。 さらに、専門家以外のユーザーを対象として、HIFU を使用したカスタマイズ可能な触覚グラフィックスの設計とアプリケーションを合理化するために開発されたユーザー インターフェイスを紹介します。 予備的なユーザー調査では、インターフェースの直観性と HIFU エンボス加工の品質に関して肯定的なフィードバックが得られていることが明らかになりました。 私たちの研究は、HIFUエンボス加工がインタラクティブシステムでエンボス加工を作成するための実行可能なアプローチを提示し、触覚材料の設計において個人的なカスタマイズ方法を提供する可能性があることを示しています。

プロジェクト関連サイト
Project page: HIFU Embossment

Publication: Ayaka Tsutsui, Tatsuki Fushimi, Takahito Murakami, Ryosei Kojima, Kengo Tanaka, and Yoichi Ochiai. 2024. HIFU Embossment of Acrylic Sheets. In Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI ’24). Association for Computing Machinery, New York, NY, USA, Article 431, 1–23. https://doi.org/10.1145/3613904.3642890

Authors: Ayaka Tsutsui, Tatsuki Fushimi, Takahiro Murakami, Ryosei Kojima, Kengo Tanaka, Yoichi Ochiai

Session Schedule
Papers
Mon, 13 May | 4:15 PM – 4:30 PM
316C (Floor 3 Meeting Rooms)

詳細につきましてはこちらのページをご確認ください.

[Interactivity] A Design of Interface for Visual-Impaired People to Access Visual Information from Images Featuring Large Language Models and Visual Language Models

We propose a design of interface for visual-impaired People to access visual information from images utilizing Large Language Models(LLMs), Visual Language Models (VLMs), and Segment-Anything. We use Semantic-Segment-Anything to generate the segmentation of semantic objects in images. The segmentation includes two parts: a term set describing the semantic object, and segmented mask which represents the shape of the semantic object. We provide two methods for the visual-impaired user to access the information of the semantic object and its peripheral information in image. In one method, the LLM summarize the term set to create an description. In the other method, the image with the object masked is provided to Visual Language Models which is prompted to respond with a description. In both methods, the mask can be accessed with dot display after processed for the visual-impaired people to access, and the description is prompted to the user in synthesized voice.

このプロジェクトでは,視覚障害者が画像から視覚情報にアクセスするためのインターフェースの設計を提案します.このために,Large Language Models(LLMs),Visual Language Models(VLMs),およびSegment-Anythingを利用します。Semantic-Segment-Anythingを使用して,画像内の意味的オブジェクトのセグメンテーションを生成します。セグメンテーションには、意味的オブジェクトを説明する用語セットと,意味的オブジェクトの形状を表すセグメンテーションマスクの二つのパーツが含まれます.視覚障がい者が画像内の意味的オブジェクトとその周辺情報にアクセスするために2つの方法を提供します。ひとつめは、LLMが用語セットを要約して説明を作成します.ふたつめは、オブジェクトがマスクされた画像がVisual Language Modelsに提供され,説明を返すように促されます.両方の方法で、マスクはドット表示でアクセスできるように処理され,説明は合成音声でユーザーに提示されます.

プロジェクト関連サイト
Project page: A Design of Interface for Visual-Impaired People to Access Visual Information from Images Featuring Large Language Models and Visual Language Models

Publication: Zhe-Xin Zhang. 2024. A Design of Interface for Visual-Impaired People to Access Visual Information from Images Featuring Large Language Models and Visual Language Models. In Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (CHI EA ’24). Association for Computing Machinery, New York, NY, USA, Article 390, 1–4. https://doi.org/10.1145/3613905.3648648

Authors: Jacob Zhexin Zhang, Yoichi Ochiai

Session Schedule
Interactivity
Mon, 13 May | 05:30 PM – 06:10 PM
Tue, 14 May | 10:20 AM – 11:00 AM, 03:20 PM – 04:00 PM, 05:30 PM – 06:10 PM
Kamehameha Exhibit Hall

詳細につきましてはこちらのページをご確認ください.

[Video Showcase] Documentary Film of Low Vision Boxing: Collaborative Design of Adaptive Kickboxing Experiences

In this video showcase, we address the challenge of physical inactivity among individuals with low vision by introducing adaptive kickboxing—a newly conceptualized sport that employs assistive technology tailored to their needs. Through collaborative design with a low vision participant, we develop equipment like gloves and shin guards that amplify the perceptibility of movements in kickboxing, enabling engagement and safety in the sport. Our research extends beyond facilitating exercise to creating opportunities for competitive aspirations within a sport transformed for inclusivity.

このビデオ ショーケースでは,弱視者のニーズに合わせた支援技術を採用した新しく概念化されたスポーツであるアダプティブ キックボクシングを紹介することで,弱視を持つ人々の運動不足の課題に取り組んでいます.弱視の参加者との共同設計を通じて,キックボクシングの動きの知覚を増幅し,スポーツへの取り組みと安全性を可能にするグローブやすね当てなどの用具を開発します.私たちの研究は,運動の促進を超えて,包括性を求めて変革されたスポーツ内で競争力のある願望を実現する機会の創出にまで及びます.

プロジェクト関連サイト
Project page: Low Vision Boxing

Publication: Kenta Yamamoto, Ayaka Tsutsui, Yinan Zhao, Ippei Suzuki, Kengo Tanaka, Yusuke Koroyasu, and Yoichi Ochiai. 2024. Documentary Film of Low Vision Boxing: Collaborative Design of Adaptive Kickboxing Experiences. In Extended Abstracts of the CHI Conference on Human Factors in Computing Systems (CHI EA ’24). Association for Computing Machinery, New York, NY, USA, Article 641, 1–2. https://doi.org/10.1145/3613905.3649124

Authors: Kenta Yamamoto, Ayaka Tsutsui, Yinan Zhao, Kengo Tanaka, Ippei Suzuki, Yusuke Korayasu, Yoichi Ochiai
Development cooperation: Shunsuke Narisawa (participant), Akira Okubo (trainer)

Session Schedule
Video Showcase
Tue, 14 May | 4:00 PM – 5:20 PM
310 Lili’u Theater (Floor 3 Meeting Rooms)

詳細につきましてはこちらのページをご確認ください.


研究室概要

名称 : デジタルネイチャー研究室
代表者 : 准教授 落合 陽一
所在地 : 茨城県つくば市春日1-2
研究内容 : 波動工学、デジタルファブリケーション、人工知能技術を用いた空間研究開発
URL : https://digitalnature.slis.tsukuba.ac.jp/

代表略歴

落合陽一 Yoichi Ochiai

1987生,2015年東京大学学際情報学府博士課程修了(学際情報学府初の短縮終了),博士(学際情報学).日本学術振興会特別研究員DC1,米国Microsoft ResearchでのResearch Internなどを経て,2015年より筑波大学図書館情報メディア系助教 デジタルネイチャー研究室主宰.2015年,Pixie Dust Technologies.incを起業しCEOとして勤務.2017年から2019年まで筑波大学学長補佐,2017年から大阪芸術大学客員教授,2020年デジタルハリウッド大学特任教授,金沢美術工芸大学客員教授,2021年4月から京都市立芸術大学客員教授を兼務.2017年12月より,ピクシーダストテクノロジーズ株式会社による筑波大学デジタルネイチャー推進戦略研究基盤代表及び准教授を兼務.2020年6月デジタルネイチャー開発研究センター・センター長就任.専門はヒューマンコンピュータインタラクション・バーチャルリアリティ・人工知能領域の学際的展開特に音響・レーザーホログラムの計算・応用領域に強い興味を持つ.

本件に関するお問い合わせ先

名称 : 筑波大学デジタルネイチャー研究室
Email : contact<-at->digitalnature.slis.tsukuba.ac.jp <-at->を@に置き換えてください

News