DNG in UIST 2022 / オレゴン州ベンドにて開催されるUIST 2022 にて口頭発表を行います

2022. 10. 25

We will present our work at The ACM Symposium on User Interface Software and Technology (USIT) 2022 in Bend, Oregon, U.S.A ! See you in Bend !

デジタルネイチャー研究室は，アメリカオレゴン州ベンドにて開催されるThe ACM Symposium on User Interface Software and Technology (UIST) 2022にて口頭発表を行います。

Official Web : https://uist.acm.org/uist2022/index.html

会　期：2022/10/29〜2022/11/02

発表プロジェクト

[Oral] Photographic Lighting Design with Photographer-in-the-Loop Bayesian Optimization

It is important for photographers to have the best possible lighting configuration at the time of shooting; otherwise, they need post-processing on images, which may cause artifacts and deterioration. Thus, photographers often struggle to find the best possible lighting configuration by manipulating lighting devices, including light sources and modifiers, in a trial-and-error manner. In this paper, we propose a novel computational framework to support photographers. This framework assumes that every lighting device is programmable; that is, its adjustable parameters (e.g., orientation, intensity, and color temperature) can be set using a program. Using our framework, photographers do not need to learn how the parameter values affect the resulting lighting, and even do not need to determine the strategy of the trial-and-error process; instead, photographers need only concentrate on evaluating which lighting configuration is more desirable among options suggested by the system. The framework is enabled by our novel photographer-in-the-loop Bayesian optimization, which is sample-efficient (i.e., the number of required evaluation steps is small) and which can also be guided by providing a rough painting of the desired lighting configuration if any. We demonstrate how the framework works in both simulated virtual environments and a physical environment, suggesting that it could find pleasing lighting configurations quickly in around 10 iterations. Our user study suggests that the framework enables the photographer to concentrate on the look of captured images rather than the parameters, compared with the traditional manual lighting workflow.

　撮影時に最適な照明設計を実現することは，写真家にとってとても重要なことです．ほとんどの場合，光源やレフ板など様々な照明器具の調整は手動で行っていますが，試行錯誤するには手間のかかる工程となっています．本研究では，我々はライティングデザインのための新たなフレームワークを提案します．このフレームワークでは，あらゆる照明器具がプログラマブルになる将来を前提としています（そしてその未来は既に到来しつつあります）．我々のフレームワークを使うことで，写真家は各パラメータが撮影結果にどのように影響するかを逐一学ぶ必要はなくなり，試行錯誤の過程がよりシンプルなものとなります．このフレームワークは，photographer-in-the-loop型ベイズ最適化によって実現されており，写真家はラフなペイントを与えるだけで簡単にライティングのデザインパターンをガイドすることができます．我々は，本フレームワークをシミュレーション環境および実機環境の両方において実際に使用し，検証を行いました．その結果，どちらにおいても10回ほどイテレーションを回すことで，希望するライティングデザインが得られることがわかりました．そして，ユーザースタディにおいて既存のライティング調整手法とも比較を行っており，提案フレームワークが写真家に撮影結果への集中をもたらすことも示唆される結果となりました．

Project page: Photographic Lighting Design with Photographer-in-the-Loop Bayesian Optimization

Publication: https://digitalnature.slis.tsukuba.ac.jp/2022/10/pitl-publication/

Authors: Kenta Yamamoto, Yuki Koyama, Yoichi Ochiai

【Oral Presentation】

DETAILS:Paper, 15 min
SESSION:Wed, Nov 2 | 15:45 – 16:00 [Bend, Oregon, USA]
https://programs.sigchi.org/uist/2022/program/content/84977

【Demo】

DETAILS: Demo, 120 min
SESSION: Mon, Oct 31 | 19:00 – 21:00 [Bend, Oregon, USA]
https://programs.sigchi.org/uist/2022/program/content/85473

研究室概要

名称：デジタルネイチャー研究室
代表者：准教授　落合陽一
所在地：茨城県つくば市春日1-2
研究内容：波動工学、デジタルファブリケーション、人工知能技術を用いた空間研究開発
URL ： https://digitalnature.slis.tsukuba.ac.jp/

代表略歴

落合陽一　Yoichi Ochiai

1987生，2015年東京大学学際情報学府博士課程修了（学際情報学府初の短縮終了），博士（学際情報学）．日本学術振興会特別研究員DC1，米国Microsoft ResearchでのResearch Internなどを経て，2015年より筑波大学図書館情報メディア系助教デジタルネイチャー研究室主宰．2015年，Pixie Dust Technologies.incを起業しCEOとして勤務．2017年から2019年まで筑波大学学長補佐，2017年から大阪芸術大学客員教授，2020年デジタルハリウッド大学特任教授，金沢美術工芸大学客員教授，2021年4月から京都市立芸術大学客員教授を兼務．2017年12月より，ピクシーダストテクノロジーズ株式会社による筑波大学デジタルネイチャー推進戦略研究基盤代表及び准教授を兼務．2020年6月デジタルネイチャー開発研究センター・センター長就任．専門はCG，HCI，VR，視・聴・触覚提示法，デジタルファブリケーション，自動運転や身体制御．

本件に関するお問い合わせ先

名称：筑波大学デジタルネイチャー研究室
Email ： contact<-at->digitalnature.slis.tsukuba.ac.jp

News