It is important for photographers to have the best possible lighting configuration at the time of shooting; otherwise, they need post-processing on images, which may cause artifacts and deterioration. Thus, photographers often struggle to find the best possible lighting configuration by manipulating lighting devices, including light sources and modifiers, in a trial-and-error manner. In this paper, we propose a novel computational framework to support photographers. This framework assumes that every lighting device is programmable; that is, its adjustable parameters (e.g., orientation, intensity, and color temperature) can be set using a program. Using our framework, photographers do not need to learn how the parameter values affect the resulting lighting, and even do not need to determine the strategy of the trial-and-error process; instead, photographers need only concentrate on evaluating which lighting configuration is more desirable among options suggested by the system. The framework is enabled by our novel photographer-in-the-loop Bayesian optimization, which is sample-efficient (i.e., the number of required evaluation steps is small) and which can also be guided by providing a rough painting of the desired lighting configuration if any. We demonstrate how the framework works in both simulated virtual environments and a physical environment, suggesting that it could find pleasing lighting configurations quickly in around 10 iterations. Our user study suggests that the framework enables the photographer to concentrate on the look of captured images rather than the parameters, compared with the traditional manual lighting workflow.
撮影時に最適な照明設計を実現することは，写真家にとってとても重要なことです．ほとんどの場合，光源やレフ板など様々な照明器具の調整は手動で行っていますが，試行錯誤するには手間のかかる工程となっています．本研究では，我々はライティングデザインのための新たなフレームワークを提案します．このフレームワークでは，あらゆる照明器具がプログラマブルになる将来を前提としています（そしてその未来は既に到来しつつあります）．我々のフレームワークを使うことで，写真家は各パラメータが撮影結果にどのように影響するかを逐一学ぶ必要はなくなり，試行錯誤の過程がよりシンプルなものとなります．このフレームワークは，photographer-in-the-loop型ベイズ最適化によって実現されており，写真家はラフなペイントを与えるだけで簡単にライティングのデザインパターンをガイドすることができます．我々は，本フレームワークをシミュレーション環境および実機環境の両方において実際に使用し，検証を行いました．その結果，どちらにおいても10回ほどイテレーションを回すことで，希望するライティングデザインが得られることがわかりました．そして，ユーザースタディにおいて既存のライティング調整手法とも比較を行っており，提案フレームワークが写真家に撮影結果への集中をもたらすことも示唆される結果となりました．
Authors:
– Kenta Yamamoto (University of Tsukuba, Digital Nature Group)
– Yuki Koyama (National Institute of Advanced Industrial Science and Technology (AIST))
– Yoichi Ochiai (University of Tsukuba, Digital Nature Group)
