Transformation of Plants into Polka Dot Arts: Kusama Yayoi as an Inspiration for Deep Learning
Museums and galleries are places that stimulate the imagination and creativity of people. However, against the backdrop of the COVID-19 pandemic, many museums have been forced to close. As a result, more visitors have had to start visiting online exhibitions. Under this trend, the quality of the online exhibition experience is facing unprecedented challenges, and visitors need to be provided with a high-quality online experience. With the rapid development of emerging technologies, museums and galleries have started to use technology to create “digitalization” experiences, such as 3D virtual exhibitions and VR interactive experiences. The current online exhibition format focuses more on improving the visitor’s experience of viewing and browsing works and related information and less on how visitors create their artworks. In order to remedy the experience of visitors actively creating artworks, this study uses Yayoi Kusama’s works as a case study to help form an utterly interactive process between visitors and artworks. We propose a Polka Dot Arts Transfer Network (PDAT-net), mixing realistic-looking and Polka Dot Art-style reference images. The output image looks like an actual natural image “drawn” in the polka dot art style. The PDAT-net is trained to compose an image in the style of Polka Dot Arts, based on neural style transfer. Convolutional networks implemented the training. Plant images performed the final test. The results showed that the generated polka dot images have similar styles to the style images, proving that our PDAT-network has good transfer performance of Polka Dot Arts.
博物館や美術館は、人々の想像力や創造力を刺激する場所である。しかし、COVID-19の大流行を背景に、多くの美術館が閉館を余儀なくされている。その結果、オンライン展覧会に足を運ぶ人が増えている。このような流れの中で、オンライン展示の体験の質はかつてないほどの課題に直面しており、ビジターに高品質のオンライン体験を提供することが求められている。新興テクノロジーの急速な発展に伴い、博物館や美術館は、3Dバーチャル展示やVRインタラクティブ体験などの「デジタル化」体験を実現するために、テクノロジーを活用し始めている。現在のオンライン展示の形式は、観覧者が作品や関連情報を閲覧・視聴する体験を向上させることに重点を置いており、観覧者がどのように作品を制作するかという点にはあまり関心がない。本研究では、来場者が能動的に作品を制作する体験を是正するために、草間彌生の作品を事例として、来場者と作品との間の全くインタラクティブなプロセスを形成するための一助とする。現実的な画像とPolka Dot Arts的な参照画像を混在させた、Polka Dot Arts Transfer Network (PDAT-net)を提案する。出力画像は、Polka Dot Arts風に「描かれた」実際の自然画像のように見える。PDAT-netは、ニューラル・スタイル・トランスファーに基づき、Polka Dot Arts風の画像を構成するように学習される。学習は畳み込みネットワークによって行われた。植物画像は最終テストを行った。その結果、生成されたPolka Dot画像はスタイル画像と同様のスタイルを持ち、我々のPDAT-networkがPolka Dot Artsの良い転送性能を持つことが証明された。
1 Library and Information Media, University of Tsukuba, Tsukuba, Japan / 1 筑波大学図書館情報メディア系、日本、つくば
2 Graduate School of Pure and Applied Sciences, University of Tsukuba, Japan / 筑波大学数理物質科学研究科、日本、つくば
