LUMINATING SCENES: A STUDY OF LIGHT AUTOMATION USING DEEP LEARNING IN VIRTUAL PRODUCTION ENVIRONMENTS
Author
Apostolou, Achillefs
Term
4. term
Education
Publication year
2024
Abstract
Virtuel produktion (VP) kombinerer optagelser på set med digitale miljøer i realtid. Lyslægning i VP er svær at planlægge og kræver ofte mange drøftelser mellem cheffotografen (DoP) og den virtuelle art-afdeling (VAD). Dette studie præsenterer et værktøj i Unreal Engine 5 (UE5), der bruger dybdelæring (computer-modeller, som lærer af eksempler) til at automatisere et enkelt, men tidskrævende trin i lysarbejdet. Ud fra et enkelt inputbillede kan tre trænede modeller 1) foreslå, hvor lys bør placeres, 2) foreslå lysfarver, eller 3) foreslå begge dele. Farve-modellen var hovedfokus, fordi den er lettere at teste og verificere. Inden værktøjet blev bygget, gennemførte forskerne fokusgruppeinterviews med 10 workshopdeltagere med varierende erfaring i filmfotografi og VP. Deltagerne oplevede, at begrænsninger ved VP-scener, især omkring lys, gav en stejl læringskurve for DoP-rollen og gjorde kommunikationen med VAD vanskeligere. Holdet producerede derefter en kortfilm med værktøjet for at vurdere, om det kan effektivisere VP-arbejdsgange og støtte samarbejdet.
Virtual production (VP) combines on-set filming with real-time digital environments. Lighting in VP is hard to plan and often requires many discussions between the Director of Photography (DoP) and the Virtual Art Department (VAD). This study introduces a tool in Unreal Engine 5 (UE5) that uses deep learning (computer models that learn from examples) to automate a simple but time-consuming lighting step. From a single input image, three trained models can 1) suggest where lights should be placed, 2) suggest the color of the lights, or 3) suggest both. The color prediction model was the main focus because it is easier to test and verify. Before building the tool, the researchers held focus-group interviews with 10 workshop participants with mixed experience in cinematography and VP. Participants reported that VP lighting limitations created a steep learning curve for the DoP role and made communication with the VAD harder. The team then made a short film using the tool to assess whether it can streamline VP workflows and improve collaboration.
[This summary has been rewritten with the help of AI based on the project's original abstract]
Keywords
Documents