Evaluating synthetic digital twin data quality: A no-reference approach using a pretrained vision model and a customizable data generator
Authors
Whitehead, Sebastian Mikael Løwe ; Hansen, Rebecca Ryø
Term
4. term
Education
Publication year
2025
Submitted on
2025-05-26
Pages
82
Abstract
Synthetic data are increasingly used, but it remains hard to judge their quality for a given task without trial-and-error model training. This thesis examines a simple, no-reference idea: Can the performance of a model trained on real images serve as a proxy for the quality of synthetic images from a digital twin (a virtual replica of a real dataset or scene setup)? We built a digital twin of an open-source vision dataset and introduced controlled degradations in three image factors: lighting quality, texture resolution, and 3D detail (polygon count). We generated 37 test datasets with about 7,400 images and evaluated them using a model trained on the real images. Relative to the highest-quality synthetic set, degraded sets produced a statistically significant performance drop. When models were further fine-tuned on the synthetic datasets, differences became even more pronounced, with much larger declines in performance. We did not find a single global breakpoint where performance suddenly collapsed, likely due to variation across visual classes. However, per-class analyses showed breakpoints under all three degradation types. Together, these findings support the proposed no-reference approach as a practical way to assess digital twin data quality and help developers target their efforts for the greatest performance return.
Syntetiske data bliver mere udbredt, men det er svært at vurdere deres kvalitet for en given opgave uden at prøve sig frem med gentagne modeltræninger. Denne afhandling undersøger en enkel, referencefri tilgang: Kan ydeevnen af en model, der er trænet på virkelige billeder, bruges som et termometer for kvaliteten af syntetiske billeder fra en digital tvilling (en virtuel kopi af en virkelig datasæt- eller sceneopsætning)? Vi byggede en digital tvilling af et open source-billeddatasæt og indførte kontrollerede forringelser i tre billedfaktorer: lys (belysningskvalitet), teksturer (opløsning) og 3D-geometri (polygonantal, dvs. hvor detaljerede modellerne er). I alt blev 37 testdatasæt med cirka 7.400 billeder genereret og evalueret med en model, der var trænet på de virkelige billeder. Sammenlignet med det bedste (højeste kvalitet) syntetiske datasæt gav de forringede datasæt et statistisk signifikant fald i modelpræstationen. Når modellerne desuden blev fintunet på de syntetiske datasæt, blev forskellene endnu tydeligere, med markant større ydelsesfald. På tværs af alle klasser fandt vi ikke ét samlet brudpunkt, hvor ydeevnen pludseligt kollapsede. På klasseniveau kunne der dog observeres brudpunkter for alle tre typer forringelser. Resultaterne peger på, at den foreslåede referencefri metode er lovende til at vurdere kvaliteten af digitalt tvillingedata og kan hjælpe udviklere med at prioritere, hvor de får mest ydelse for deres indsats.
[This apstract has been rewritten with the help of AI based on the project's original abstract]