Synthetic Multi-Spectral Imagery as a Complementary Modality for Rice Weed Segmentation
Authors
J. Zachariasen, Hugin ; H. Jensen,, Magnus ; S. Madsen, Tobias
Term
4. term
Education
Publication year
2026
Abstract
This thesis investigates whether synthetic multi-spectral imagery reconstructed from standard RGB drone images can support precision agriculture, using rice weed segmentation as the main case study. The motivation is that multi-spectral sensors, which capture bands such as red-edge and near-infrared that are closely linked to vegetation condition, are more expensive and less common than RGB cameras, limiting the availability of annotated multi-spectral datasets for model development. To address this, the thesis introduces MAMI, a reconstruction framework that builds on a previous three-stage transfer-learning pipeline based on MST++ and extends it with NDVI- and NDRE-aware loss terms that are optimised separately in each training stage to better preserve agronomically meaningful spectral relationships. The best-performing MAMI configuration is then used to generate a synthetic multi-spectral version of the Weedy Rice dataset, converting each RGB image into four bands (green, red, red-edge and near-infrared). Six segmentation architectures (UNet++ with ResNet34 and ResNet50 encoders, DeepLabv3+ with ResNet34 and ResNet50 encoders, and SegFormer-B0 and SegFormer-B1) are fine-tuned on five input settings: RGB only, measured multi-spectral only, synthetic multi-spectral only, RGB combined with measured multi-spectral, and RGB combined with synthetic multi-spectral. Evaluated with Intersection over Union across ten random seeds, measured multi-spectral input achieves the highest mean performance (IoU 0.723), closely followed by RGB combined with synthetic multi-spectral input (0.722) and RGB combined with measured multi-spectral input (around 0.719), while synthetic multi-spectral input alone yields only a slight improvement over RGB alone. The thesis concludes that synthetic multi-spectral imagery cannot replace real multi-spectral measurements, but is most valuable as a complementary modality that enriches RGB-based weed segmentation, supporting synthetic spectral reconstruction as a practical and cost-effective way to enhance precision agriculture pipelines when measured multi-spectral data are limited, while highlighting the need for further validation on larger datasets, other crops, and additional agricultural tasks.
Denne afhandling undersøger, om syntetisk multi-spektral billeddannelse, rekonstrueret ud fra almindelige RGB-dronebilleder, kan bruges til præcisionslandbrug med fokus på segmentering af ukrudtsris i rismarker. Baggrunden er, at multi-spektrele sensorer, som kan måle blandt andet red-edge og nær-infrarød stråling, er dyre og relativt sjældne, selv om deres information er vigtig for at vurdere plantevækst, stress og ukrudt. For at adressere denne udfordring introducerer afhandlingen MAMI, et rekonstruktionsframework, der bygger videre på en tidligere tre-trins transfer-learning pipeline (baseret på MST++) og udvider den med NDVI- og NDRE-baserede tabsfunktioner, der optimeres forskelligt i hver træningsfase for at bevare agronomisk meningsfulde spektrale relationer. Den bedste konfiguration af MAMI anvendes til at generere en syntetisk multi-spektrelt version af Weedy Rice-datasættet, hvor hver RGB-billedscene omdannes til fire bånd (grøn, rød, red-edge og nær-infrarød). Seks segmenteringsarkitekturer (UNet++ med ResNet34 og ResNet50, DeepLabv3+ med ResNet34 og ResNet50 samt SegFormer-B0 og SegFormer-B1) finjusteres herefter på fem forskellige inputkonfigurationer: kun RGB, kun målte multi-spektrele data, kun syntetiske multi-spektrele data, RGB kombineret med målte multi-spektrele data og RGB kombineret med syntetiske multi-spektrele data. Resultaterne, evalueret med Intersection over Union på tværs af ti trænings-seeds, viser, at målte multi-spektrele data opnår den højeste gennemsnitlige præcision (IoU 0,723), tæt fulgt af RGB kombineret med syntetiske multi-spektrele data (0,722) og RGB kombineret med målte multi-spektrele data (ca. 0,719), mens syntetiske multi-spektrele data alene kun marginalt overgår RGB alene. Afhandlingen konkluderer derfor, at syntetisk multi-spektrelt billeddannelse ikke kan erstatte reelle målinger, men fungerer bedst som en komplementær modalitet, der beriger RGB-baseret ukrudtssegmentering, hvilket gør syntetisk spektral rekonstruktion til en praktisk og omkostningseffektiv måde at styrke præcisionslandbrug i situationer med begrænset adgang til målte multi-spektrele data, om end yderligere validering på større datasæt, andre afgrøder og opgaver stadig er nødvendig.
[This abstract has been generated with the help of AI directly from the project full text]