Improved Learning of Joint Distributions using Soft-Coupled GANs
Authors
Alminde, Patrick Abildgaard ; Juul-Nyholm, Markus Hald
Term
4. term
Education
Publication year
2020
Pages
111
Abstract
This thesis investigates learning joint distributions across image domains without paired examples by re-examining Coupled GANs (CoGAN). Prior work reports that CoGAN’s strict weight sharing hampers learning on noisy and diverse datasets such as MNIST2SVHN, apple2orange, and horse2zebra. Through experimental analysis, we find that weight sharing can restrict each generator’s ability to model its own marginal when objects vary in position, context, or multiplicity. We propose Soft-CoGAN (SCoGAN), which replaces hard weight sharing with softer coupling via four regularizers: (1) a feature regularizer encouraging similar internal features across generators, (2) a semantic loss using image classification to align the classes of generated pairs, (3) cycle consistency in the latent space, and (4) a perceptual loss based on features from a pretrained deep classifier. Experiments on the above datasets show that suitable combinations of these regularizers learn the joint distribution on MNIST2SVHN, while performance on apple2orange, horse2zebra, and CelebA matches CoGAN. We discuss these outcomes and argue that soft coupling is promising for challenging domains.
Dette speciale undersøger, hvordan man kan lære fælles fordelinger på tværs af billeddomæner uden parrede eksempler ved at genbesøge Coupled GANs (CoGAN). Tidligere arbejde rapporterer, at CoGANs strenge vægtdeling hæmmer læring på støjende og varierede datasæt såsom MNIST2SVHN, apple2orange og horse2zebra. Gennem en eksperimentel analyse identificerer vi, at vægtdelingen kan begrænse hver generators evne til at modellere sin egen marginal, når objekter varierer i placering, kontekst eller antal. Vi foreslår Soft-CoGAN (SCoGAN), som erstatter hård vægtdeling med en blødere kobling via fire regulariseringer: (1) en featureregularisator, der tilskynder til lignende interne træk på tværs af generatorer, (2) et semantisk tab baseret på klassifikation for at sikre, at de genererede par tilhører samme klasse, (3) cykelkonsistens i det latente rum og (4) et perceptuelt tab baseret på features fra en prætrænet dyb klassifikator. Eksperimenter på de nævnte datasæt viser, at passende kombinationer af disse regulariseringer lærer den fælles fordeling på MNIST2SVHN, mens ydeevnen på apple2orange, horse2zebra og CelebA matcher CoGAN. Vi diskuterer implikationerne og argumenterer for, at den bløde kobling er lovende for udfordrende domæner.
[This apstract has been generated with the help of AI directly from the project full text]