Exploring gradual learning rates for transfer learning in an image classification setting
Authors
Knudsen, Esben Winther ; Bach-Nielsen, Sebastian Siem
Term
4. term
Education
Publication year
2018
Submitted on
2018-05-31
Pages
59
Abstract
This thesis examines transfer learning for image classification, focusing on how gradual, layer‑wise learning rates and modern scheduling strategies can fine‑tune pre‑trained networks effectively under limited data while mitigating catastrophic forgetting and negative transfer. It formalizes transfer learning in terms of source/target domains and tasks, reviews homogeneous and heterogeneous settings, and discusses when transfer can harm performance. Building on prior studies of feature transferability and discriminative fine‑tuning, the thesis explores layer‑dependent learning rates, cosine annealing with warm restarts, optimizer choices (e.g., SGD variants), and hyperparameter search methods. To anticipate transfer success, it proposes using the Modified Hausdorff Distance as a proxy for dataset similarity when marginal distributions differ, complemented by dimensionality reduction (PCA, t‑SNE) for visualization. The experimental setup outlines dataset selection and domain adaptation, a procedure for choosing initial learning rates, and evaluations using specified source and target networks (including work with CIFAR10). Results are presented in later sections not included in this excerpt; the overarching goal is to derive practical guidance on tuning strategies and similarity measures that improve the reliability and effectiveness of transfer learning in image classification.
Dette speciale undersøger transfer learning til billedklassifikation med fokus på, hvordan gradvise, lagvise læringsrater og moderne planlægningsstrategier for læringsraten kan finjustere fortrænede netværk effektivt under begrænset data og samtidig begrænse katastrofal glemsel og negativ transfer. Arbejdet formaliserer transfer learning i forhold til kilde-/måldomæner og -opgaver, gennemgår homogene og heterogene scenarier og belyser, hvornår transfer kan forringe ydeevnen. Med afsæt i tidligere studier af feature-overførbarhed og diskriminerende finjustering undersøges lagafhængige læringsrater, cosine annealing med varme genstarter, valg af optimeringsmetoder (fx SGD-varianter) og strategier for hyperparameter-søgning. For at forudsige transferens succes foreslås brugen af den Modificerede Hausdorff-afstand som et mål for datasætslighed, når de marginale fordelinger afviger, suppleret af dimensionsreduktion (PCA, t‑SNE) til visualisering. Det eksperimentelle setup skitserer valg af datasæt og domænetilpasning, en procedure til at vælge initiale læringsrater samt evalueringer med specifikke kilde- og mål-netværk (bl.a. med CIFAR10). Resultater præsenteres i senere afsnit, som ikke indgår i dette uddrag; målet er at udlede praktiske retningslinjer for tuningstrategier og lighedsmål, der øger pålidelighed og effekt i transfer learning til billedklassifikation.
[This apstract has been generated with the help of AI directly from the project full text]