Approximation Spaces of Deep Neural Networks
Authors
Lund, Julie Havbo ; Kjær, Mads Bjerregaard
Term
4. term
Education
Publication year
2024
Submitted on
2024-05-30
Pages
121
Abstract
This master's thesis examines how the architecture of deep neural networks—for example, the number of layers, neurons, and connections—affects their expressivity, meaning their ability to approximate functions from specified classes. Approximation spaces are used as a mathematical framework to describe and compare how well networks can approximate functions, and network complexity is measured by counting either connections or neurons. The thesis first reviews neural networks and their activation functions and establishes basic properties. It then introduces B-splines (flexible, piecewise-polynomial building blocks widely used in approximation) and shows that sufficiently complex neural networks can realize or approximate B-splines. These findings are combined with B-spline approximation to construct a neural network whose structure is equivalent to B-spline approximation. The performance of this equivalent network is evaluated in an experiment with simulated target functions. Finally, using general approximation theory, the thesis establishes approximation spaces associated with the considered neural networks. These spaces are discussed for the ReLU activation function, and directions for further analysis are highlighted.
Denne kandidatafhandling undersøger, hvordan arkitekturen i dybe neurale netværk – fx antal lag, neuroner og forbindelser – påvirker deres udtrykskapacitet, dvs. evnen til at approksimere funktioner fra bestemte klasser. Approksimationsrum bruges som en matematisk ramme til at beskrive og sammenligne, hvor godt netværk kan nærme sig forskellige funktioner, og netværkenes kompleksitet måles ved at tælle enten forbindelser eller neuroner. Afhandlingen indleder med en gennemgang af neurale netværk og deres aktiveringsfunktioner samt nogle grundlæggende egenskaber. Derefter introduceres B-splines (fleksible, stykvise polynomielle byggeklodser, der ofte bruges i approksimation) og forbindes til neurale netværk ved at vise, at tilstrækkeligt komplekse netværk kan realisere eller approksimere B-splines. Disse resultater kombineres med B-spline-approksimation for at konstruere et neuralt netværk med en struktur, der er ækvivalent med B-spline-approksimation. Ydelsen af dette ækvivalente netværk undersøges i et eksperiment med simulerede målfunktioner. Til sidst etableres approksimationsrum knyttet til de undersøgte neurale netværk ved hjælp af generel approksimationsteori. Disse rum diskuteres for ReLU-aktiveringsfunktionen, og mulige retninger for videre analyse fremhæves.
[This apstract has been rewritten with the help of AI based on the project's original abstract]
Keywords