ReLoC - Reinforcing Lowered Congestion
Authors
Jensen, Jakob Lund ; Valentinussen, Peter Rudbæk
Term
4. semester
Education
Publication year
2024
Submitted on
2024-05-31
Pages
115
Abstract
Afhandlingen undersøger mulighederne for at bruge dyb forstærkningslæring (deep reinforcement learning, DRL) til TCP-trængselskontrol – den mekanisme, der forhindrer overbelastning af netværk ved at justere, hvor hurtigt data sendes. Projektet introducerer og implementerer en ny DRL-baseret algoritme, Reinforcing Lower Congestion (ReLoC), og udvikler tre varianter. ReLoC lærer strategier (policies) gennem træning i fire simulerede netværksmiljøer: (1) forudsigelige ændringer i tilgængelig kapacitet uden anden TCP-trafik; (2) tilfældige kapacitetsændringer uden anden TCP-trafik; samt de samme to miljøer gentaget, men med en ekstra TCP-klient, der deler linket. I test på tværs af forskellige scenarier overgik ReLoC-varianterne almindeligt brugte trængselskontrolmetoder, når de var den eneste afsender på linket. Når en anden TCP-klient delte linket, klarede de sig derimod dårligere end de gængse metoder. Afhandlingen præsenterer flere forslag til, hvordan ReLoC kan forbedres, så den håndterer delte forbindelser bedre.
This thesis explores whether deep reinforcement learning (DRL) can improve TCP congestion control—the mechanism that prevents networks from overloading by adjusting how fast data is sent. It introduces and implements a new DRL-based algorithm, Reinforcing Lower Congestion (ReLoC), and develops three variants. ReLoC learns policies (decision rules) by training in four simulated network environments: (1) predictable changes in available capacity with no competing TCP traffic; (2) random capacity changes with no competing TCP traffic; and the same two settings repeated but with an additional TCP client sharing the link. In tests across multiple scenarios, the ReLoC variants outperformed commonly used congestion control methods when they were the only sender on the link. However, when another TCP client shared the link, they performed worse than common methods. The thesis outlines several directions to improve ReLoC so it can handle shared links more effectively.
[This summary has been rewritten with the help of AI based on the project's original abstract]
Documents