Analysis and Optimization of Methods for Measuring Network Performance and Quality

Abstract

Dette projekt er en fortsættelse af arbejdet på NetMap systemet, som er et netværks målingssystem, udviklet til Android enheder, rettet mod at bruge crowdsourcing til at samle målinger, som kan bruges i et netværks ydelseskort. I dette projekt er der 2 primære fokusområder: Udvidet analyse af målinger indsamlet med NetMap systemet, og optimering af målemetoder. Den udvidede analyse omfatter en analyse af hvorledes de følgende punkter påvirker ydelsen af forbindelsen: bevægelseshastighed, områdetype og modellen der måles med. Ydermere vil de nuværende implementerede metoder til at måle Round-Trip Times (RTTs) og overførselshastighed blive analyseret dybdegående, for at opnå en bedre forståelse af kommunikationen der sker under målingerne. I optimeringen af målemetoderne er 2 teknikker, til at estimere den tilgængelige båndbredde imens dataforbruget holdes nede, implementeret i systemet og testet på en rigtig mobil netværksforbindelse. Resultater fra disse teknikker er sammenlignet med resultater fra den nuværende estimeringsmetode for overførselshastighed, og evalueret på grundlag af disse omstændigheder. Fra den udvidede analyse er det konkluderet, at når en enhed bevæger sig hurtigere, eller befinder sig i et område med tendens til handovers, vil ydelsen af forbindelsen falde lidt. Endvidere er det vist at ydelsen typisk er bedre i småbyer sammenlignet med storbyer, hvilket menes at skyldes en kombinationen af færre brugere og flere tilgængelige netværksressourcer. I analysen af måleenheder vises eksempler på forskelle i ydelsen mellem high- og low-end enheder. Baseret på analysen af de nuværende implementerede målemetoder foreslås alternative metoder til at udtrække mere detaljerede resultater fra disse. Yderligere to estimeringsmetoder til overførselshastighed er blevet implementeret og analyseret. Det konkluderes at den ene teknik leverer tilfredsstillende estimeringer, imens at dataforbruget holdes meget lavt, hvor den anden teknik oplever nogle problemer grundet kravet til tidspræcision ved afsendelse af målepakker.

This project is a continuation of the work on the NetMap system, which is a network measurement system developed for Android devices, aimed at using crowdsourcing for gathering measurements, to be used in creating a Network Performance Map. In this project there are 2 main focus areas: Extended analysis of the measurements gathered with the NetMap system, and optimization of measurement methods. The extended analysis includes analyzing the impact of the following points on the connection performance: movement speed, handovers between cell antennas, area types, and device models. Furthermore, the currently implemented methods for measuring Round Trip Times (RTTs) and throughput are analyzed in-depth to get a deeper understanding of the communication taking place during the measurement. In the optimization of measurement methods, 2 techniques for estimating the available bandwidth, while keeping the data usage at a minimum, are implemented in the system and tested on a real cellular connection. Results from these techniques are compared to results from the current throughput estimation method, and evaluated based on these circumstances. From the extended analysis it is concluded that when a device moves faster a slight decrease in performance is seen, and that in areas where handovers tend to happen the performance is decreased as well. Furthermore, it is shown that the performance typically is better in small town areas than in urban areas, believed to be due to the combination of fewer users and more network resources. From the analysis of device models, examples of differences in performance between high and low-end devices are presented. Based on the analysis of the current measurement methods, some alternative methods for extracting more detailed results are suggested. Two additional bandwidth estimation techniques have been implemented and analyzed. It is concluded that one technique delivers satisfactory estimations while keeping the data usage extremely low, where the other technique experienced issues due to the requirement of time precision in transmission of measurement packets.

A master thesis from Aalborg University

Analysis and Optimization of Methods for Measuring Network Performance and Quality - Developed for Android Devices

[Analyse og Optimering af Metoder til Måling af Netværksydelse og Kvalitet - Udviklet til Android Enheder]