MAKER: Model- And chunK-based approach for Error-bound Regulation
Authors
Harrington, Teis Vognstoft ; Bech, Emil Laurits ; Agneborn, Frederik
Term
4. term
Education
Publication year
2023
Submitted on
2023-06-27
Abstract
MAKER is a model- and chunk-based system for compressing and transmitting time-series data from remote devices, designed to balance accuracy against a user-defined data budget. Building on MOBY’s model-based compression, it continuously regulates error bounds: when data are deemed important, bounds are tightened to preserve accuracy; where substantial savings are possible and necessary, bounds are relaxed within a user-specified maximum. Importance is assessed online using Welford’s algorithm with Z-scores and can be swapped for other methods without changing the rest of the system. A timestamp compressor handles irregular time series by combining run-length encoding and Huffman coding to losslessly compress timestamps. A chunk-based scheduler segments the stream into time windows and adjusts error bounds within each window to meet the budget. Evaluation shows MAKER generally adheres to the budget, provides lossless compression when budgets allow, and defers excess models to the next transmission when budgets are too tight. Compared to MOBY, it achieves up to 26 times faster processing on less irregular data and up to 20 times lower memory usage, with robust performance on both regular and irregular datasets, making it suitable for resource-constrained devices.
MAKER er et model- og chunk-baseret system til komprimering og transmission af tidsseriedata fra fjerntliggende enheder, der skal balancere nøjagtighed og et brugerdefineret databudget. Systemet bygger videre på MOBY’s modelbaserede komprimering, men regulerer løbende fejlgrænserne: Når data vurderes vigtige, sænkes fejlgrænsen for at bevare høj nøjagtighed; hvor store besparelser er mulige og nødvendige, øges fejlgrænsen inden for en maksimalt tilladt grænse. Vigtighed vurderes online med Welfords algoritme og Z-scores, og kan udskiftes med andre metoder uden at ændre resten af systemet. En tidsstempelkompressor håndterer uregelmæssige tidsserier ved at kombinere run-length-komprimering og Huffman-kodning for tabsfri komprimering af tidsstempler. En chunk-baseret scheduler opdeler strømmen i tidsafsnit og justerer fejlgrænserne i hvert afsnit for at overholde databudgettet. Evalueringen viser, at MAKER typisk holder sig inden for budgettet, tilbyder tabsfri komprimering når budgettet tillader det, og udskyder overskydende modeller til næste transmission, hvis budgettet er for stramt. Sammenlignet med MOBY opnår systemet op til 26 gange hurtigere behandling på mindre uregelmæssige data og op til 20 gange lavere hukommelsesforbrug, og det leverer stabil ydeevne på både regelmæssige og uregelmæssige datasæt, hvilket gør det velegnet til enheder med begrænsede ressourcer.
[This apstract has been generated with the help of AI directly from the project full text]