TapResult: A columnar file format with an evolving schema: Specialisation in Software
Authors
Andreasen, Frederik Juhl ; Aavild, Anders Peter
Term
4. term
Education
Publication year
2026
Submitted on
2026-06-03
Pages
39
Abstract
This report continues our work from the previous semester, where we defined requirements for a good file format for OpenTAP. A file format is a structured way to store and share data. We review selected existing formats to gather ideas and use them to design a new format, TapResult. We describe how TapResult is currently used through a command-line tool (CLI) and a plugin for OpenTAP. We then present experiments that measure how fast the format writes and reads data and how well files compress (become smaller), along with the lessons learned. We also introduce two complementary formats, TapData and TapSchema, which follow the same design principles as TapResult. Finally, we discuss the outcomes and outline possible future directions for the format.
Denne rapport bygger videre på vores arbejde fra sidste semester, hvor vi fastlagde krav til et godt filformat til OpenTAP. Et filformat er en struktureret måde at gemme og dele data. Vi gennemgår udvalgte, eksisterende formater for at hente idéer og bruger dem til at designe et nyt format, TapResult. Vi beskriver, hvordan TapResult i dag anvendes via et kommandolinjeværktøj (CLI) og en plugin til OpenTAP. Derefter præsenterer vi forsøg, der måler, hvor hurtigt formatet kan skrive og læse data, og hvor godt filer kan komprimeres (gøres mindre), samt hvad vi lærte af disse målinger. Vi introducerer også to supplerende formater, TapData og TapSchema, der bygger på de samme principper som TapResult. Til sidst diskuterer vi resultaterne og skitserer mulige næste skridt for formatet.
[This apstract has been rewritten with the help of AI based on the project's original abstract]
Keywords
OpenTAP ; File format ; columnar storage ; cascading encoding ; encoding ; compression ; write speed ; read speed ; storage ; database ; database technologies ; schema ; parquet ; csv