MultirepFL: A Multi-Layer Reputation Model for Participant Selection in Decentralized Federated Learning: A Multi-Layer Reputation Model for Participant Selection in Decentralized Federated Learning
Authors
Magnussen, Pætur ; Andersen, Thomas Ilum ; Nykjær, Thomas Dam
Term
4. term
Education
Publication year
2026
Submitted on
2026-06-12
Abstract
Decentralized Federated Learning (DFL) allows multiple participants to jointly train a machine learning model without sharing their private data and without relying on a single central server, which would otherwise be a point of failure and a concentration of trust. In DFL marketplaces, participant selection is often based on reputation. Existing systems usually compress all behaviour into one global score, mixing up general trustworthiness with how useful a participant is for specific types of tasks. Because data quality depends on the concrete task and on how the data are distributed, specialists in particular task types may be overlooked in favour of participants with a high overall reputation. At the same time, adversaries can build up reputation on easy, low-risk tasks and then use that reputation to get selected for high-value tasks, where they can exploit the system. In this thesis, we propose MultiRepFL, a permissionless DFL system built on the Ethereum blockchain. MultiRepFL separates general trustworthiness from task-type-specific usefulness by introducing two kinds of reputation: Global Integrity Reputation and Task Reputation. Global Integrity Reputation reflects whether a participant generally behaves honestly, while Task Reputation measures how well the participant performs on a specific type of task. This allows the system to take into account both reliability and task relevance when selecting participants. We evaluate MultiRepFL on the well-known image datasets MNIST and CIFAR-10. Our results show that the system significantly reduces how often two problematic participant types are selected for the tasks they try to exploit: so-called task-hopping malicious actors and free-riders see their selection rate on the attacked task type drop from 67.5% and 75.5% to 27% and 26.5%, respectively. We also show that MultiRepFL more reliably directs specialists toward the task types where they are strongest, compared to a single-reputation system. Finally, we introduce a Queue Value mechanism that gives newcomers a real chance to enter the system and counters the "rich-get-richer" dynamic, where only already highly reputed participants keep getting selected.
Decentralized Federated Learning (DFL) gør det muligt for flere parter at træne en fælles maskinlæringsmodel uden at dele deres private data og uden at være afhængige af én central server, som både kan være et sårbart punkt og kræve stor tillid. I DFL-markedspladser bruges deltageres omdømme ofte til at vælge, hvem der må være med. Eksisterende systemer samler al adfærd i én samlet score og blander dermed generel troværdighed sammen med, hvor nyttig en deltager er til bestemte typer opgaver. Fordi datakvalitet afhænger af den konkrete opgave og fordelingen af data, kan specialister i bestemte opgavetyper blive overset til fordel for deltagere med et højt samlet omdømme. Samtidig kan angribere opbygge et godt omdømme på lette og lavrisiko-opgaver og derefter bruge dette til at blive valgt til opgaver med høj værdi, hvor de kan misbruge systemet. I denne afhandling foreslår vi MultiRepFL, et tilladelsesfrit DFL-system bygget på Ethereum-blok-kæden. MultiRepFL skelner mellem generel troværdighed og opgavetype-specifik nytte ved at indføre to typer omdømme: Global Integrity Reputation og Task Reputation. Global Integrity Reputation afspejler, om en deltager generelt opfører sig ærligt, mens Task Reputation måler, hvor god deltageren er til en bestemt type opgave. På den måde kan systemet bedre vælge både pålidelighed og faglig relevans. Vi tester MultiRepFL på de velkendte billeddatasæt MNIST og CIFAR-10. Resultaterne viser, at systemet markant reducerer, hvor ofte to typer problematiske deltagere bliver valgt til de opgaver, de forsøger at udnytte: såkaldte "task-hopping"-angribere og free-ridere får sænket deres udvælgelsesrate på den angrebne opgavetype fra henholdsvis 67,5 % og 75,5 % til 27 % og 26,5 %. Derudover viser vi, at MultiRepFL mere pålideligt sender specialister hen til de opgavetyper, hvor de er stærkest, sammenlignet med et system med kun én samlet omdømmescore. Endelig indfører vi en Queue Value-mekanisme, som giver nye deltagere en reel chance for at komme ind i systemet og modvirker, at kun dem med højt omdømme bliver ved med at blive valgt (den såkaldte "rich-get-richer"-dynamik).
[This abstract has been rewritten with the help of AI based on the project's original abstract]
Keywords