U.P. - Job Distribution Network for Mass Computing Projects
Authors
Jensen, Anders Rune ; Lauritzen, Lau Bech ; Laursen, Ole
Term
4. term
Education
Publication year
2005
Abstract
Denne afhandling præsenterer U.P., et decentraliseret system, der fordeler beregningsopgaver på mange maskiner i store projekter. Det bygger på distributed hash tables (DHT) – en metode, hvor mange computere kan lagre og finde data uden en central server. Sammen med nøgleordsbaseret indeksering og load balancing skaber det et robust og skalerbart peer-to-peer-netværk til at uddele jobs. Vi udviklede en prototype i C++ og kørte den i p2psim-simulatoren. Vi testede både med realistiske og syntetiske scenarier for at vurdere intrusiveness (hvor meget systemet påvirker deltagende maskiner), skalerbarhed og robusthed. Resultaterne er lovende, om end der stadig er enkelte problemer. Vi konkluderer, at en decentral arkitektur kan være et realistisk alternativ til de nuværende centraliserede løsninger med bedre skalerbarhed, høj tilgængelighed og nemmere og billigere udrulning for nye projekter. Vi mener også, at den decentraliserede arkitektur kan danne grundlag for et mere generelt beregningsgrid.
This thesis presents U.P., a decentralized system that distributes computing jobs across many machines for large-scale projects. It builds on distributed hash tables (DHTs), a way for many computers to store and find data without a central server. Combined with keyword-based indexing and load balancing, this creates a robust and scalable peer-to-peer network for assigning jobs. We built a prototype in C++ and ran it in the p2psim simulator. We tested it with both realistic and synthetic scenarios to assess intrusiveness (how much the system affects participating machines), scalability, and robustness. The results are promising, though some issues remain. We conclude that a decentralized architecture can be a viable alternative to current centralized designs, offering better scalability, high availability, and easier, lower-cost deployment for new projects. We also suggest that this approach could form the basis of a more general computational grid.
[This abstract was generated with the help of AI]
Documents