Intelligent Control of Wastewater Treatment using Model Predictive Control & Reinforcement Learning
Authors
Jørgensen, Malthe Peter Højen ; Gehlert, Lise Bech ; Koch, Christoffer Brejnholm
Term
4. term
Education
Publication year
2025
Submitted on
2025-06-13
Pages
92
Abstract
Wastewater treatment plants use a lot of energy to meet strict effluent standards, and operations become more complex when weather conditions change. This thesis explores combining Model Predictive Control (MPC) with Reinforcement Learning (RL) to optimize operations, aiming to lower energy use/cost and improve effluent quality. MPC predicts future plant behavior to choose better control actions, while RL is a learning method that improves decisions through experience. The work proposes a practical implementation pipeline that links a high-fidelity digital twin built in WEST (by DHI) with a simplified optimizer in UPPAAL Stratego. These are connected via STOMPC, an MPC interface. This setup enables fast testing of control strategies while staying close to realistic plant behavior. Experiments across dry, rain, and storm scenarios show that MPC can improve both energy use and effluent quality at the same time. In dry weather, energy consumption was reduced by up to 24%, depending on the scenario.
Spildevandsrensningsanlæg bruger meget energi for at levere rent udløb, og driften bliver ekstra udfordrende, når vejret skifter. Denne afhandling undersøger, hvordan Model Predictive Control (MPC) kombineret med forstærkningslæring (Reinforcement Learning, RL) kan optimere driften med målet om at sænke energiforbrug/-omkostninger og forbedre udløbskvaliteten. MPC forudser anlæggets fremtidige tilstande for at vælge bedre styringshandlinger, mens RL er en læringsmetode, der forbedrer beslutninger gennem erfaring. Arbejdet foreslår en praktisk implementeringspipeline, der kobler en detaljeret digital tvilling i WEST (fra DHI) med et forenklet optimeringsværktøj i UPPAAL Stratego. De to systemer forbindes via STOMPC, et interface til MPC. Denne opbygning gør det muligt at teste styringsstrategier hurtigt, men stadig i et realistisk miljø. Forsøg under tørvejr, regn og storm viser, at MPC kan forbedre både energiforbrug og udløbskvalitet samtidigt. Under tørvejr blev energiforbruget reduceret med op til 24 %, afhængigt af scenariet.
[This apstract has been rewritten with the help of AI based on the project's original abstract]
Keywords