Shielded AI for Hybrid Systems
Translated title
AI med Skjold for Hybride Systemer
Author
Brorholt, Asger Horn
Term
4. Term
Publication year
2022
Pages
50
Abstract
At sikre sikker adfærd for en forstærkningslæringsagent eller en anden kompleks model er vanskeligt, og formel verifikation er ikke altid mulig. Et praktisk alternativ er et sikkerhedsskjold: et lag, der ved kørsel kontrollerer hver foreslået handling op mod et sikkerhedskrav. Sikre handlinger føres videre uden ændring, mens potentielt usikre handlinger rettes ved hjælp af en automatisk udledt sikkerhedsstrategi. Vi udvikler en teknik til hybride systemer (systemer med både diskrete beslutninger og kontinuerlig dynamik), der for et givent sikkerhedskrav skelner mellem sikre og usikre handlinger. Teknikken anvendes på to problemer, et med endelig tidshorisont (begrænset varighed) og et med uendelig tidshorisont (løbende). Den resulterende sikkerhedsstrategi importeres i Uppaal Stratego, et værktøj med funktioner til maskinlæring og statistisk modeltjek, for at køre eksperimenter om effekten af skjoldet. Når læring sker med sikkerhedsskjoldet, er resultaterne lige så gode som, eller bedre end, uden skjold.
Ensuring safe behavior of a reinforcement learning agent or other complex model is difficult, and formal verification is not always feasible. A practical alternative is a safety shield: a runtime layer that checks each proposed action against a safety requirement. Safe actions are passed through unchanged, while potentially unsafe actions are corrected using an automatically derived safety strategy. We develop a technique for hybrid systems (systems with both discrete decisions and continuous dynamics) that, for a given safety property, distinguishes safe from unsafe actions. The technique is applied to two problems, one with a finite time horizon (limited duration) and one with an infinite time horizon (ongoing). The resulting safety strategy is imported into Uppaal Stratego, a tool with capabilities for machine learning and statistical model checking, to run experiments on the effects of shielding. When learning takes place with the shield in place, outcomes are as good as, or better than, those without shielding.
[This abstract was generated with the help of AI]
Keywords
Documents