Schema Guided Abstention Mechanism for NL2SQL
Authors
Mortensen, Claes Berg ; Andersen, Lasse Mølgaard ; Hansen, Victor Doré
Term
4. term
Education
Publication year
2025
Submitted on
2025-06-11
Pages
10
Abstract
NL2SQL-systemer gør det muligt for ikke-eksperter at hente information fra databaser ved at stille spørgsmål på almindeligt sprog, som omsættes til SQL. Men selv avancerede modeller vurderer sjældent, om et spørgsmål overhovedet kan besvares ud fra den givne database, hvilket svækker deres praktiske pålidelighed. Eksisterende tilgange, hvor systemet kan vælge at afstå fra at svare (abstention), kræver ofte omfattende træning for hver enkelt database og hæmmer generalisering. Vi undersøger en skemastyret tilgang til abstention, der lader NL2SQL-systemet identificere og afstå fra urealiserbare spørgsmål, før der genereres SQL. Vores metode udnytter fortrænede egenskaber i eksisterende dekoder-only-modeller (sprogmodeller, der kun genererer tekst) til at fange forbindelsen mellem brugerens spørgsmål og databaseskemaet, og bruger denne information til at forudsige, om systemet bør afstå. Med denne tilgang får vi en abstentionsmekanisme, der kan overføres til nye domæner og kræver mindre data til træning. Vores eksperimenter viser, at vi opnår resultater i fronten for abstentionsopgaven, samtidig med at vi bevarer en bedre balance mellem at afstå og at generere SQL end eksisterende NL2SQL-systemer. Det øger pålideligheden og bringer teknologien tættere på anvendelse i praksis.
NL2SQL systems let non-experts query databases by asking questions in everyday language that are converted into SQL. However, even advanced models rarely check whether a question can be answered from the given database, which limits practical reliability. Existing methods that let a system abstain (choose not to answer) often require extensive training for each database and hinder generalization. We explore a schema-guided approach to abstention that enables an NL2SQL system to detect infeasible questions and abstain before generating SQL. Our method leverages pretrained features of existing decoder-only models to capture the connection between a user’s question and the database schema, and uses this information to predict when to abstain. This creates an abstention mechanism that transfers to unseen domains and reduces the amount of training data required. In experiments, we achieve state-of-the-art performance on the abstention task while maintaining a better balance between abstaining and generating SQL than prior NL2SQL systems. This improves reliability and moves NL2SQL closer to real-world use.
[This summary has been rewritten with the help of AI based on the project's original abstract]
Keywords
NLP ; NL2SQL ; Abstention ; Extraction ; LLM ; Infeasibility
Documents