Usage of data science techniques to personalize and optimize nutrition recommendations and information via a micronutrient focused application
Author
Bayer, Nils
Term
4. semester
Publication year
2024
Submitted on
2024-06-02
Pages
64
Abstract
Dette speciale undersøger, hvordan moderne datavidenskab og AI - som retrieval-augmented chatbots (inklusive graf-baserede varianter), large language models (LLM'er), computer vision til objektdetektion og tale-til-tekst - kan kombineres for at udvikle en ny type ernæringsapp. En gennemgang af tidligere forskning, en spørgeskemaundersøgelse blandt potentielle brugere og en samtale med en ernæringsekspert viste en tydelig skillelinje mellem apps med fokus på æstetik/fitness og apps med fokus på sundhed. Da de fleste nuværende produkter prioriterer det første, udvikler dette arbejde et sundheds- og mikronæringsfokuseret alternativ. Kernen i appen er et madanbefalingssystem, der sammenligner fødevarer ud fra ligheden i deres næringsprofiler (vektorsimilaritet). På den måde kan appen foreslå varer, der hjælper med at dække mikronæringsbehov, og dermed rækker den ud over ren kalorietælling og måltidslogning. Undersøgelsen pegede også på, at manuel registrering af mad er et stort irritationsmoment. For at reducere indsatsen integrerer appen computer vision, så brugerne kan identificere fødevarer fra fotos, samt tale-til-tekst, så de kan logge med stemmen - hurtigere alternativer til at taste. Gennem hele projektet fungerer LLM'er som en fleksibel rygrad til hurtigt at tilføje AI-funktioner på tværs af tekst og multimodale input.
This thesis explores how modern data science and AI - such as retrieval-augmented chatbots (including graph-based variants), large language models (LLMs), computer vision for object detection, and speech-to-text - can be combined to build a new kind of nutrition app. A review of prior research, a survey of potential users, and a conversation with a nutritionist revealed a clear split between apps aimed at aesthetics and fitness and those aimed at health. Because most current products prioritize the former, this work designs a health- and micronutrient-focused alternative. At the center of the app is a food recommendation system that compares foods by the similarity of their nutrient profiles (vector similarity), allowing the app to suggest items that help meet micronutrient needs. As a result, the app goes beyond simple calorie or meal tracking. The survey also highlighted that manual food logging is a major pain point. To reduce effort, the app integrates computer vision so users can identify foods from photos and speech-to-text so they can log items by voice, providing faster alternatives to typing. Throughout the project, LLMs serve as a flexible backbone for quickly adding AI features across text and multimodal inputs.
[This summary has been rewritten with the help of AI based on the project's original abstract]
Documents