Improving Abstractive Tips Generation for Explaining Recommendations

Forbedring af Abstrakt Tips Generation for Forklarende Anbefalinger

Christensen, Michael Kusk ; Würtz, Lasse Martin Lund ; Gustafsson, Søren Nørgreen

4. term

Computer Science, Master

2018

2018-06-14

21

Tips er korte forklaringer, som brugere kan tilføje til deres produktanmeldelser. De kan hjælpe anbefalingssystemer og kan også genereres automatisk som forklaring på en anbefaling. Vi undersøger Neural Rating and Tips Generation (NRT), foreslået af Li m.fl., og forsøger at genskabe modellen. Derefter afprøver vi tre forbedringer: (1) matrixfaktorisering, som sammenfatter bruger- og produktegenskaber (NSVDT), (2) en opmærksomhedsmekanisme (attention), der hjælper modellen med at fokusere på vigtige signaler (NRT*A), og (3) en bedømmelsesbaseret skaleret tabsfunktion, der vægter træningen efter rating (NRT*RSL). Vi evaluerer grundmodellen og udvidelserne mod baseline-modeller med MAE og RMSE til forudsigelse af ratings, ROUGE-scorer til generering af tips samt mål for diversitet ved at måle hyppigheden af gentagne to-ordsfraser (bigrammer). Vi kan ikke genskabe Li m.fl.s resultater med deres præcise konfiguration, men med en anden konfiguration opnår vi sammenlignelige resultater. Vores forsøg viser, at NSVDT forbedrer ratingforudsigelse, tipsgenerering og diversitet. NRT*A forbedrer diversitet og tipsgenerering, men er en anelse dårligere til ratingforudsigelse. NRT*RSL klarer sig samlet dårligere på ratingforudsigelse og tipsgenerering, men giver en mere afbalanceret ydeevne på tværs af de enkelte ratingværdier.

Tips are short explanations that users add to product reviews. They can help recommender systems and can also be generated to explain a recommendation. We study the Neural Rating and Tips Generation (NRT) model proposed by Li et al. and attempt to reproduce it. We then test three improvements: (1) matrix factorization, which summarizes user and item characteristics (NSVDT); (2) an attention mechanism that lets the model focus on important signals (NRT*A); and (3) a rating-based scaled loss that weights training by rating (NRT*RSL). We evaluate the base model and the extensions against baselines using MAE and RMSE for rating prediction, ROUGE scores for tip generation, and a diversity measure based on how often two-word phrases (bigrams) repeat. We are unable to reproduce Li et al.'s results with their exact configuration, but with a different configuration we obtain comparable performance. Our experiments show that NSVDT improves rating prediction, tip generation, and diversity. NRT*A improves diversity and tip generation but is slightly worse on rating prediction. NRT*RSL performs worse overall on rating prediction and tip generation, but it delivers a more balanced performance across individual rating values.

[This abstract was generated with the help of AI]

Download
View record in AAU Student Projects