Cross-Lingual Singing Voice to Singing Voice Translation: Automatic Translation of Lyrics From A Real Singing Voice to A Synthetic Singing Voice
Author
Antonisen, Silas
Term
4. term
Publication year
2024
Submitted on
2024-01-04
Pages
39
Abstract
Singing Voice Synthesis (SVS) systems can create sung vocals from text and melody. Recent work enables cross-lingual synthesis, letting voices sing in other languages, but songwriting still faces language barriers. To ease this, we fine-tune a model for English-to-Japanese lyric translation and integrate it into a cascaded pipeline for singing voice-to-singing voice translation. The goal is to take an English singing input and produce a synthesized Japanese performance with translated lyrics and a melody aligned to the words. Using state-of-the-art methods, we build such a system. However, evaluations show that the translation model often produces lyrics that are difficult to sing. These results indicate that a deeper understanding of Japanese is needed to achieve translations that are both accurate and singable.
Systemer til syntetisk sang (Singing Voice Synthesis, SVS) kan skabe sangstemmer ud fra tekst og melodi. Nye metoder muliggør sang på tværs af sprog (cross-lingual synthesis), men sprogbarrierer i sangskrivning begrænser anvendelsen. For at mindske denne barriere afprøver dette arbejde finjustering (fine-tuning) af en model til oversættelse af sangtekster fra engelsk til japansk. Den indgår i en samlet, trinvis løsning (en kaskade), der oversætter fra sunget engelsk til syntetisk sunget japansk. Målet er at modtage en engelsk sangstemme som input og generere en japansk, syntetisk sang med oversatte tekster og en melodi, der er tidsmæssigt tilpasset ordene. Ved hjælp af førende metoder konstrueres et sådant system. Evalueringer viser dog, at oversættelsesmodellen ofte giver tekster, der er svære at synge. Resultaterne peger på, at der kræves en dybere forståelse af japansk for at opnå oversættelser, der både er korrekte og sangbare.
[This apstract has been rewritten with the help of AI based on the project's original abstract]