KUBA - oppsummering av teknologivalg

Det følgende inneholder en kort beskrivelse av hva som er gjort, hvilke erfaringer prosjektet har gitt oss og hva man bør gjøre med tanke på utvikling av en barnestemme med høy kvalitet. 

Valg av stemmeteknologi
Flere av dagens moderne syntetiske stemmer er basert på en teknikk som kalles "enhetsutvelgelse". Kort fortalt går denne teknikken ut på at man samler en stor mengde tale, ofte i størrelsesorden 5-10 timer. Talen blir så klippet opp i små biter, en form for lydlige atomer, og organisert i en database. Når man så skal syntetisere en vilkårlig tekst, gjør man først en analyse av teksten for å finne uttale og annen informasjon som man vet har betydning for hvordan teksten skal leses opp: ordklasser, hvilke ord som skal ha fokus, hvor man skal sette inn pauser, osv... Denne metainformasjonen brukes til å søke etter passende lydbiter i databasen. Lydbitene skjøtes deretter sammen og spilles av. Denne formen for talesyntese kalles også, naturlig nok, skjøtesyntese.

Den store mengden tale som inngår i skjøtesyntese er en utfordring med tanke på produksjon av barnestemmer:

	- Barn bevarer konsentrasjonen kortere enn voksne
	- Barn er vanskeligere å instruere enn voksne

Det ovennevnte har negative konsekvenser med hensyn til tidsmessige og økonomiske kostnader for produksjon av barnestemmer. 

I dette prosjektet har vi derfor fokusert på en nyere, statistisk modell-basert synteseteknologi, ofte kalt HTS-syntese, som er basert på teknikker fra talegjenkjenning. Denne teknologien benytter i likhet med enhetsutvelgelse en stor mengde innlest tale, men talen brukes ikke direkte. I stedet trenes en statistisk modell av talen som blir brukt til å generere lyd (i motsetning til å spille av lyd). Disse modellene er svært like de man bruker i talegjenkjenning. 

En talegjenkjenner må ofte håndtere tale fra ulike personer. For å takle dette, har det blitt utviklet såkalte adapsjonsteknikker som omformer den statistiske modellen på en måte som gjør den mer tilpasset brukeren av systemet. Adapsjonsteknikker kan også brukes i talesyntese, men da er hensikten at stemmen skal ligne mer på en annen stemme enn den opprinnelige.  

Tanken i dette prosjektet er å få et barn til å lese inn en begrenset mengde tale og bruke denne talen til å transformere en voksenstemme slik at den ligner mer på barnets egen stemme.

Kort om arbeidet
Rammene i prosjektet har ikke tillatt mer enn et "proof of concept" for å avgjøre potensialet i den valgte strategien.

Arbeidet som er gjort er i stor grad basert på et fritt tilgjengelig forskningssystem (HTK) for talegjenkjenning, som er videreutviklet og spesialtilpasset for talesyntese. Dette kalles HTS og har en sterk kobling til forskningsmiljøet ved Nagoya Institute of Technology.

Utgangspunktet for arbeidet var en stor samling opptak fra tre voksenstemmer: én mann og to kvinner. Disse lydopptakene er i bruk i Lingits talesynteser. Hver taler har lest inn over 6000 setninger, noe som til sammen utgjør omtrent 15 timer tale. Disse dataene ble brukt til å lage en "masterstemme", som altså er stemmen som skal transformeres til en barnestemme.

Innsamling av barnetale
Studioinnlesing med barn er utfordrende. Det ble derfor valgt å bruke et profesjonelt dubbingselskap, Nordubb, som har spesialkompentanse på nettopp dette. Dette ga oss tilgang til et fagmiljø med relevant erfaring. 

Vi bestilte i første omgang 100 setninger plukket fra et egendefinert manuskript.  Det er vanlig å spesiallage et innlesingsmanuskript for å fange de mest relevante språklige egenskaper for talesyntese med færrest mulig setninger. Lingit har allerede slike spesiallagde manuskript, men disse inneholder til dels kompliserte tekster som barn har problemer med å lese. En utfordring for oss var at tilgangen på barnevennlige tekster var begrenset, og det ble derfor valgt å bruke et utdrag av et eksisterende manuskript til tross for vanskelighetsgraden. Dette hindret ikke Nordubb i å levere tale av høy kvalitet.

Lydmaterialet ble underveis i prosjektet utvidet med 180 setninger bestående av en samling utsagn fra barn, samt en kort fortelling. Disse tekstene var mindre kompliserte og hadde et noe større muntlig preg enn den første samlingen. Totalt ble 280 setninger lest inn, noe som utgjør noe over 15 minutter tale.

Opptrening av stemmemodell
Opptreningsprosessen kan deles i to deler: Først en opptrening av masterstemme, deretter adapsjon mot barnestemmen. 

Opptrening av stemmemodeller er beregningsmessig svært krevende. Dette gjør at eventuelle problemer i konfigurasjon eller implementasjon kan koste svært mye tid. Et innledende eksperiment, med en begrenset mengde data, ble derfor utført for å teste implementasjonen samt få en indikasjon på kvaliteten til den resulterende stemmen.

Etter at småskalaopptreningen viste seg rimelig stabil, ble det gjort en opptrening med alle tilgjengelige data. På dette tidspunktet var bare de 100 første barnesetningene tilgjengelige. En kraftig maskin dedikert til kun opptrening brukte mer enn én måned uten stans på å gjøre seg ferdig. 

Intern testing av den adapterte stemmen indikerte at det kunne være fordelaktig å øke mengden barnetale.  En ny opptrening med total 280 barnesetninger ble derfor utført. Siden masterstemmen ikke ble endret, kunne vi dra nytte av resultater fra den første fullskalaopptreningen. Allikevel tok det over to uker før den nye stemmemodellen var klar.

Tilpasning for testing
For å gjøre det praktisk mulig å teste stemmen, ble barnestemmemodellen integrert med Lingits talesyntesesystem for Windowsplattformen. En slik integrasjon muliggjorde testing i programmer som testpersonene bruker i det daglige.

Resultat og utfordringer
Inntrykket av stemmen etter testingen kan sammenfattes med "nesten, men ikke helt". 

Når man bedømmer kvalitet i forbindelse med talesyntese, er det viktig å forstå at begrepet "kvalitet" er subjektivt og flerfasettert. For å utmåle en stemmes kvalitet brukes lyttetester som vanligvis utformes på en måte som avdekker hvor naturlig den oppfattes å være og ikke minst hvor forståelig talen er. I tillegg kan det være aktuelt å få bedømt likhet med innleser.

Dette prosjektet har hatt fokus på ikke bare å få frem en barnestemme, men å vurdere den i forbindelse med en meget spesifikk målgruppe som bruker talesyntese og spesialisert programvare som hjelpemiddel. Målgruppen er lite egnet til å gjennomføre standardiserte lyttetester, og man har fokusert på å vurdere hvordan stemmen oppleves når den erstatter stemmene som testpersonene er vant til. Her beskrives kort erfaringer relatert til målepunktene beskrevet over.

Barnestemmen har en noe summende lydlig fremtoning. Dette skyldes i stor grad selve stemmeteknologien (HTS). Denne "summingen" er derfor noe som kan sees bort fra i vurderingen av stemmen.

Barnestemmen har en mer barnslig fremtoning enn masterstemmen. Uten å ha gjort formelle tester, hevder vi at stemmen ligner mer på barnet enn noen av voksenstemmene den er basert på. Dette betyr at adapsjonen klarer å fange opp noe av det "essensielle" ved den lille mengden barnetale som er brukt. 

Forståeligheten er relativt god, men er til en viss grad avhengig av teksten. For svært korte tekster, f.eks. enkeltord som "Ja!" og "Nei!" har forståelighet og naturlighet en tendens til å variere mer enn ønskelig. Noe av dette skyldes at lydmaterialet som har blitt brukt til opptrening ikke er designet med henblikk på slike korte "setninger". Metodene klarer ikke å realisere enkeltord eller korte kommandoer på en god måte. Dette er uheldig med tanke på testgruppen, som ofte kommuniserer ved hjelp av enkeltord. Problemet kan reduseres betraktelig ved å bruke et innlesingsmanuskript som inneholder en større andel korte ord og eventuelt  mye brukte korte fraser.

Naturligheten har etter vår oppfatning også for stor variasjon - igjen størst for korte tekster. Man kan oppleve at lydvarigheter i visse tilfeller blir unormalt lange eller korte, samt innslag av feilaktig intonasjon.

Totalinntrykket er at stemmen er nær ved å ha en kvalitet som er god nok for praktisk bruk, men at det er nødvendig med mer målrettet arbeid for å få dette til. 

Hva kan gjøres?
I og med at opptreningen av barnestemmen er relativt tidkrevende, ble det ikke tid til flere iterasjoner med eksperimenter i dette prosjektet. Stemmen er trent opp helt automatisk, uten manuell inngripen. Det er meget sannsynlig at manuell korreksjon av inngangsdataene vil kunne forbedre stemmekvaliteten. 

I tillegg til et mer målrettet innlesingsmanuskript kan det være aktuelt å få lest inn én eller flere fullskala ungdomsstemmer (basert på flere tusen setninger) som så brukes som utgangspunkt for adapsjon mot mindre barn, i henhold til den opprinnelige prosjektplanen. Dette vil kunne redusere "avstanden" mellom masterstemmen og målstemmen, noe som betyr at modellene ikke må manipuleres i så stor grad som når man bruker en voksenstemme som utgangspunkt. 

Inntrykket etter å ha vurdert lydmaterialet produsert av Nordubb er at det sannsynligvis er mulig å produsere en fullskalastemme med barn helt ned i 10-11-årsalderen, men dette krever spesielle talent hos innleser og opptaksleder og vil tids- og kostnadsmessig være mer krevende jo yngre innleseren er.