Wat is AI-nasynchronisatie en wanneer kies je voor een Nederlandse stem?

Wat AI-nasynchronisatie precies is

Bij klassieke nasynchronisatie spreken stemacteurs in een studio de vertaalde tekst in, zin voor zin afgestemd op het beeld. Denk aan de Nederlandse versie van een animatiefilm in de bioscoop of een tekenfilmserie op televisie. Bij AI-nasynchronisatie doet software dat werk: er is geen stemacteur, maar een gegenereerde stem.

Het woord wordt in de praktijk ruim gebruikt. Soms bedoelt iemand een volledig vervangen stem, soms een vertaalde voice-over die over het origineel heen ligt, zoals bij documentaires. Dat verschil is relevant: bij nasynchronisatie hoor je de oorspronkelijke spreker niet meer, bij een voice-over vaak nog zacht op de achtergrond. Het Engelstalige stuk over dubbing en voice-over (Engels) zet de varianten naast elkaar.

Waarom je het ineens overal hoort

Veel mensen maken voor het eerst kennis met AI-nasynchronisatie op YouTube. Bij een deel van de video's kun je via het tandwielmenu een andere audiotrack kiezen, en soms staat een video standaard in het Nederlands terwijl de maker duidelijk Engelstalig is. Dat komt doordat YouTube kanalen de mogelijkheid geeft om extra audiosporen in andere talen toe te voegen, en doordat er ook automatisch gegenereerde sporen bestaan. Hoe dat voor makers werkt, lees je in het stuk over meertalige audio op YouTube (Engels).

De reacties in het Nederlandse taalgebied zijn gemengd. Wie gewend is aan de originele stem met ondertitels, vindt een vlakke computerstem al snel vreemd. Tegelijk zijn er groepen voor wie een gesproken Nederlandse versie juist de drempel wegneemt. Beide reacties zijn terecht; het hangt af van de video en het publiek.

Hoe het technisch werkt

Achter een AI-nasynchronisatie zitten meestal vier stappen die na elkaar worden uitgevoerd.

1. Spraakherkenning: de gesproken tekst wordt omgezet in tekst met tijdcodes, zodat bekend is wanneer elke zin begint en eindigt.
2. Vertaling: die tekst wordt vertaald naar de doeltaal, zin voor zin of in grotere stukken voor meer context.
3. Spraaksynthese: een tekst-naar-spraakmodel spreekt de vertaling uit met een gekozen stem.
4. Timing en samenvoegen: de nieuwe zinnen worden op de plek van de oorspronkelijke spraak gezet en het geheel wordt weer een video.

De lastigste stap is vaak de laatste. Een vertaling is zelden even lang als het origineel. Nederlands is vergeleken met Engels vaak wat langer, dus een zin moet sneller worden uitgesproken of de vertaling moet compacter. Het stuk over tekstuitbreiding bij vertalen (Engels) legt uit waarom dat zo is.

Waarom Nederland en Vlaanderen vooral ondertitelen

Grote taalgebieden als Duitsland, Frankrijk, Italië en Spanje hebben een lange traditie van nasynchroniseren. Het Nederlandse taalgebied koos al vroeg voor ondertiteling. Een kleine markt maakt dure studionasynchronisatie per titel minder aantrekkelijk, en kijkers zijn het horen van de echte stem gaan waarderen. Bijkomend effect: veel Nederlanders en Vlamingen pikken via ondertitelde series en films een flink stuk Engels op. De achtergrond lees je in het stuk over de geschiedenis van nasynchronisatie en ondertiteling (Engels).

Er is één duidelijke uitzondering: kinderprogramma's. Tekenfilms en familiefilms krijgen in het Nederlandse taalgebied gewoonlijk wél een Nederlandse stem, soms zelfs een aparte Vlaamse versie. Jonge kinderen kunnen nog niet snel genoeg lezen om ondertitels te volgen. Diezelfde redenering werkt ook buiten de kinderwereld.

Wanneer een Nederlandse stem wél zinvol is

Een gesproken versie loont vooral wanneer ondertitels de kijker in de weg zitten. Een paar herkenbare situaties:

• Kinderen. Een Engelstalige uitlegvideo over het zonnestelsel of een knutselfilmpje voor groep 3 werkt beter met een Nederlandse stem dan met tekst die ze nog niet kunnen bijhouden. Zie ook het stuk over video's vertalen voor kinderen (Engels).
• Trainingen en instructies. Bij een veiligheidsinstructie in een magazijn of een softwaredemo moeten de ogen op het beeld, niet op een regel tekst onderaan. Een stem laat de handen en ogen vrij.
• E-learning voor medewerkers. Een Engelstalige module van het hoofdkantoor wordt beter opgepakt op de werkvloer in Eindhoven of Gent als hij in de eigen taal klinkt.
• Mensen die moeizaam lezen. Er is in Nederland en Vlaanderen een aanzienlijke groep volwassenen voor wie ondertitels een drempel zijn; ook voor sommige ouderen en slechtzienden is luisteren prettiger dan lezen.
• De andere kant op. Een Nederlands mkb-bedrijf dat een productvideo voor Duitse of Franse klanten nodig heeft, kan juist een Duitse of Franse stem gebruiken, omdat die markten nasynchronisatie gewend zijn.

Voor trainingsmateriaal heeft het Engelstalige stuk over trainingsvideo's vertalen (Engels) meer praktische voorbeelden.

Wanneer je beter bij ondertitels blijft

Er zijn ook situaties waarin een computerstem iets wegneemt wat de video waardevol maakt.

• Interviews en getuigenissen, waarin de echte stem, aarzelingen en emotie onderdeel van de boodschap zijn.
• Humor en cabaret, waar timing en intonatie alles bepalen.
• Video's met meerdere sprekers die je uit elkaar moet kunnen houden.
• Content waar elk woord moet kloppen, zoals juridische of medische uitleg, en waar een kijker de tekst wil kunnen teruglezen.
• Een publiek dat het origineel prima verstaat en vooral een steuntje in de rug wil.

In die gevallen ben je meestal beter af met ondertitels. Hoe je die zelf maakt, lees je in de handleiding ondertitels maken. Twijfel je, maak dan van één video beide versies en vraag een paar kijkers uit je doelgroep welke ze prettiger vinden.

AI-nasynchronisatie met mydubly: wat wel en wat niet

mydubly maakt van je eigen video of audiobestand een versie met een vertaalde stem. De spraakherkenning is gebaseerd op Whisper en de stemmen worden gegenereerd met Chatterbox Multilingual, beide opensourcemodellen. De interface is Engelstalig; zo werkt het:

1. Sleep je video naar ‘Drop a video here’ (of een geluidsbestand naar ‘Drop audio here’). De brontaal wordt automatisch herkend.
2. Zet de schakelaar ‘Full translation output’ aan (bij een geluidsbestand heet die ‘Audio and text output’).
3. Kies bij ‘Select language’ de doeltaal, bijvoorbeeld Dutch voor een Nederlandse versie of German voor Duitse klanten.
4. Kies bij ‘Select voice’ een van de 8 standaardstemmen. In het stemmenvenster hoor je van elke stem een kort voorbeeld in de gekozen taal; luister die echt even af.
5. Klik op ‘Translate video’ (of ‘Translate audio’), houd het tabblad open en download het resultaat met ‘Download translated video’ (of ‘Download translated audio’ voor alleen het geluidsspoor).

De vertaalde stem wordt op de timing van het origineel gezet. Het videobestand zelf verlaat je computer niet: alleen de audio wordt via HTTPS verwerkt en de nieuwe video wordt in je browser samengesteld. Audio en resultaten worden binnen 30 minuten na afronding van de server verwijderd.

Nasynchronisatie valt onder het duurdere tarief: 50 credits per minuut, met een minimum van 2 minuten (100 credits) per bestand. Met de 100 gratis credits bij aanmelding kun je daarom precies één video van maximaal 2 minuten van een stem voorzien, of een proef doen met ondertitels of een transcript. Voor langere video's moet je opwaarderen.

Wees je bewust van de grenzen. mydubly kloont geen stemmen: je kiest een standaardstem, niet de stem van de oorspronkelijke spreker. Er is geen lipsynchronisatie, dus monden bewegen niet mee met de nieuwe tekst. Alle sprekers in een video krijgen dezelfde stem, er zijn geen sprekerlabels en je kunt de emotie of intonatie niet sturen. Tekst in beeld, zoals titels of slides, wordt niet vertaald. Nederlands is één taaloptie, zonder aparte Vlaamse variant; luister daarom naar het stemvoorbeeld voordat je een Vlaams publiek bedient. Meer over de functie staat op de pagina over AI-dubbing (Engels), en over de keuze tussen standaardstemmen en gekloonde stemmen in het stuk over stemklonen versus standaardstemmen (Engels).

Zo beoordeel je een AI-stem voordat je publiceert

Een nagesynchroniseerde video die je zonder controle online zet, valt vroeg of laat op door één verkeerd uitgesproken naam. Loop daarom deze punten na met een Nederlandstalige luisteraar die de video nog niet kent:

• Eigennamen en plaatsnamen: wordt ‘Scheveningen’ of ‘Roeselare’ herkenbaar uitgesproken?
• Getallen, data en bedragen: klopt ‘drieëntwintig’ met wat er in beeld staat?
• Tempo: worden sommige zinnen opvallend snel uitgesproken omdat de vertaling langer is dan het origineel?
• Toon: past een neutrale stem bij de inhoud, of klinkt een grappige of emotionele scène nu vlak?
• Aanspreekvorm: gebruikt de vertaling ‘je’ of ‘u’, en past dat bij je publiek en je organisatie?

Wees ook open naar kijkers. Vermeld in de beschrijving of aan het begin van de video dat de stem door AI is gegenereerd; dat voorkomt verwarring en wantrouwen. Een uitgebreidere lijst staat in de kwaliteitschecklist voor AI-dubbing (Engels). Wat mydubly verder voor Nederlandstaligen kan, vind je op de Nederlandse overzichtspagina.