Yapay zekâ dublaj nasıl çalışır ve Türkçede neden zorlanır?

Yapay zekâ dublaj tam olarak nedir?

Klasik dublajda bir çevirmen metni çevirir, bir dublaj yönetmeni oyuncuları yönlendirir ve seslendirme sanatçıları stüdyoda sahneyi yeniden canlandırır. Yapay zekâ dublajda bu adımların her biri bir yazılım tarafından yapılır: Konuşmayı tanıyan bir model, metni çeviren bir model ve metni sese dönüştüren bir model arka arkaya çalışır.

Sonuç, orijinal videonun yeni dilde konuşan bir sürümüdür. Bunun "dublaj" mı yoksa "seslendirme" mi olduğu tartışılabilir; Türkiye'de dublaj denince akla dudak hareketlerine titizlikle oturtulmuş, karakterlere farklı seslerin verildiği sinema ve dizi işleri gelir. Yapay zekâ ile üretilen ses ise çoğu zaman tek bir anlatıcının metni zamanlamaya sığdırarak okuması gibidir. Kavram farkını merak edenler dublaj ve seslendirme farkı (İngilizce) yazısına bakabilir.

Perde arkası: Dört aşamalı bir zincir

Yapay zekâ dublajın her aşaması bir öncekinin çıktısını kullanır; bu yüzden ilk aşamadaki küçük bir hata zincirin sonunda büyüyebilir.

1. Konuşma tanıma: Ses dalgası metne dönüştürülür ve her bölümün başlangıç ve bitiş zamanı kaydedilir. Gürültü, üst üste konuşma ve aksanlar bu aşamayı zorlar.
2. Çeviri: Metin bölüm bölüm hedef dile aktarılır. Çeviri modeli yalnızca yazıyı görür; konuşmacının yüz ifadesini, ekrandaki görüntüyü ya da ironiyi göremez.
3. Ses üretimi: Çevrilmiş metin, metinden konuşmaya (TTS) modeliyle sese dönüştürülür. Vurgu, tonlama ve duraklama bu aşamada belirlenir.
4. Zamanlama ve birleştirme: Üretilen ses parçaları orijinal konuşmanın zamanlarına oturtulur ve videoyla yeniden birleştirilir.

Zincirleme etkiye basit bir örnek: Konuşma tanıma, hızlı söylenmiş "fifteen percent" ifadesini "fifty percent" diye duyarsa, çeviri bunu "yüzde elli" yapar ve Türkçe ses de kendinden emin bir tonla "yüzde elli" der. İzleyici için hatanın hangi aşamada doğduğu fark etmez; duyduğu yanlış bilgidir. Bu yüzden rakam, tarih ve ad içeren bölümleri sonuçta özellikle dinlemek gerekir.

Bu aşamaların teknik ayrıntıları için yapay zekâ ses üretimi nasıl çalışır (İngilizce) yazısı iyi bir başlangıç noktası.

Fiil sonda gelince zamanlama nasıl tutar?

İngilizce özne-yüklem-nesne sırasını izler, Türkçe ise yüklemi genellikle cümle sonuna koyar. Bu fark, dublajda zamanlamayı doğrudan etkiler. İngilizce konuşmacı daha cümlenin başında "I didn't go" diyerek olumsuzluğu ve fiili söylemiştir; Türkçede aynı bilgi ancak cümlenin sonunda, "gitmedim" kelimesiyle gelir.

Yapay zekâ dublaj, çeviriyi cümle ya da bölüm düzeyinde zamanladığı için bu sıralama farkı çoğu zaman sorun yaratmaz. Ama konuşmacının jestleriyle sözlerin birebir örtüştüğü anlarda, örneğin ekranda bir şeyi gösterirken "this one" dediği yerde, Türkçe ses görüntünün biraz önünde ya da arkasında kalabilir.

Eklemeli yapı ve cümle uzunluğu

Türkçe bir kelimeye art arda ekler getirerek anlam kurar: "evlerimizdekilerden" tek bir kelimedir ama İngilizcede "from the ones in our houses" diye beş kelimeyle karşılanır. Bu yüzden Türkçe metin kelime sayısında daha kısa görünebilir, ama hece sayısı ve okunma süresi her zaman kısa değildir.

Dublajda önemli olan okunma süresidir. Orijinal bölüm üç saniye sürüyorsa Türkçe karşılığının da yaklaşık o sürede okunması gerekir. Çeviri daha uzun çıktığında iki şey olabilir: Ses hızlandırılmış gibi duyulur ya da cümle bir sonraki bölüme taşar. Deneyimli bir dublaj çevirmeni bu durumda cümleyi kısaltır, eş anlamlı daha kısa bir kelime seçer; otomatik çeviri ise bunu her zaman yapamaz. Çevirinin kaynak metinden uzun ya da kısa çıkması konusunda çeviride metin genişlemesi (İngilizce) yazısı daha fazla örnek sunuyor.

Özel adlar, yabancı kelimeler ve vurgu

Türkçe metinden konuşmaya modelleri için en zorlu malzeme, Türkçe olmayan kelimelerdir. Yapay zekâ ses bir marka adını ya da İngilizce bir kişi adını Türkçe okuma kurallarıyla seslendirebilir; "Leicester" ya da "Worcester" gibi adlar beklenmedik biçimde duyulabilir. Bir de eklerin uyumu var: Yazıda "iPhone'u" doğru görünür, ama sesin "ayfonu" mu yoksa harf harf mi okuyacağı önceden bilinemez.

Türkçe kelimelerin kendisinde de vurgu önemlidir. Yer adlarında vurgu çoğu zaman ilk hecelere kayar; "Ankara" ve "İzmir" gibi adlar yanlış hecede vurgulandığında Türk kulağı bunu hemen fark eder. "Bebek" kelimesi İstanbul'daki semt adı olarak ilk hecede, "küçük çocuk" anlamında ise son hecede vurgulanır; ses modelinin hangisini seçeceği bağlamı ne kadar iyi yakaladığına bağlıdır.

Bu tür sorunları azaltmanın yolu, videodaki özel adların listesini çıkarıp sonuçta tek tek dinlemektir. Telaffuz sorunlarının ayrıntılı nedenleri için yapay zekâ seslerinin adları yanlış okuması (İngilizce) yazısına göz atabilirsiniz.

Dublaj geleneği ve yapay zekâ: Hangi iş için hangisi?

Türkiye'nin güçlü bir dublaj geleneği var; yabancı dizilerin, çizgi filmlerin ve sinema filmlerinin Türkçe sesleri kuşaklar boyunca tanıdık hâle geldi. Yapay zekâ dublaj bu emeğin yerine geçmek için değil, o bütçenin hiç ayrılamayacağı işler için anlamlı bir seçenek olarak düşünülmeli. Karar verirken şu ölçütlere bakmak işe yarar:

• Duygusal yük: Dram, komedi ya da reklam gibi tonlamanın her şey olduğu işlerde insan sesinin incelikleri belirleyicidir.
• Hacim ve güncellik: Sık güncellenen eğitim videoları, ürün demoları ya da iç iletişim kayıtlarında hızlı ve düşük maliyetli bir Türkçe sürüm daha değerli olabilir.
• Konuşmacı sayısı: Tek anlatıcılı videolar, çok karakterli sahnelere göre otomatik dublaja daha uygundur.
• Dudak senkronu ihtiyacı: Yüzün yakın çekimde göründüğü sahnelerde senkron eksikliği daha çok göze batar.

Bu iki yaklaşımı ayrıntılı karşılaştırmak isteyenler için yapay zekâ ve insan dublajı (İngilizce) yazısı farklı senaryoları ele alıyor.

mydubly'de yapay zekâ dublaj: Neler var, neler yok

mydubly tarayıcıda çalışan bir video ve ses çeviri uygulaması. Konuşma tanıma açık kaynaklı Whisper modeline, sesler ise açık kaynaklı Chatterbox Multilingual metinden konuşmaya modeline dayanıyor. Dublaj için videoyu «Drop a video here» alanına bırakır, «Full translation output» anahtarını açar, «Select language» ile hedef dili ve «Select voice» ile sesi seçer, «Translate video» düğmesine basarsınız.

Neler var:

• Sekiz hazır ses. Ses seçme penceresi her sesin seçtiğiniz dildeki kısa bir örneğini çalar; Türkçe bir dublajdan önce sesleri dinleyip karar verebilirsiniz.
• Orijinal zamanlamaya oturtulmuş tek bir çevrilmiş ses parçası; bunu ses dosyası (.m4a) ya da tarayıcıda yeniden birleştirilmiş video olarak indirirsiniz.
• Türkçe, kaynak ya da hedef olarak desteklenen 21 dilden biri; yani Türkçe bir videoyu İngilizceye, Almancaya ya da Arapçaya da çevirebilirsiniz.

Neler yok:

• Ses klonlama yok; konuşmacının kendi sesi yeni dilde taklit edilmez.
• Dudak senkronu yok; ağız hareketleri yeni sese göre değiştirilmez.
• Konuşmacı ayrımı yok; videodaki herkes seçtiğiniz tek sesle konuşur.
• Duygu ya da tonlama ayarı, ekrandaki yazıların çevirisi ve uygulama içinde çeviri düzenleme ekranı yok.

Ürünün dublaj tarafındaki tüm ayrıntıları yapay zekâ dublaj sayfasında (İngilizce) bulabilirsiniz. Adım adım bir uygulama örneği için İngilizce videoyu Türkçeye çevirme rehberimize göz atın.

Ne kadar tutar, nasıl denenir?

Dublaj, mydubly'in yüksek ücret kademesine girer: Başlanan her dakika 50 kredi, dosya başına en az 2 dakika, yani 100 kredi. 1.000 kredi 1 ABD doları eder.

1 dakikalık klip

100 kredi (alt sınır), yani US$ 0,10

5 dakikalık tanıtım videosu

250 kredi, yani US$ 0,25

30 dakikalık eğitim modülü

1.500 kredi, yani US$ 1,50

Yeni hesaplara tanımlanan 100 ücretsiz kredi yazıya dökme denemeleri için yeterlidir; dublajda ise en fazla 2 dakikalık tek bir dosyayı karşılar, daha uzun dublajlar için kredi yüklemek gerekir. Uzun bir projeye başlamadan önce, videonuzun tipik bir bölümünü içeren iki dakikalık bir kesitle deneme yapmak, hem sesi hem de çeviri kalitesini kendi içeriğinizle görmenin en ekonomik yoludur. Deneme kesitini seçerken en kolay bölümü değil, terimlerin ve rakamların yoğun olduğu bölümü seçin; asıl sınav orada yapılır.