AI से हिंदी डबिंग कैसे होती है: सुनने से बोलने तक के चार चरण

AI डबिंग की पूरी प्रक्रिया एक नज़र में

जब कोई अंग्रेज़ी ट्यूटोरियल, कंपनी का ट्रेनिंग वीडियो या किसी विदेशी कोर्स का लेक्चर बिना डबिंग स्टूडियो के हिंदी आवाज़ में सुनाई देता है, तो उसके पीछे चार अलग मशीनी काम एक के बाद एक चलते हैं। हर चरण की अपनी ताक़त और अपनी कमज़ोरी है, और आख़िरी हिंदी आवाज़ उतनी ही अच्छी बनती है जितना इन चारों में सबसे कमज़ोर चरण।

1. बोली पहचानना (स्पीच रिकग्निशन)

मूल ऑडियो सुनकर लिखित ट्रांसक्रिप्ट और हर वाक्य का समय निकालना

2. अनुवाद

ट्रांसक्रिप्ट के वाक्यों को हिंदी में बदलना

3. आवाज़ बनाना (टेक्स्ट-टू-स्पीच)

हिंदी वाक्यों को एक कृत्रिम आवाज़ में बोलना

4. टाइमिंग और जोड़ना

हिंदी आवाज़ को मूल वाक्यों के समय पर बैठाकर वीडियो के साथ मिलाना

इंसानी डबिंग में यही काम अनुवादक, स्क्रिप्ट लिखने वाला, डबिंग आर्टिस्ट और साउंड इंजीनियर मिलकर करते हैं। AI इन्हें काफ़ी तेज़ी से कर देता है, लेकिन जहाँ इंसान संदर्भ, भावना और दर्शक को समझकर फ़ैसला लेता है, वहाँ मशीन पैटर्न के भरोसे चलती है। इस पूरी प्रक्रिया का तकनीकी ब्योरा AI वीडियो अनुवाद कैसे काम करता है (अंग्रेज़ी में) वाले लेख में भी मिलेगा।

पहला चरण: मशीन मूल बोली को कैसे सुनती है

पहला काम है ऑडियो को टेक्स्ट में बदलना। आज के ज़्यादातर सिस्टम ऐसे न्यूरल मॉडल पर चलते हैं जिन्हें बहुत सारी भाषाओं की बड़ी मात्रा में रिकॉर्डिंग पर प्रशिक्षित किया गया है। मॉडल आवाज़ के छोटे-छोटे टुकड़ों को सुनकर अंदाज़ा लगाता है कि कौन-सा शब्द बोला गया, और साथ में यह भी दर्ज करता है कि हर वाक्य कब शुरू और कब ख़त्म हुआ। यही समय-सूचना आगे चौथे चरण में काम आती है।

mydubly में यह हिस्सा Whisper पर आधारित है, जो एक ओपन-सोर्स स्पीच रिकग्निशन मॉडल है। साथ में वॉइस-एक्टिविटी डिटेक्शन चलता है, जो ख़ामोशी वाले हिस्सों को छोड़ देता है ताकि मॉडल सिर्फ़ बोली पर ध्यान दे। मूल भाषा अपने-आप पहचानी जाती है, उसे हाथ से चुनने का विकल्प नहीं है।

इस चरण की हर गलती आगे पूरी डबिंग में चली जाती है। अगर स्पीकर ने "revenue" कहा और मशीन ने "review" सुन लिया, तो अनुवाद भी गलत होगा और हिंदी आवाज़ भी। ऐसी गलतियाँ आम तौर पर तब बढ़ती हैं जब:

• पीछे संगीत या शोर तेज़ हो
• दो लोग एक साथ बोल रहे हों
• स्पीकर का लहजा भारी हो या वह बहुत तेज़ बोले
• वीडियो में कंपनी, उत्पाद या लोगों के ऐसे नाम हों जो आम शब्दों में नहीं आते

दूसरा चरण: अनुवाद और हिंदी वाक्य-क्रम की चुनौती

अंग्रेज़ी में क्रिया बीच में आती है (कर्ता, क्रिया, कर्म), हिंदी में अंत में (कर्ता, कर्म, क्रिया)। "Click the button at the top right to save your file" का स्वाभाविक हिंदी रूप है — "अपनी फ़ाइल सेव करने के लिए ऊपर दाईं ओर वाले बटन पर क्लिक करें।" जो बात अंग्रेज़ी में सबसे पहले आई ("क्लिक"), वह हिंदी में सबसे आख़िर में पहुँच गई।

सबटाइटल में यह उलट-फेर कोई बड़ी बात नहीं, क्योंकि दर्शक पूरा वाक्य एक साथ पढ़ लेता है। डबिंग में इसका असर ज़्यादा दिखता है:

• हिंदी वाक्य अक्सर अंग्रेज़ी से लंबा बनता है, क्योंकि "के लिए", "वाले", "पर" जैसे परसर्ग और "करें", "कीजिए" जैसे क्रिया-रूप अतिरिक्त शब्द जोड़ते हैं।
• जब मूल स्पीकर स्क्रीन की किसी चीज़ की ओर इशारा करते हुए "this one" कहता है, तो हिंदी में "यह वाला" वाक्य के किसी और हिस्से में आ सकता है, और आवाज़ व इशारे के बीच हल्का फ़ासला महसूस हो सकता है।
• लंबे अंग्रेज़ी वाक्यों में "which", "that", "while" वाले उपवाक्य होते हैं। हिंदी में इन्हें "जो... वह" ढाँचे में बदलना पड़ता है, जिससे वाक्य और खिंच जाता है।

अनुवाद के बाद टेक्स्ट लंबा हो जाने की इस आम समस्या पर टेक्स्ट एक्सपैंशन वाला लेख (अंग्रेज़ी में) विस्तार से बात करता है।

आप, तुम और सम्मान वाले शब्द

अंग्रेज़ी का "you" हिंदी में आप, तुम या तू — तीनों में से कुछ भी बन सकता है, और सही चुनाव वीडियो के माहौल पर टिका है। ट्रेनिंग वीडियो में दर्शक को "आप" कहना स्वाभाविक है, जबकि बच्चों की कहानी में दो दोस्त आपस में "तुम" बोलेंगे। मशीन अनुवाद अक्सर हर वाक्य को अलग-अलग देखता है, इसलिए एक ही वीडियो में कहीं "आप क्लिक करें" और कहीं "तुम देखो" जैसा मिश्रण आ सकता है। डबिंग में यह और ज़्यादा खटकता है, क्योंकि सुनने वाला यह फ़र्क आँख से नहीं, कान से पकड़ता है और उसे पीछे जाकर दोबारा पढ़ने का मौक़ा नहीं मिलता।

यही बात नाम के साथ जुड़ने वाले सम्मान पर लागू होती है। "Mr. Sharma" हिंदी में "श्री शर्मा", "शर्मा जी" या सिर्फ़ "शर्मा" बन सकता है, और हर रूप का असर अलग है। "Sir" कभी "सर" रहता है, कभी "महोदय" हो जाता है। संबोधन तय करने के व्यावहारिक नियम हमने अनुवाद में आप, तुम या तू वाले लेख में अलग से समझाए हैं।

अंग्रेज़ी शब्दों का उच्चारण: डाउनलोड, डैशबोर्ड और ब्रांड नाम

आम भारतीय दर्शक "डाउनलोड", "सेटिंग्स", "पासवर्ड", "मोबाइल" जैसे शब्द रोज़ की हिंदी में बोलता है। अच्छे हिंदी अनुवाद में ये शब्द अक्सर अंग्रेज़ी ही रहते हैं, और यही सही है — किताबी पर्याय सुनकर दर्शक उलझ जाएगा। लेकिन हिंदी आवाज़ इन्हें कैसे बोलेगी, यह इस पर निर्भर करता है कि अनुवाद ने इन्हें देवनागरी में लिखा या रोमन अक्षरों में, और आवाज़ बनाने वाला मॉडल उस रूप को कैसे पढ़ता है।

डब सुनते समय इन जगहों पर ख़ास ध्यान दें:

• संक्षिप्त नाम (KYC, GST, PDF) कभी अक्षर-अक्षर बोले जाते हैं, कभी एक शब्द की तरह पढ़ लिए जाते हैं।
• ब्रांड और उत्पाद के नाम का उच्चारण वैसा नहीं निकलता जैसा आपकी टीम बोलती है।
• "ज़", "फ़" जैसे नुक़्ता वाले उच्चारण कहीं आते हैं, कहीं नहीं।
• अंक और इकाइयाँ, जैसे "5G" या "2.5 GB", अटपटे ढंग से पढ़े जा सकते हैं।

इसके लिए कोई जादुई सेटिंग नहीं होती। सबसे भरोसेमंद तरीक़ा है ज़रूरी नामों की एक सूची रखना और डब के उन हिस्सों को ध्यान से सुनना जहाँ वे आते हैं। नामों के गलत उच्चारण वाला लेख (अंग्रेज़ी में) इस समस्या के कारण और उपाय बताता है।

तीसरा चरण: हिंदी आवाज़ कैसे बनती है

टेक्स्ट-टू-स्पीच मॉडल लिखे हुए हिंदी वाक्य को पढ़कर आवाज़ बनाता है — कहाँ रुकना है, किस शब्द पर ज़ोर देना है, वाक्य के अंत में सुर कैसे उतरना है, यह सब वह अपने प्रशिक्षण के आधार पर तय करता है। हिंदी में "है" और "हैं" का फ़र्क, या प्रश्नवाचक वाक्य में "क्या" पर उठता सुर, इन्हीं बारीकियों में आते हैं।

mydubly में आवाज़ें Chatterbox Multilingual से बनती हैं, जो एक ओपन-सोर्स टेक्स्ट-टू-स्पीच मॉडल है। आपको आठ तैयार (स्टॉक) आवाज़ों में से एक चुननी होती है। "Select voice" डायलॉग में हर आवाज़ का एक छोटा नमूना चुनी हुई भाषा में बजता है, इसलिए Hindi चुनने के बाद नमूने सुनकर तय करें कि आपके वीडियो के मिज़ाज के साथ कौन-सी आवाज़ बैठती है — ट्रेनिंग वीडियो के लिए शांत और साफ़, प्रोडक्ट डेमो के लिए थोड़ी ऊर्जा वाली।

कुछ सीमाएँ पहले से समझ लें:

• आवाज़ मूल स्पीकर जैसी नहीं होगी। mydubly किसी की आवाज़ की क्लोनिंग नहीं करता, सिर्फ़ स्टॉक आवाज़ें देता है।
• पूरे वीडियो में एक ही आवाज़ रहती है। अगर मूल वीडियो में एक पुरुष और एक महिला बात कर रहे हैं, तो हिंदी डब में दोनों एक ही आवाज़ में बोलेंगे।
• गुस्सा, उत्साह या फुसफुसाहट जैसी भावनाओं को अलग से नियंत्रित करने का विकल्प नहीं है।

चौथा चरण: टाइमिंग, होंठों की हरकत और वीडियो में जोड़ना

अनुवादित हिंदी आवाज़ को मूल वाक्यों के समय में फ़िट किया जाता है, ताकि जो बात मूल स्पीकर एक मिनट बीस सेकंड पर कहता है, उसका हिंदी रूप भी लगभग वहीं सुनाई दे। जब हिंदी वाक्य अंग्रेज़ी से लंबा बनता है, तो उसे उतने ही समय में बोलना पड़ता है। इसलिए बहुत तेज़ बोलने वाले मूल वीडियो में हिंदी डब कहीं-कहीं जल्दबाज़ी वाला लग सकता है, और जहाँ हिंदी छोटी पड़ती है वहाँ हल्की ख़ामोशी आ सकती है।

होंठों की हरकत पर एक साफ़ बात: mydubly लिप-सिंक नहीं करता। स्क्रीन पर होंठ मूल भाषा के शब्दों के हिसाब से ही हिलते रहेंगे। स्क्रीन रिकॉर्डिंग, स्लाइड वाले लेक्चर, वॉइस-ओवर वाले विज्ञापन या एनिमेशन में यह फ़र्क कम खटकता है; कैमरे के सामने क्लोज़-अप में बात करते चेहरे वाले वीडियो में ज़्यादा।

mydubly में वीडियो फ़ाइल आपके ब्राउज़र में ही रहती है। ब्राउज़र उसमें से ऑडियो निकालता है और सिर्फ़ ऑडियो HTTPS पर प्रोसेसिंग के लिए जाता है; हिंदी आवाज़ वाला वीडियो वापस ब्राउज़र में ही तैयार होता है। अपलोड हुआ ऑडियो और नतीजे काम पूरा होने के 30 मिनट के भीतर सर्वर से हटा दिए जाते हैं।

mydubly में हिंदी डब बनाना: क्या मिलता है और क्या नहीं

mydubly का AI डबिंग टूल (अंग्रेज़ी में) ऊपर बताए चारों चरण एक साथ चलाता है। इंटरफ़ेस अंग्रेज़ी में है, इसलिए बटनों के नाम नीचे वैसे ही लिखे हैं:

1. होम पेज के वीडियो वाले हिस्से में "Drop a video here" पर अपनी फ़ाइल डालें — MP4, MOV, WebM, MKV या M4V, ज़्यादा से ज़्यादा 2 घंटे की।
2. "Full translation output" टॉगल ऑन करें; इसी से हिंदी आवाज़ बनती है।
3. "Select language" में Hindi चुनें।
4. "Select voice" में नमूने सुनकर आवाज़ चुनें।
5. "Translate video" दबाएँ और काम पूरा होने तक टैब खुला रखें। टैब बंद करने या पेज छोड़ने पर काम रद्द हो जाता है, और रद्द हुए काम के क्रेडिट लौट आते हैं।
6. "Download translated video" से हिंदी आवाज़ वाला वीडियो (translated-video.mp4, कुछ ब्राउज़रों में MKV) लें, या "Download translated audio" से सिर्फ़ हिंदी ऑडियो (.m4a)। "Download subtitles" से हिंदी SRT भी मिलती है।

जो mydubly नहीं करता, वह भी जान लें: डब बनने से पहले अनुवाद को सुधारने का कोई एडिटर नहीं है, स्क्रीन पर लिखे टेक्स्ट का अनुवाद नहीं होता, सबटाइटल वीडियो में जलाकर (बर्न-इन) नहीं जोड़े जाते, और YouTube जैसे किसी लिंक से वीडियो नहीं खींचा जा सकता — फ़ाइल आपके डिवाइस पर होनी चाहिए।

एक काम की तरकीब: डब पर क्रेडिट ख़र्च करने से पहले टॉगल बंद रखकर "Select language" में Hindi चुनें और "Transcribe video" चलाएँ। इससे ट्रांसक्रिप्ट वाली दर पर हिंदी सबटाइटल मिल जाते हैं, जिन्हें पढ़कर आप अनुवाद की गुणवत्ता का अंदाज़ा लगा सकते हैं। यह डब के अनुवाद की हूबहू गारंटी नहीं है, पर बड़ी गड़बड़ियाँ पहले ही दिख जाती हैं।

उदाहरण: 6 मिनट के ट्यूटोरियल की डबिंग का हिसाब

मान लीजिए आपके पास 6 मिनट का अंग्रेज़ी सॉफ़्टवेयर ट्यूटोरियल है और आप उसे हिंदी आवाज़ में अपने कर्मचारियों को भेजना चाहते हैं।

साइन-अप पर मिलने वाले 100 मुफ़्त क्रेडिट से अनुवाद की यह जाँच आराम से हो जाती है। डब के लिए ये क्रेडिट 2 मिनट तक के सिर्फ़ एक वीडियो के लिए काफ़ी हैं, क्योंकि डबिंग का न्यूनतम ख़र्च हर फ़ाइल पर 2 मिनट यानी 100 क्रेडिट है — एक मिनट का क्लिप भी 100 क्रेडिट ($0.10) लेगा। ध्यान रहे, जाँच में 7 क्रेडिट लगने के बाद बचे 93 क्रेडिट इस न्यूनतम तक नहीं पहुँचते, और इस 7 मिनट वाले वीडियो के डब (350 क्रेडिट) के लिए टॉप-अप करना ही होगा।

डब तैयार होने के बाद की जाँच-सूची

AI डब को बिना सुने प्रकाशित करना जोखिम भरा है। कम से कम ये बातें जाँच लें:

• शुरुआत, बीच और अंत का एक-एक मिनट ध्यान से सुनें, ख़ासकर तेज़ बोले गए हिस्से।
• पूरे वीडियो में संबोधन एक जैसा है या नहीं — कहीं "आप" और कहीं "तुम" तो नहीं।
• कंपनी, उत्पाद और लोगों के नाम, संक्षिप्त शब्द और अंक सही बोले गए या नहीं।
• स्क्रीन पर लिखा अंग्रेज़ी टेक्स्ट दर्शक के लिए ज़रूरी है तो उसका हिंदी रूप अपने वीडियो एडिटर में जोड़ें।
• किसी हिंदी भाषी साथी से, जिसने मूल वीडियो न देखा हो, डब सुनवाएँ; वह वही अटपटापन पकड़ेगा जो आपका दर्शक पकड़ेगा।

अगर वीडियो भावनात्मक है, कई किरदारों वाला है या ब्रांड की छवि उस पर टिकी है, तो हिंदी डबिंग आर्टिस्ट या AI वाला लेख यह तय करने में मदद करेगा कि कहाँ इंसानी आवाज़ बेहतर रहेगी। अगर दर्शक पढ़ने में सहज हैं, तो हिंदी सबटाइटल या हिंदी डबिंग की तुलना भी देख लें।