समझें

AI से हिंदी डबिंग कैसे होती है: सुनने से बोलने तक के चार चरण

AI से हिंदी डबिंग चार चरणों में होती है: मशीन पहले मूल बोली को सुनकर लिखती है, फिर उसका हिंदी अनुवाद करती है, फिर उस अनुवाद को एक कृत्रिम आवाज़ में बोलती है और आख़िर में उस आवाज़ को मूल वाक्यों के समय पर बैठाती है। हिंदी की ज़्यादातर मुश्किलें दूसरे और चौथे चरण में आती हैं — वाक्य-क्रम, आप/तुम का चुनाव और अंग्रेज़ी शब्दों का उच्चारण।

11 मिनट में पढ़ें · अपडेट

ध्यान दें: mydubly का इंटरफ़ेस अभी अंग्रेज़ी में है। हिंदी ऑडियो का ट्रांसक्रिप्शन, हिंदी में अनुवाद और हिंदी आवाज़ उपलब्ध हैं — बस बटन और मेन्यू अंग्रेज़ी में दिखते हैं।

AI डबिंग की पूरी प्रक्रिया एक नज़र में

mydubly dub editor fixing one translated line with retake and timing nudge

जब कोई अंग्रेज़ी ट्यूटोरियल, कंपनी का ट्रेनिंग वीडियो या किसी विदेशी कोर्स का लेक्चर बिना डबिंग स्टूडियो के हिंदी आवाज़ में सुनाई देता है, तो उसके पीछे चार अलग मशीनी काम एक के बाद एक चलते हैं। हर चरण की अपनी ताक़त और अपनी कमज़ोरी है, और आख़िरी हिंदी आवाज़ उतनी ही अच्छी बनती है जितना इन चारों में सबसे कमज़ोर चरण।

1. बोली पहचानना (स्पीच रिकग्निशन)
मूल ऑडियो सुनकर लिखित ट्रांसक्रिप्ट और हर वाक्य का समय निकालना
2. अनुवाद
ट्रांसक्रिप्ट के वाक्यों को हिंदी में बदलना
3. आवाज़ बनाना (टेक्स्ट-टू-स्पीच)
हिंदी वाक्यों को एक कृत्रिम आवाज़ में बोलना
4. टाइमिंग और जोड़ना
हिंदी आवाज़ को मूल वाक्यों के समय पर बैठाकर वीडियो के साथ मिलाना

इंसानी डबिंग में यही काम अनुवादक, स्क्रिप्ट लिखने वाला, डबिंग आर्टिस्ट और साउंड इंजीनियर मिलकर करते हैं। AI इन्हें काफ़ी तेज़ी से कर देता है, लेकिन जहाँ इंसान संदर्भ, भावना और दर्शक को समझकर फ़ैसला लेता है, वहाँ मशीन पैटर्न के भरोसे चलती है। इस पूरी प्रक्रिया का तकनीकी ब्योरा AI वीडियो अनुवाद कैसे काम करता है (अंग्रेज़ी में) वाले लेख में भी मिलेगा।

पहला चरण: मशीन मूल बोली को कैसे सुनती है

mydubly dub editor voice versus background music balance sliders

पहला काम है ऑडियो को टेक्स्ट में बदलना। आज के ज़्यादातर सिस्टम ऐसे न्यूरल मॉडल पर चलते हैं जिन्हें बहुत सारी भाषाओं की बड़ी मात्रा में रिकॉर्डिंग पर प्रशिक्षित किया गया है। मॉडल आवाज़ के छोटे-छोटे टुकड़ों को सुनकर अंदाज़ा लगाता है कि कौन-सा शब्द बोला गया, और साथ में यह भी दर्ज करता है कि हर वाक्य कब शुरू और कब ख़त्म हुआ। यही समय-सूचना आगे चौथे चरण में काम आती है।

mydubly में यह हिस्सा Whisper पर आधारित है, जो एक ओपन-सोर्स स्पीच रिकग्निशन मॉडल है। साथ में वॉइस-एक्टिविटी डिटेक्शन चलता है, जो ख़ामोशी वाले हिस्सों को छोड़ देता है ताकि मॉडल सिर्फ़ बोली पर ध्यान दे। मूल भाषा अपने-आप पहचानी जाती है, उसे हाथ से चुनने का विकल्प नहीं है।

इस चरण की हर गलती आगे पूरी डबिंग में चली जाती है। अगर स्पीकर ने "revenue" कहा और मशीन ने "review" सुन लिया, तो अनुवाद भी गलत होगा और हिंदी आवाज़ भी। ऐसी गलतियाँ आम तौर पर तब बढ़ती हैं जब:

  • पीछे संगीत या शोर तेज़ हो
  • दो लोग एक साथ बोल रहे हों
  • स्पीकर का लहजा भारी हो या वह बहुत तेज़ बोले
  • वीडियो में कंपनी, उत्पाद या लोगों के ऐसे नाम हों जो आम शब्दों में नहीं आते

दूसरा चरण: अनुवाद और हिंदी वाक्य-क्रम की चुनौती

mydubly choice between cloned speaker voice and stock male or female voice

अंग्रेज़ी में क्रिया बीच में आती है (कर्ता, क्रिया, कर्म), हिंदी में अंत में (कर्ता, कर्म, क्रिया)। "Click the button at the top right to save your file" का स्वाभाविक हिंदी रूप है — "अपनी फ़ाइल सेव करने के लिए ऊपर दाईं ओर वाले बटन पर क्लिक करें।" जो बात अंग्रेज़ी में सबसे पहले आई ("क्लिक"), वह हिंदी में सबसे आख़िर में पहुँच गई।

सबटाइटल में यह उलट-फेर कोई बड़ी बात नहीं, क्योंकि दर्शक पूरा वाक्य एक साथ पढ़ लेता है। डबिंग में इसका असर ज़्यादा दिखता है:

  • हिंदी वाक्य अक्सर अंग्रेज़ी से लंबा बनता है, क्योंकि "के लिए", "वाले", "पर" जैसे परसर्ग और "करें", "कीजिए" जैसे क्रिया-रूप अतिरिक्त शब्द जोड़ते हैं।
  • जब मूल स्पीकर स्क्रीन की किसी चीज़ की ओर इशारा करते हुए "this one" कहता है, तो हिंदी में "यह वाला" वाक्य के किसी और हिस्से में आ सकता है, और आवाज़ व इशारे के बीच हल्का फ़ासला महसूस हो सकता है।
  • लंबे अंग्रेज़ी वाक्यों में "which", "that", "while" वाले उपवाक्य होते हैं। हिंदी में इन्हें "जो... वह" ढाँचे में बदलना पड़ता है, जिससे वाक्य और खिंच जाता है।

अनुवाद के बाद टेक्स्ट लंबा हो जाने की इस आम समस्या पर टेक्स्ट एक्सपैंशन वाला लेख (अंग्रेज़ी में) विस्तार से बात करता है।

आप, तुम और सम्मान वाले शब्द

अंग्रेज़ी का "you" हिंदी में आप, तुम या तू — तीनों में से कुछ भी बन सकता है, और सही चुनाव वीडियो के माहौल पर टिका है। ट्रेनिंग वीडियो में दर्शक को "आप" कहना स्वाभाविक है, जबकि बच्चों की कहानी में दो दोस्त आपस में "तुम" बोलेंगे। मशीन अनुवाद अक्सर हर वाक्य को अलग-अलग देखता है, इसलिए एक ही वीडियो में कहीं "आप क्लिक करें" और कहीं "तुम देखो" जैसा मिश्रण आ सकता है। डबिंग में यह और ज़्यादा खटकता है, क्योंकि सुनने वाला यह फ़र्क आँख से नहीं, कान से पकड़ता है और उसे पीछे जाकर दोबारा पढ़ने का मौक़ा नहीं मिलता।

यही बात नाम के साथ जुड़ने वाले सम्मान पर लागू होती है। "Mr. Sharma" हिंदी में "श्री शर्मा", "शर्मा जी" या सिर्फ़ "शर्मा" बन सकता है, और हर रूप का असर अलग है। "Sir" कभी "सर" रहता है, कभी "महोदय" हो जाता है। संबोधन तय करने के व्यावहारिक नियम हमने अनुवाद में आप, तुम या तू वाले लेख में अलग से समझाए हैं।

अंग्रेज़ी शब्दों का उच्चारण: डाउनलोड, डैशबोर्ड और ब्रांड नाम

आम भारतीय दर्शक "डाउनलोड", "सेटिंग्स", "पासवर्ड", "मोबाइल" जैसे शब्द रोज़ की हिंदी में बोलता है। अच्छे हिंदी अनुवाद में ये शब्द अक्सर अंग्रेज़ी ही रहते हैं, और यही सही है — किताबी पर्याय सुनकर दर्शक उलझ जाएगा। लेकिन हिंदी आवाज़ इन्हें कैसे बोलेगी, यह इस पर निर्भर करता है कि अनुवाद ने इन्हें देवनागरी में लिखा या रोमन अक्षरों में, और आवाज़ बनाने वाला मॉडल उस रूप को कैसे पढ़ता है।

डब सुनते समय इन जगहों पर ख़ास ध्यान दें:

  • संक्षिप्त नाम (KYC, GST, PDF) कभी अक्षर-अक्षर बोले जाते हैं, कभी एक शब्द की तरह पढ़ लिए जाते हैं।
  • ब्रांड और उत्पाद के नाम का उच्चारण वैसा नहीं निकलता जैसा आपकी टीम बोलती है।
  • "ज़", "फ़" जैसे नुक़्ता वाले उच्चारण कहीं आते हैं, कहीं नहीं।
  • अंक और इकाइयाँ, जैसे "5G" या "2.5 GB", अटपटे ढंग से पढ़े जा सकते हैं।

इसके लिए कोई जादुई सेटिंग नहीं होती। सबसे भरोसेमंद तरीक़ा है ज़रूरी नामों की एक सूची रखना और डब के उन हिस्सों को ध्यान से सुनना जहाँ वे आते हैं। नामों के गलत उच्चारण वाला लेख (अंग्रेज़ी में) इस समस्या के कारण और उपाय बताता है।

तीसरा चरण: हिंदी आवाज़ कैसे बनती है

टेक्स्ट-टू-स्पीच मॉडल लिखे हुए हिंदी वाक्य को पढ़कर आवाज़ बनाता है — कहाँ रुकना है, किस शब्द पर ज़ोर देना है, वाक्य के अंत में सुर कैसे उतरना है, यह सब वह अपने प्रशिक्षण के आधार पर तय करता है। हिंदी में "है" और "हैं" का फ़र्क, या प्रश्नवाचक वाक्य में "क्या" पर उठता सुर, इन्हीं बारीकियों में आते हैं।

mydubly में आवाज़ Chatterbox Multilingual से बनती है, जो एक ओपन-सोर्स टेक्स्ट-टू-स्पीच मॉडल है। आपको कोई आवाज़ चुननी नहीं पड़ती: mydubly पहचानता है कि फ़ाइल में कितने लोग बोल रहे हैं (8 तक) और कौन-सी पंक्ति किसकी है, फिर हर व्यक्ति की बोली का छोटा, साफ़ हिस्सा (लगभग 10 सेकंड तक) अपने-आप लेता है, संगीत और पीछे का शोर हटाकर, और उस व्यक्ति की पंक्तियाँ हिंदी में उसी की आवाज़ की कॉपी में बोलता है। हर पंक्ति मूल पंक्ति की रफ़्तार और जोश के हिसाब से बोली जाती है; भारी आवाज़ भारी रहती है, हल्की आवाज़ हल्की, और जो पंक्तियाँ मूल में ऊँची या धीमी थीं, वे डब में भी वैसी ही रहती हैं। आवाज़ का मिज़ाज मूल वक्ता का रहता है, पर उच्चारण स्वाभाविक हिंदी का होता है, मूल लहजा हिंदी में नहीं आता। माइक पास रखकर साफ़ रिकॉर्ड की गई बोली सबसे अच्छी कॉपी होती है।

कुछ सीमाएँ पहले से समझ लें:

  • आवाज़ चुनने या पहले सुनने का विकल्प नहीं है। अगर किसी व्यक्ति की साफ़ बोली बहुत कम है (लगभग 3 सेकंड से कम), तो उससे सबसे मिलती-जुलती आवाज़ वाले वक्ता की कॉपी, या ऐसा कोई न हो तो उससे मेल खाती एक तैयार आवाज़ (महिला या पुरुष) अपने-आप लगती है।
  • वक्ताओं की पहचान अपने-आप होती है और गलत हो सकती है। एक साथ बोलने वाले लोग, "हाँ", "हम्म" जैसे बहुत छोटे जवाब, या बहुत मिलती-जुलती दो आवाज़ें गलत आवाज़ में जा सकती हैं। एक साथ बोले गए हिस्से डब में एक-एक पंक्ति करके आते हैं।
  • कॉपी असली आवाज़ के क़रीब होती है, पर हूबहू वैसी नहीं, ख़ासकर दूसरी भाषा में।
  • गुस्सा, उत्साह या फुसफुसाहट जैसी भावनाओं को अलग से नियंत्रित करने का विकल्प नहीं है।

चौथा चरण: टाइमिंग, होंठों की हरकत और वीडियो में जोड़ना

अनुवादित हिंदी आवाज़ को मूल वाक्यों के समय में फ़िट किया जाता है, ताकि जो बात मूल स्पीकर एक मिनट बीस सेकंड पर कहता है, उसका हिंदी रूप भी लगभग वहीं सुनाई दे। जब हिंदी वाक्य अंग्रेज़ी से लंबा बनता है, तो उसे उतने ही समय में बोलना पड़ता है। इसलिए बहुत तेज़ बोलने वाले मूल वीडियो में हिंदी डब कहीं-कहीं जल्दबाज़ी वाला लग सकता है, और जहाँ हिंदी छोटी पड़ती है वहाँ हल्की ख़ामोशी आ सकती है।

होंठों की हरकत पर एक साफ़ बात: mydubly लिप-सिंक नहीं करता। स्क्रीन पर होंठ मूल भाषा के शब्दों के हिसाब से ही हिलते रहेंगे। स्क्रीन रिकॉर्डिंग, स्लाइड वाले लेक्चर, वॉइस-ओवर वाले विज्ञापन या एनिमेशन में यह फ़र्क कम खटकता है; कैमरे के सामने क्लोज़-अप में बात करते चेहरे वाले वीडियो में ज़्यादा।

mydubly में वीडियो फ़ाइल आपके ब्राउज़र में ही रहती है। ब्राउज़र उसमें से ऑडियो निकालता है और सिर्फ़ ऑडियो HTTPS पर प्रोसेसिंग के लिए जाता है; हिंदी आवाज़ वाला वीडियो वापस ब्राउज़र में ही तैयार होता है। अपलोड हुआ ऑडियो और नतीजे काम पूरा होने के 30 मिनट के भीतर सर्वर से हटा दिए जाते हैं।

mydubly में हिंदी डब बनाना: क्या मिलता है और क्या नहीं

mydubly का AI डबिंग टूल (अंग्रेज़ी में) ऊपर बताए चारों चरण एक साथ चलाता है। इंटरफ़ेस अंग्रेज़ी में है, इसलिए बटनों के नाम नीचे वैसे ही लिखे हैं:

  1. होम पेज के वीडियो वाले हिस्से में "Drop a video here" पर अपनी फ़ाइल डालें — MP4, MOV, WebM, MKV या M4V, ज़्यादा से ज़्यादा 2 घंटे की।
  2. "Full translation output" टॉगल ऑन करें; इसी से हिंदी आवाज़ बनती है।
  3. "Select language" में Hindi चुनें।
  4. आवाज़ चुनने का कोई कदम नहीं है; हर वक्ता की आवाज़ अपने-आप कॉपी होती है।
  5. "Translate video" दबाएँ और काम पूरा होने तक टैब खुला रखें। टैब बंद करने या पेज छोड़ने पर काम रद्द हो जाता है, और रद्द हुए काम के क्रेडिट वापस नहीं मिलते।
  6. "Download translated video" से हिंदी आवाज़ वाला वीडियो (translated-video.mp4, कुछ ब्राउज़रों में MKV) लें, या "Download translated audio" से सिर्फ़ हिंदी ऑडियो (.m4a)। "Download subtitles" से हिंदी SRT भी मिलती है।

जो mydubly नहीं करता, वह भी जान लें: डब बनने से पहले अनुवाद को सुधारने का कोई एडिटर नहीं है, स्क्रीन पर लिखे टेक्स्ट का अनुवाद नहीं होता, और YouTube जैसे किसी लिंक से वीडियो नहीं खींचा जा सकता — फ़ाइल आपके डिवाइस पर होनी चाहिए। सबटाइटल को वीडियो में जलाना (बर्न-इन) हो, तो उसके लिए अलग से मुफ़्त सबटाइटल एडिटर (अंग्रेज़ी में) है।

एक काम की तरकीब: डब पर क्रेडिट ख़र्च करने से पहले टॉगल बंद रखकर "Select language" में Hindi चुनें और "Transcribe video" चलाएँ। इससे ट्रांसक्रिप्ट वाली दर पर हिंदी सबटाइटल मिल जाते हैं, जिन्हें पढ़कर आप अनुवाद की गुणवत्ता का अंदाज़ा लगा सकते हैं। यह डब के अनुवाद की हूबहू गारंटी नहीं है, पर बड़ी गड़बड़ियाँ पहले ही दिख जाती हैं।

उदाहरण: 6 मिनट के ट्यूटोरियल की डबिंग का हिसाब

मान लीजिए आपके पास 6 मिनट का अंग्रेज़ी सॉफ़्टवेयर ट्यूटोरियल है और आप उसे हिंदी आवाज़ में अपने कर्मचारियों को भेजना चाहते हैं।

ख़र्च का हिसाब

डबिंग: 6 मिनट × 50 क्रेडिट = 300 क्रेडिट, यानी $0.30। अगर वीडियो 6 मिनट 10 सेकंड का है, तो बिलिंग शुरू हुए हर मिनट की होती है, यानी 7 मिनट = 350 क्रेडिट ($0.35)। पहले हिंदी सबटाइटल से अनुवाद जाँचने का ख़र्च: 7 मिनट × 1 क्रेडिट = 7 क्रेडिट, यानी एक सेंट से भी कम।

साइन-अप पर मिलने वाले 100 मुफ़्त क्रेडिट से अनुवाद की यह जाँच आराम से हो जाती है। डब के लिए ये क्रेडिट 2 मिनट तक के सिर्फ़ एक वीडियो के लिए काफ़ी हैं, क्योंकि डबिंग का न्यूनतम ख़र्च हर फ़ाइल पर 2 मिनट यानी 100 क्रेडिट है — एक मिनट का क्लिप भी 100 क्रेडिट ($0.10) लेगा। ध्यान रहे, जाँच में 7 क्रेडिट लगने के बाद बचे 93 क्रेडिट इस न्यूनतम तक नहीं पहुँचते, और इस 7 मिनट वाले वीडियो के डब (350 क्रेडिट) के लिए टॉप-अप करना ही होगा।

डब तैयार होने के बाद की जाँच-सूची

AI डब को बिना सुने प्रकाशित करना जोखिम भरा है। कम से कम ये बातें जाँच लें:

  • शुरुआत, बीच और अंत का एक-एक मिनट ध्यान से सुनें, ख़ासकर तेज़ बोले गए हिस्से।
  • पूरे वीडियो में संबोधन एक जैसा है या नहीं — कहीं "आप" और कहीं "तुम" तो नहीं।
  • कंपनी, उत्पाद और लोगों के नाम, संक्षिप्त शब्द और अंक सही बोले गए या नहीं।
  • स्क्रीन पर लिखा अंग्रेज़ी टेक्स्ट दर्शक के लिए ज़रूरी है तो उसका हिंदी रूप अपने वीडियो एडिटर में जोड़ें।
  • किसी हिंदी भाषी साथी से, जिसने मूल वीडियो न देखा हो, डब सुनवाएँ; वह वही अटपटापन पकड़ेगा जो आपका दर्शक पकड़ेगा।

अगर वीडियो भावनात्मक है, कई किरदारों वाला है या ब्रांड की छवि उस पर टिकी है, तो हिंदी डबिंग आर्टिस्ट या AI वाला लेख यह तय करने में मदद करेगा कि कहाँ इंसानी आवाज़ बेहतर रहेगी। अगर दर्शक पढ़ने में सहज हैं, तो हिंदी सबटाइटल या हिंदी डबिंग की तुलना भी देख लें।

अक्सर पूछे जाने वाले सवाल

क्या AI से हिंदी डबिंग मुफ़्त में हो सकती है?

mydubly पर साइन-अप करने पर 100 मुफ़्त क्रेडिट मिलते हैं। डबिंग का न्यूनतम ख़र्च हर फ़ाइल पर 100 क्रेडिट (2 मिनट) है, इसलिए मुफ़्त क्रेडिट से 2 मिनट तक का एक हिंदी डब बन सकता है। इससे लंबे डब के लिए टॉप-अप करना होगा; $1 के टॉप-अप से 1,000 क्रेडिट मिलते हैं। डब न करें, तो यही क्रेडिट 100 मिनट तक के ट्रांसक्रिप्ट या सबटाइटल के लिए काफ़ी हैं।

क्या हिंदी डब मेरी अपनी आवाज़ में बन सकता है?

हाँ, अगर वीडियो में आप बोल रहे हैं। mydubly फ़ाइल में आपकी बोली के छोटे, साफ़ हिस्से से आपकी आवाज़ की कॉपी बनाता है और आपकी पंक्तियों का हिंदी डब उसी में बनता है; आपको अलग से कुछ रिकॉर्ड या चुनना नहीं पड़ता। यह नमूना काम की बाक़ी फ़ाइलों के साथ, काम ख़त्म होने के 30 मिनट के भीतर हटा दिया जाता है। सिर्फ़ वही आवाज़ें अपलोड करें जिन्हें इस्तेमाल करने का आपको हक़ है।

क्या स्क्रीन पर होंठ हिंदी शब्दों के साथ मेल खाएँगे?

नहीं, mydubly लिप-सिंक नहीं करता। होंठ मूल भाषा के हिसाब से ही हिलते रहेंगे। स्क्रीन रिकॉर्डिंग, स्लाइड वाले लेक्चर और वॉइस-ओवर वाले वीडियो में यह कम दिखता है, जबकि बात करते चेहरे के क्लोज़-अप में ज़्यादा।

क्या हिंदी वीडियो को अंग्रेज़ी या किसी और भाषा में भी डब किया जा सकता है?

हाँ। mydubly 21 भाषाओं में किसी भी दिशा में अनुवाद करता है, और हिंदी उनमें शामिल है। हिंदी वीडियो को इनमें से 19 भाषाओं में डब किया जा सकता है; Czech और Vietnamese के लिए अनुवादित सबटाइटल और ट्रांसक्रिप्ट मिलते हैं। मूल भाषा अपने-आप पहचानी जाती है, आपको सिर्फ़ "Select language" में लक्ष्य भाषा चुननी होती है। ध्यान रहे कि अनुवाद/डब के लिए भारतीय भाषाओं में सिर्फ़ हिंदी उपलब्ध है; अन्य भारतीय भाषाओं का ट्रांसक्रिप्ट संभव है।

डब बनने से पहले क्या मैं हिंदी अनुवाद सुधार सकता हूँ?

mydubly में अनुवाद एडिट करने का कोई इंटरफ़ेस नहीं है, इसलिए डब में वही अनुवाद जाता है जो मशीन ने बनाया। अनुवाद की गुणवत्ता का अंदाज़ा लगाने के लिए पहले टॉगल बंद रखकर हिंदी सबटाइटल बनाएँ और पढ़ें। अगर उनमें बहुत सुधार चाहिए, तो उस वीडियो के लिए सुधरे हुए सबटाइटल या इंसानी डबिंग बेहतर रास्ता हो सकता है।

मूल वीडियो में कई लोग बोल रहे हों तो हिंदी डब कैसा बनेगा?

mydubly पहचानता है कि कितने लोग बोल रहे हैं (8 तक) और हर व्यक्ति की पंक्तियाँ उसी की आवाज़ की कॉपी में हिंदी में बोलता है, इसलिए इंटरव्यू, पैनल और बातचीत वाले वीडियो भी डब हो सकते हैं। पहचान अपने-आप होती है: एक साथ बोले गए हिस्सों में ट्रांसक्रिप्शन की गलतियाँ बढ़ सकती हैं और कोई पंक्ति दूसरे वक्ता की आवाज़ में जा सकती है। जिन बहसों में लोग लगातार एक-दूसरे की बात काटते हैं, उनके लिए हिंदी सबटाइटल अक्सर ज़्यादा साफ़ नतीजा देते हैं।