छोटे मॉडल में सुधार क्यों ला रहे हैं बड़े बदलाव

सबसे बड़े आर्टिफिशियल इंटेलिजेंस मॉडल बनाने की दौड़ अब एक सीमा पर पहुँच गई है। हालाँकि सुर्खियाँ अक्सर खरबों पैरामीटर्स वाले विशाल सिस्टम पर केंद्रित होती हैं, लेकिन असली प्रगति तो छोटे-छोटे बदलावों में हो रही है। ये मॉडल डेटा को कैसे प्रोसेस करते हैं, इसमें किए गए छोटे सुधार सॉफ्टवेयर की दैनिक क्षमताओं में बड़े बदलाव ला रहे हैं। हम उस दौर से आगे बढ़ रहे हैं जहाँ केवल ‘स्केल’ ही एकमात्र पैमाना था। आज, हमारा ध्यान इस पर है कि हम कितनी बुद्धिमत्ता को एक छोटे से फुटप्रिंट में समा सकते हैं। यह बदलाव तकनीक को सभी के लिए अधिक सुलभ और तेज़ बनाता है। अब बात एक बड़ा दिमाग बनाने की नहीं है, बल्कि मौजूदा दिमागों को कहीं अधिक दक्षता (efficiency) के साथ काम करने की है। जब कोई मॉडल दस प्रतिशत छोटा हो जाता है लेकिन अपनी सटीकता बनाए रखता है, तो यह केवल सर्वर लागत ही नहीं बचाता, बल्कि उन एप्लीकेशन्स की एक पूरी नई श्रेणी को सक्षम बनाता है जो पहले हार्डवेयर सीमाओं के कारण असंभव थे। यह संक्रमण इस समय टेक सेक्टर का सबसे महत्वपूर्ण ट्रेंड है क्योंकि यह उन्नत कंप्यूटेशन की शक्ति को विशाल डेटा सेंटर्स से निकालकर आपके हाथों तक पहुँचा रहा है।

‘बड़ा ही बेहतर है’ युग का अंत

यह समझने के लिए कि ये छोटे बदलाव क्यों मायने रखते हैं, हमें यह देखना होगा कि वे वास्तव में क्या हैं। अधिकांश प्रगति तीन क्षेत्रों से आती है: डेटा क्यूरेशन, क्वांटाइजेशन, और आर्किटेक्चरल रिफाइनमेंट्स। लंबे समय तक, शोधकर्ताओं का मानना था कि अधिक डेटा हमेशा बेहतर होता है। उन्होंने पूरे इंटरनेट को खंगाला और उसे मशीनों में डाल दिया। अब, हम जानते हैं कि उच्च गुणवत्ता वाला डेटा भारी मात्रा से कहीं अधिक मूल्यवान है। डेटासेट्स को साफ करके और अनावश्यक जानकारी हटाकर, इंजीनियर्स ऐसे छोटे मॉडल तैयार कर सकते हैं जो अपने बड़े पूर्ववर्तियों से बेहतर प्रदर्शन करते हैं। इसे अक्सर ‘टेक्स्टबुक क्वालिटी डेटा’ कहा जाता है। एक और बड़ा कारक क्वांटाइजेशन है। यह वह प्रक्रिया है जिसमें मॉडल द्वारा गणना करने के लिए उपयोग की जाने वाली संख्याओं की सटीकता को कम किया जाता है। उच्च परिशुद्धता वाले दशमलव का उपयोग करने के बजाय, एक मॉडल सरल पूर्णांकों (integers) का उपयोग कर सकता है। यह सुनने में ऐसा लगता है कि इससे परिणाम खराब हो जाएंगे, लेकिन चतुर गणित मॉडल को लगभग उतना ही स्मार्ट रहने की अनुमति देता है, जबकि उसे मेमोरी का एक छोटा हिस्सा ही चाहिए होता है। आप इन तकनीकी बदलावों के बारे में QLoRA और मॉडल कम्प्रेशन पर हालिया शोध में अधिक पढ़ सकते हैं।

अंत में, अटेंशन मैकेनिज्म जैसे आर्किटेक्चरल बदलाव हैं जो वाक्य के सबसे प्रासंगिक हिस्सों पर ध्यान केंद्रित करते हैं। ये कोई बड़े ओवरहाल नहीं हैं। ये गणित में किए गए सूक्ष्म समायोजन हैं जो सिस्टम को शोर (noise) को अनदेखा करने की अनुमति देते हैं। जब आप इन कारकों को जोड़ते हैं, तो आपको एक ऐसा मॉडल मिलता है जो विशेष चिप्स से भरे कमरे की आवश्यकता के बजाय एक मानक लैपटॉप पर फिट हो जाता है। लोग अक्सर सरल कार्यों के लिए विशाल मॉडल की आवश्यकता को बढ़ा-चढ़ाकर आंकते हैं। वे यह कम आंकते हैं कि कुछ अरब पैरामीटर्स में कितनी तर्कशक्ति भरी जा सकती है। हम एक ऐसा ट्रेंड देख रहे हैं जहाँ अधिकांश उपभोक्ता उत्पादों के लिए ‘काफी अच्छा’ (good enough) मानक बनता जा रहा है। यह डेवलपर्स को उच्च क्लाउड लागत को कवर करने के लिए सब्सक्रिप्शन शुल्क लिए बिना ऐप्स में स्मार्ट फीचर्स को एकीकृत करने की अनुमति देता है। यह सॉफ्टवेयर के निर्माण और वितरण के तरीके में एक मौलिक बदलाव है।

क्लाउड पावर से अधिक स्थानीय बुद्धिमत्ता (Local Intelligence) क्यों मायने रखती है

इन छोटे सुधारों का वैश्विक प्रभाव बहुत गहरा है। दुनिया के अधिकांश हिस्सों में उन विशाल क्लाउड-आधारित मॉडलों के साथ इंटरैक्ट करने के लिए आवश्यक हाई-स्पीड इंटरनेट तक पहुंच नहीं है। जब बुद्धिमत्ता के लिए वर्जीनिया या डबलिन में किसी सर्वर से निरंतर कनेक्शन की आवश्यकता होती है, तो यह अमीरों के लिए एक विलासिता बनी रहती है। छोटे मॉडल में सुधार इसे बदलकर सॉफ्टवेयर को मिड-रेंज हार्डवेयर पर स्थानीय रूप से चलाने की अनुमति देते हैं। इसका मतलब है कि ग्रामीण क्षेत्र का कोई छात्र या उभरते बाजार का कोई कर्मचारी भी टेक हब में रहने वाले व्यक्ति के समान सहायता प्राप्त कर सकता है। यह खेल के मैदान को उस तरह से बराबर करता है जैसा कि रॉ स्केलिंग कभी नहीं कर सकती थी। बुद्धिमत्ता की लागत शून्य की ओर गिर रही है। यह गोपनीयता और सुरक्षा के लिए विशेष रूप से महत्वपूर्ण है। जब डेटा को डिवाइस से बाहर जाने की आवश्यकता नहीं होती है, तो उल्लंघन का जोखिम काफी कम हो जाता है। सरकारें और स्वास्थ्य सेवा प्रदाता इन कुशल मॉडलों को नागरिक डेटा से समझौता किए बिना सेवाएं प्रदान करने के एक तरीके के रूप में देख रहे हैं।

यह बदलाव पर्यावरण को भी प्रभावित करता है। बड़े पैमाने पर ट्रेनिंग रन बिजली और पानी की भारी खपत करते हैं। दक्षता पर ध्यान केंद्रित करके, उद्योग अपने कार्बन फुटप्रिंट को कम कर सकता है और साथ ही बेहतर उत्पाद भी दे सकता है। नेचर जैसी वैज्ञानिक पत्रिकाओं ने इस बात पर प्रकाश डाला है कि कैसे कुशल AI उद्योग के पर्यावरणीय प्रभाव को कम कर सकता है। यहाँ कुछ तरीके दिए गए हैं जिनसे यह वैश्विक बदलाव प्रकट हो रहा है:

• स्थानीय अनुवाद सेवाएं जो बिना किसी इंटरनेट कनेक्शन के काम करती हैं।
• मेडिकल डायग्नोस्टिक टूल्स जो दूरदराज के क्लीनिकों में पोर्टेबल टैबलेट पर चलते हैं।
• शैक्षिक सॉफ्टवेयर जो कम लागत वाले हार्डवेयर पर छात्र की जरूरतों के अनुकूल होता है।
• वीडियो कॉल के लिए रीयल-टाइम प्राइवेसी फिल्टरिंग जो पूरी तरह से डिवाइस पर होती है।
• सस्ते ड्रोन और स्थानीय प्रोसेसिंग का उपयोग करके किसानों के लिए स्वचालित फसल निगरानी।

यह केवल चीजों को तेज़ बनाने के बारे में नहीं है। यह उन्हें सार्वभौमिक बनाने के बारे में है। जब हार्डवेयर की आवश्यकताएं कम होती हैं, तो संभावित उपयोगकर्ता आधार अरबों लोगों तक बढ़ जाता है। यह ट्रेंड AI विकास के नवीनतम ट्रेंड्स से निकटता से जुड़ा है जो कच्ची शक्ति (raw power) पर पहुंच को प्राथमिकता देते हैं।

एक ऑफलाइन असिस्टेंट के साथ मंगलवार

मार्कस नाम के एक फील्ड इंजीनियर के जीवन के एक दिन पर विचार करें। वह ऑफशोर विंड टर्बाइनों पर काम करता है जहाँ इंटरनेट एक्सेस बिल्कुल नहीं है। अतीत में, यदि मार्कस को कोई ऐसी यांत्रिक खराबी मिलती जिसे वह नहीं पहचानता था, तो उसे तस्वीरें लेनी पड़ती थीं, किनारे पर लौटने का इंतज़ार करना पड़ता था, और किसी मैनुअल या वरिष्ठ सहयोगी से परामर्श करना पड़ता था। इसमें मरम्मत में कई दिनों की देरी हो सकती थी। अब, वह एक अत्यधिक अनुकूलित (optimized) स्थानीय मॉडल के साथ एक रग्ड टैबलेट रखता है। वह कैमरे को टर्बाइन के पुर्जों की ओर इशारा करता है और मॉडल रीयल-टाइम में समस्या की पहचान कर लेता है। यह मशीन के विशिष्ट सीरियल नंबर के आधार पर चरण-दर-चरण मरम्मत गाइड प्रदान करता है। मार्कस जो मॉडल उपयोग करता है वह खरबों पैरामीटर वाला दिग्गज नहीं है। यह एक छोटा, विशेष संस्करण है जिसे मैकेनिकल इंजीनियरिंग को समझने के लिए परिष्कृत किया गया था। यह एक ठोस उदाहरण है कि कैसे मॉडल दक्षता में एक छोटा सुधार उत्पादकता में एक बड़ा बदलाव लाता है।

दिन में बाद में, मार्कस उसी डिवाइस का उपयोग विदेशी आपूर्तिकर्ता के तकनीकी दस्तावेज़ का अनुवाद करने के लिए करता है। अनुवाद लगभग सटीक है क्योंकि मॉडल को इंजीनियरिंग ग्रंथों के एक छोटे लेकिन उच्च गुणवत्ता वाले सेट पर प्रशिक्षित किया गया था। उसे क्लाउड पर एक भी फाइल अपलोड करने की आवश्यकता नहीं पड़ी। यह विश्वसनीयता ही है जो तकनीक को वास्तविक दुनिया में उपयोगी बनाती है। कई लोग मानते हैं कि मददगार होने के लिए AI को एक सामान्यज्ञ (generalist) होना चाहिए, लेकिन मार्कस साबित करता है कि पेशेवर कार्यों के लिए विशेष, छोटे सिस्टम अक्सर बेहतर होते हैं। मॉडल की छोटी प्रकृति वास्तव में एक विशेषता है, कोई कमी नहीं। इसका मतलब है कि सिस्टम तेज़, अधिक निजी और संचालित करने में सस्ता है। मार्कस को पिछले हफ्ते अपना नवीनतम अपडेट मिला, और गति में अंतर तुरंत महसूस किया गया।

यहाँ विरोधाभास यह है कि जबकि मॉडल छोटे होते जा रहे हैं, वे जो काम करते हैं वह बड़ा होता जा रहा है। हम एक बॉट के साथ चैट करने से हटकर एक वर्कफ़्लो में टूल को एकीकृत करने की ओर बढ़ रहे हैं। लोग कविता लिखने में सक्षम मॉडल के महत्व को बढ़ा-चढ़ाकर आंकते हैं। वे उस मॉडल के मूल्य को कम आंकते हैं जो धुंधले इनवॉइस से डेटा निकाल सकता है या स्टील बीम में बाल जैसी दरार की पहचान कर सकता है। ये वे कार्य हैं जो वैश्विक अर्थव्यवस्था को चलाते हैं। जैसे-जैसे ये छोटे सुधार जारी रहेंगे, स्मार्ट सॉफ्टवेयर और सामान्य सॉफ्टवेयर के बीच की रेखा गायब हो जाएगी। सब कुछ बस बेहतर काम करेगा। यह वर्तमान टेक वातावरण की वास्तविकता है।

दक्षता ट्रेडऑफ के बारे में कठिन प्रश्न

हालाँकि, हमें इस ट्रेंड के प्रति कुछ सुकराती संदेह (Socratic skepticism) लागू करना चाहिए। यदि हम छोटे, अधिक अनुकूलित मॉडलों की ओर बढ़ रहे हैं, तो हम क्या पीछे छोड़ रहे हैं? एक कठिन प्रश्न यह है कि क्या दक्षता पर ध्यान केंद्रित करने से हम एक ‘काफी अच्छे’ पठार पर पहुँच रहे हैं? यदि किसी मॉडल को तेज़ होने के लिए अनुकूलित किया गया है, तो क्या वह उन एज-केस को संभालने की क्षमता खो देता है जिन्हें एक बड़ा मॉडल पकड़ सकता है? हमें यह पूछना होगा कि क्या मॉडलों को छोटा करने की जल्दबाजी एक नए प्रकार का पूर्वाग्रह पैदा कर रही है। यदि हम इन सिस्टम्स को प्रशिक्षित करने के लिए केवल उच्च गुणवत्ता वाले डेटा का उपयोग करते हैं, तो गुणवत्ता को कौन परिभाषित करता है? हम अनजाने में हाशिए पर रहने वाले समूहों की आवाज़ों और दृष्टिकोणों को फ़िल्टर कर सकते हैं क्योंकि उनका डेटा पाठ्यपुस्तक मानक में फिट नहीं बैठता है।

क्या आपके पास कोई AI कहानी, उपकरण, ट्रेंड या प्रश्न है जिसके बारे में आपको लगता है कि हमें कवर करना चाहिए? हमें अपना लेख विचार भेजें — हमें इसे सुनकर खुशी होगी।

छिपी हुई लागतों का भी सवाल है। हालाँकि एक छोटा मॉडल चलाना सस्ता है, लेकिन एक बड़े मॉडल को छोटा करने के लिए आवश्यक अनुसंधान और विकास अविश्वसनीय रूप से महंगा है। क्या हम केवल ऊर्जा की खपत को इन्फरेंस चरण से ट्रेनिंग और ऑप्टिमाइज़ेशन चरण में स्थानांतरित कर रहे हैं? साथ ही, जैसे-जैसे ये मॉडल व्यक्तिगत उपकरणों पर अधिक सामान्य होते जा रहे हैं, हमारी गोपनीयता का क्या होगा? भले ही मॉडल स्थानीय रूप से चलता हो, हम इसका उपयोग कैसे करते हैं, इसके बारे में मेटाडेटा अभी भी एकत्र किया जा सकता है। हमें यह पूछने की ज़रूरत है कि क्या स्थानीय बुद्धिमत्ता की सुविधा अधिक आक्रामक ट्रैकिंग की संभावना के लायक है। यदि आपके फोन के हर ऐप का अपना छोटा दिमाग है, तो कौन निगरानी कर रहा है कि वे दिमाग आपके बारे में क्या सीख रहे हैं? हमें हार्डवेयर की दीर्घायु पर भी विचार करना होगा। यदि सॉफ्टवेयर अधिक कुशल होता रहता है, तो क्या कंपनियां अभी भी हमें हर 2026 अपने उपकरणों को अपग्रेड करने के लिए प्रेरित करेंगी? या क्या यह एक टिकाऊ युग की ओर ले जाएगा जहाँ पांच साल पुराना फोन भी नवीनतम टूल्स चलाने में पूरी तरह सक्षम होगा? ये वे विरोधाभास हैं जिनका सामना हमें तकनीक के विकसित होने के साथ करना होगा।

कम्प्रेशन के पीछे की इंजीनियरिंग

पावर यूज़र्स और डेवलपर्स के लिए, छोटे मॉडलों की ओर बदलाव तकनीकी बारीकियों का मामला है। सबसे महत्वपूर्ण पैमाना अब केवल पैरामीटर काउंट नहीं है। यह ‘बिट्स पर पैरामीटर’ है। हम 16-बिट फ्लोटिंग पॉइंट वेट्स से 8-बिट और यहाँ तक कि 4-बिट क्वांटाइजेशन की ओर बढ़ते हुए देख रहे हैं। यह एक ऐसे मॉडल को, जिसे सामान्य रूप से 40 गीगाबाइट VRAM की आवश्यकता होती है, 10 गीगाबाइट से कम में फिट होने की अनुमति देता है। यह स्थानीय स्टोरेज और GPU आवश्यकताओं के लिए एक बड़ा बदलाव है। डेवलपर्स अब पूरे सिस्टम को फिर से प्रशिक्षित किए बिना विशिष्ट कार्यों पर इन मॉडलों को फाइन-ट्यून करने के लिए LoRA (लो-रैंक एडेप्टेशन) को देख रहे हैं। यह वर्कफ़्लो इंटीग्रेशन को बहुत आसान बनाता है। आप इन विधियों पर तकनीकी दस्तावेज़ MIT टेक्नोलॉजी रिव्यू पर पा सकते हैं।

एप्लीकेशन्स बनाते समय, आपको निम्नलिखित तकनीकी सीमाओं पर विचार करना होगा:

• स्थानीय इन्फरेंस के लिए मेमोरी बैंडविड्थ अक्सर कच्ची कंप्यूट शक्ति की तुलना में एक बड़ी बाधा होती है।
• क्लाउड मॉडलों के लिए API सीमाएं कम प्रासंगिक होती जा रही हैं क्योंकि स्थानीय होस्टिंग उत्पादन के लिए व्यवहार्य हो रही है।
• कॉन्टेक्स्ट विंडो प्रबंधन छोटे मॉडलों के लिए अभी भी एक चुनौती है क्योंकि वे लंबी बातचीत को ट्रैक करना जल्दी भूल जाते हैं।
• FP8 और INT4 परिशुद्धता के बीच का चुनाव रचनात्मक कार्यों में मतिभ्रम (hallucination) दर को काफी प्रभावित कर सकता है।
• स्थानीय स्टोरेज की आवश्यकताएं कम हो रही हैं लेकिन तेज़ मॉडल लोडिंग के लिए हाई-स्पीड NVMe ड्राइव की आवश्यकता बनी हुई है।

हम सट्टा डिकोडिंग (speculative decoding) का उदय भी देख रहे हैं, जहाँ एक छोटा मॉडल अगले कुछ टोकन की भविष्यवाणी करता है और एक बड़ा मॉडल उन्हें सत्यापित करता है। यह हाइब्रिड दृष्टिकोण एक छोटे मॉडल की गति और एक विशाल मॉडल की सटीकता प्रदान करता है। यह मॉडल के आकार के पारंपरिक ट्रेड-ऑफ को दरकिनार करने का एक चतुर तरीका है। इस क्षेत्र में आगे रहने के इच्छुक किसी भी व्यक्ति के लिए, इन कम्प्रेशन तकनीकों को समझना स्क्रैच से मॉडल बनाना सीखने से कहीं अधिक महत्वपूर्ण है। भविष्य उन ऑप्टिमाइज़र्स का है जो कम में अधिक कर सकते हैं। ध्यान कच्ची शक्ति से चतुर इंजीनियरिंग की ओर स्थानांतरित हो रहा है।

इष्टतम प्रदर्शन का चलता-फिरता लक्ष्य

निचली पंक्ति यह है कि ‘बड़ा हमेशा बेहतर होता है’ का युग समाप्त हो रहा है। सबसे महत्वपूर्ण प्रगति अब अधिक लेयर्स या अधिक डेटा जोड़ने के बारे में नहीं है। वे रिफाइनमेंट, दक्षता और पहुंच के बारे में हैं। हम एक ऐसा बदलाव देख रहे हैं जो उन्नत कंप्यूटेशन को कैलकुलेटर जितना सामान्य बना देगा। यह प्रगति केवल एक तकनीकी उपलब्धि नहीं है। यह एक सामाजिक उपलब्धि है। यह सबसे उन्नत शोध की शक्ति को सभी के लिए लाता है, चाहे उनका हार्डवेयर या इंटरनेट कनेक्शन कुछ भी हो। यह ऑप्टिमाइज़ेशन के पिछले दरवाजे से बुद्धिमत्ता का लोकतंत्रीकरण है।

संपादक का नोट: हमने इस साइट को उन लोगों के लिए एक बहुभाषी AI समाचार और गाइड हब के रूप में बनाया है जो कंप्यूटर गीक नहीं हैं, लेकिन फिर भी आर्टिफिशियल इंटेलिजेंस को समझना चाहते हैं, इसे अधिक आत्मविश्वास के साथ उपयोग करना चाहते हैं, और उस भविष्य का अनुसरण करना चाहते हैं जो पहले से ही आ रहा है।

जैसे-जैसे हम अगले 2026 की ओर देखते हैं, खुला प्रश्न बना रहता है: क्या हम बुद्धिमत्ता को छोटा करने के तरीके ढूंढना जारी रखेंगे, या क्या हम अंततः एक भौतिक सीमा से टकराएंगे जो हमें वापस क्लाउड पर जाने के लिए मजबूर करेगी? फिलहाल, ट्रेंड स्पष्ट है। छोटा ही नया बड़ा है। कल हम जिन सिस्टम्स का उपयोग करेंगे, उन्हें इस बात से परिभाषित नहीं किया जाएगा कि वे कितना जानते हैं, बल्कि इस बात से कि वे जो जानते हैं उसका उपयोग कितनी अच्छी तरह करते हैं।