लहान मॉडेल्समध्ये सुधारणा का घडवून आणत आहेत मोठे बदल 2026

सर्वात मोठे artificial intelligence मॉडेल बनवण्याची शर्यत आता एका मर्यादेपर्यंत पोहोचली आहे. जरी बातम्यांमध्ये अनेकदा ट्रिलियन्स पॅरामीटर्स असलेल्या महाकाय सिस्टिम्सची चर्चा असली, तरी खरी प्रगती छोट्या गोष्टींमध्ये होत आहे. ही मॉडेल्स डेटावर कशी प्रक्रिया करतात, यात होणारे छोटे बदल सॉफ्टवेअरच्या दैनंदिन कामात मोठे बदल घडवून आणत आहेत. आपण अशा काळाकडून दूर जात आहोत जिथे केवळ ‘मोठा आकार’ हाच एकमेव निकष होता. आज, कमी जागेत आपण किती बुद्धिमत्ता सामावू शकतो, यावर लक्ष केंद्रित केले जात आहे. हा बदल तंत्रज्ञान सर्वांसाठी अधिक सुलभ आणि वेगवान बनवत आहे. आता मोठे ‘मेंदू’ बनवण्यापेक्षा, अस्तित्वात असलेले मेंदू अधिक कार्यक्षमतेने कसे काम करतील, यावर भर दिला जात आहे. जेव्हा एखादे मॉडेल दहा टक्क्यांनी लहान होऊनही आपली अचूकता टिकवून ठेवते, तेव्हा ते केवळ सर्व्हरचा खर्चच वाचवत नाही, तर हार्डवेअरच्या मर्यादांमुळे पूर्वी अशक्य असलेल्या ॲप्लिकेशन्सचा एक नवीन प्रकारही सुरू करते. हा बदल सध्या टेक सेक्टरमधील सर्वात महत्त्वाचा ट्रेंड आहे, कारण तो प्रगत संगणनाची शक्ती महाकाय डेटा सेंटर्सकडून तुमच्या हातातील उपकरणांपर्यंत पोहोचवत आहे.

‘मोठे तेच चांगले’ या युगाचा अंत

हे छोटे बदल का महत्त्वाचे आहेत हे समजून घेण्यासाठी, ते नेमके काय आहेत हे पाहणे गरजेचे आहे. बहुतेक प्रगती तीन क्षेत्रांतून येते: डेटा क्युरेशन, क्वांटायझेशन आणि आर्किटेक्चरल सुधारणा. बऱ्याच काळापासून संशोधकांचा असा विश्वास होता की अधिक डेटा नेहमीच चांगला असतो. त्यांनी संपूर्ण इंटरनेटचा डेटा मशीनमध्ये भरला. आता आपल्याला समजले आहे की, डेटाची गुणवत्ता ही त्याच्या प्रमाणापेक्षा कितीतरी पटीने मौल्यवान आहे. डेटासेट स्वच्छ करून आणि अनावश्यक माहिती काढून, इंजिनिअर्स आता अशा लहान मॉडेल्सना ट्रेन करू शकतात जे त्यांच्या मोठ्या पूर्वसुरींपेक्षा अधिक चांगले काम करतात. याला अनेकदा ‘टेक्स्टबुक क्वालिटी डेटा’ असे म्हटले जाते. दुसरा महत्त्वाचा घटक म्हणजे क्वांटायझेशन. ही अशी प्रक्रिया आहे ज्यामध्ये मॉडेलच्या गणितांसाठी वापरल्या जाणाऱ्या आकड्यांची अचूकता कमी केली जाते. हाय-प्रिसिजन डेसिमल्स वापरण्याऐवजी, मॉडेल साधे पूर्णांक (integers) वापरू शकते. हे ऐकायला विचित्र वाटू शकते, पण हुशार गणितामुळे मॉडेलची बुद्धिमत्ता जवळजवळ कायम राहते आणि मेमरीचा वापर खूप कमी होतो. तुम्ही या तांत्रिक बदलांबद्दल QLoRA आणि मॉडेल कॉम्प्रेशनवरील अलीकडील संशोधनात अधिक वाचू शकता.

शेवटी, अटेंशन मेकॅनिझमसारखे आर्किटेक्चरल बदल आहेत जे वाक्यातील सर्वात महत्त्वाच्या भागांवर लक्ष केंद्रित करतात. हे काही मोठे बदल नाहीत, तर गणितातील सूक्ष्म सुधारणा आहेत ज्या सिस्टिमला अनावश्यक गोंधळ (noise) टाळण्यास मदत करतात. जेव्हा तुम्ही हे घटक एकत्र करता, तेव्हा तुम्हाला असे मॉडेल मिळते जे एका सामान्य लॅपटॉपवर चालू शकते, ज्यासाठी महागड्या चिप्सने भरलेल्या खोलीची गरज नसते. लोक अनेकदा साध्या कामांसाठी महाकाय मॉडेल्सची गरज असल्याचे समजतात आणि काही अब्ज पॅरामीटर्समध्ये किती तर्क (logic) सामावू शकतो, याचा अंदाज चुकून बसतात. आपण असा ट्रेंड पाहत आहोत जिथे बहुतेक ग्राहक उत्पादनांसाठी ‘पुरेसे चांगले’ हेच मानक बनत आहे. यामुळे डेव्हलपर्सना क्लाउडचा खर्च न वाढवता ॲप्समध्ये स्मार्ट फीचर्स समाविष्ट करणे शक्य होत आहे. सॉफ्टवेअर कसे तयार केले जाते आणि वितरित केले जाते, यात हा एक मूलभूत बदल आहे.

क्लाउड पॉवरपेक्षा स्थानिक बुद्धिमत्ता का महत्त्वाची आहे?

या लहान सुधारणांचा जागतिक प्रभाव शब्दांत मांडणे कठीण आहे. जगातील बहुतांश लोकांकडे महाकाय क्लाउड-आधारित मॉडेल्स वापरण्यासाठी आवश्यक असलेला हाय-स्पीड इंटरनेट नाही. जेव्हा बुद्धिमत्तेसाठी व्हर्जिनिया किंवा डब्लिनमधील सर्व्हरशी सतत कनेक्शनची गरज असते, तेव्हा ती केवळ श्रीमंतांसाठी एक लक्झरी बनते. लहान मॉडेल्समध्ये होणाऱ्या सुधारणांमुळे सॉफ्टवेअर स्थानिक पातळीवर मध्यम क्षमतेच्या हार्डवेअरवर चालू शकते. याचा अर्थ असा की ग्रामीण भागातील विद्यार्थी किंवा उदयोन्मुख बाजारपेठेतील कामगार टेक हबमधील व्यक्तीप्रमाणेच मदतीचा लाभ घेऊ शकतात. हे तंत्रज्ञान सर्वांसाठी समान पातळीवर आणते. बुद्धिमत्तेचा खर्च शून्याकडे झुकत आहे. हे गोपनीयता आणि सुरक्षेसाठी विशेषतः महत्त्वाचे आहे. जेव्हा डेटा डिव्हाइस सोडून बाहेर जात नाही, तेव्हा सुरक्षेच्या उल्लंघनाचा धोका लक्षणीयरीत्या कमी होतो. सरकारे आणि आरोग्य सेवा पुरवठादार या कार्यक्षम मॉडेल्सकडे नागरिकांचा डेटा सुरक्षित ठेवून सेवा प्रदान करण्याचा एक मार्ग म्हणून पाहत आहेत.

या बदलाचा पर्यावरणावरही परिणाम होतो. मोठ्या प्रमाणावर ट्रेनिंग रन करण्यासाठी वीज आणि कूलिंगसाठी पाण्याचा प्रचंड वापर होतो. कार्यक्षमतेवर लक्ष केंद्रित करून, उद्योग आपला कार्बन फूटप्रिंट कमी करू शकतात आणि तरीही अधिक चांगली उत्पादने देऊ शकतात. Nature सारख्या वैज्ञानिक जर्नल्सनी हायलाइट केले आहे की कार्यक्षम AI उद्योगाचा पर्यावरणीय भार कसा कमी करू शकते. हा जागतिक बदल खालीलप्रमाणे दिसून येत आहे:

• कोणत्याही इंटरनेट कनेक्शनशिवाय काम करणाऱ्या स्थानिक भाषांतर सेवा.
• दुर्गम भागातील क्लिनिकमध्ये पोर्टेबल टॅब्लेटवर चालणारी वैद्यकीय निदान साधने.
• कमी खर्चाच्या हार्डवेअरवर विद्यार्थ्यांच्या गरजांनुसार जुळवून घेणारे शैक्षणिक सॉफ्टवेअर.
• व्हिडिओ कॉलसाठी रिअल-टाइम प्रायव्हसी फिल्टरिंग जे पूर्णपणे डिव्हाइसवरच होते.
• स्वस्त ड्रोन आणि स्थानिक प्रक्रियेचा वापर करून शेतकऱ्यांसाठी स्वयंचलित पीक देखरेख.

हे केवळ गोष्टी वेगवान करण्याबद्दल नाही, तर त्या सर्वांसाठी उपलब्ध करण्याबद्दल आहे. जेव्हा हार्डवेअरच्या गरजा कमी होतात, तेव्हा संभाव्य वापरकर्त्यांची संख्या अब्जावधींनी वाढते. हा ट्रेंड AI डेव्हलपमेंटमधील ताज्या ट्रेंड्सशी जवळून संबंधित आहे, जे कच्च्या शक्तीपेक्षा सुलभतेला प्राधान्य देतात.

ऑफलाइन असिस्टंटसह एक मंगळवार

मार्क्स नावाच्या एका फील्ड इंजिनिअरच्या आयुष्यातील एक दिवस विचारात घ्या. तो ऑफशोअर विंड टर्बाइन्सवर काम करतो जिथे इंटरनेट उपलब्ध नाही. पूर्वी, जर मार्क्सला एखादा तांत्रिक बिघाड समजला नाही, तर त्याला फोटो काढून किनाऱ्यावर परत येईपर्यंत वाट पाहावी लागे आणि मग मॅन्युअल किंवा वरिष्ठ सहकाऱ्याचा सल्ला घ्यावा लागे. यामुळे दुरुस्तीला अनेक दिवस लागू शकत होते. आता, तो अत्यंत ऑप्टिमाइझ केलेल्या स्थानिक मॉडेलसह एक रग्ड टॅब्लेट सोबत ठेवतो. तो कॅमेरा टर्बाइनच्या भागांकडे वळवतो आणि मॉडेल रिअल-टाइममध्ये समस्या ओळखते. ते मशीनच्या विशिष्ट सिरीयल नंबरवर आधारित दुरुस्तीची स्टेप-बाय-स्टेप मार्गदर्शिका प्रदान करते. मार्क्स जे मॉडेल वापरतो ते ट्रिलियन पॅरामीटर्सचे महाकाय मॉडेल नाही. ती एक छोटी, विशेष आवृत्ती आहे जी मेकॅनिकल इंजिनिअरिंग समजून घेण्यासाठी रिफाइन केली गेली आहे. मॉडेलच्या कार्यक्षमतेतील छोटासा बदल उत्पादकतेत किती मोठा बदल घडवून आणतो, याचे हे एक ठोस उदाहरण आहे.

त्याच दिवशी नंतर, मार्क्स त्याच डिव्हाइसचा वापर करून परदेशी पुरवठादाराकडून आलेले तांत्रिक दस्तऐवज अनुवादित करतो. भाषांतर जवळजवळ अचूक असते कारण मॉडेलला इंजिनिअरिंगच्या लहान पण उच्च-गुणवत्तेच्या मजकुरावर ट्रेन केले गेले होते. त्याला क्लाउडवर एकही फाइल अपलोड करण्याची गरज पडली नाही. ही विश्वासार्हता (reliability) तंत्रज्ञानाला वास्तविक जगात उपयुक्त बनवते. अनेक लोकांना वाटते की AI उपयुक्त होण्यासाठी ‘जनरलिस्ट’ असणे आवश्यक आहे, परंतु मार्क्स हे सिद्ध करतो की व्यावसायिक कामांसाठी विशेष, लहान सिस्टिम्स अनेकदा अधिक श्रेष्ठ असतात. मॉडेलचा लहान आकार हे प्रत्यक्षात एक वैशिष्ट्य आहे, त्रुटी नाही. याचा अर्थ सिस्टिम वेगवान, अधिक खाजगी आणि चालवण्यासाठी स्वस्त आहे. मार्क्सला गेल्या आठवड्यात त्याचे लेटेस्ट अपडेट मिळाले आणि वेगातील फरक लगेच जाणवला.

येथील विरोधाभास असा आहे की मॉडेल्स लहान होत असताना, ते करत असलेले काम मोठे होत आहे. आपण चॅटबॉटशी गप्पा मारण्याकडून वर्कफ्लोमध्ये टूल समाविष्ट करण्याकडे वाटचाल करत आहोत. लोक मॉडेल कविता लिहू शकते याला जास्त महत्त्व देतात, पण अस्पष्ट इनव्हॉइसमधून डेटा काढू शकणाऱ्या किंवा स्टीलच्या बीममधील सूक्ष्म भेग ओळखू शकणाऱ्या मॉडेलच्या मूल्याकडे दुर्लक्ष करतात. हीच ती कामे आहेत जी जागतिक अर्थव्यवस्थेला चालना देतात. जसे या लहान सुधारणा सुरू राहतील, तसे स्मार्ट सॉफ्टवेअर आणि सामान्य सॉफ्टवेअरमधील रेषा पुसली जाईल. प्रत्येक गोष्ट फक्त अधिक चांगल्या प्रकारे काम करेल. हेच सध्याच्या टेक वातावरणाचे वास्तव आहे.

कार्यक्षमतेच्या तडजोडीबद्दल कठीण प्रश्न

तथापि, आपण या ट्रेंडकडे थोड्या शंकास्पद नजरेने पाहिले पाहिजे. जर आपण लहान, अधिक ऑप्टिमाइझ केलेल्या मॉडेल्सकडे जात असू, तर आपण काय मागे सोडत आहोत? एक कठीण प्रश्न असा आहे की कार्यक्षमतेवर लक्ष केंद्रित केल्यामुळे आपण ‘पुरेसे चांगले’ या पठारावर अडकलो आहोत का? जर एखादे मॉडेल वेगवान होण्यासाठी ऑप्टिमाइझ केले असेल, तर ते मोठ्या मॉडेलने पकडलेल्या ‘एज केसेस’ हाताळण्याची क्षमता गमावते का? आपल्याला हे विचारणे आवश्यक आहे की मॉडेल्स लहान करण्याची घाई एका नवीन प्रकारचा पूर्वग्रह (bias) निर्माण करत आहे का? जर आपण या सिस्टिम्सना ट्रेन करण्यासाठी फक्त उच्च-गुणवत्तेचा डेटा वापरला, तर ‘गुणवत्ता’ कोण ठरवते? कदाचित आपण नकळतपणे उपेक्षित गटांचे आवाज आणि दृष्टिकोन फिल्टर करू शकतो कारण त्यांचा डेटा ‘टेक्स्टबुक’ मानकात बसत नाही.

तुम्ही आम्हाला कव्हर करावे असे तुम्हाला वाटणारी AI कथा, साधन, ट्रेंड किंवा प्रश्न आहे का? तुमची लेखाची कल्पना आम्हाला पाठवा — आम्हाला ती ऐकायला आवडेल.

लपलेल्या खर्चाचाही प्रश्न आहे. लहान मॉडेल चालवणे स्वस्त असले तरी, मोठे मॉडेल लहान करण्यासाठी आवश्यक असलेले संशोधन आणि विकास अत्यंत महाग आहे. आपण केवळ ऊर्जेचा वापर इन्फरन्स टप्प्यावरून ट्रेनिंग आणि ऑप्टिमायझेशन टप्प्यावर हलवत आहोत का? तसेच, जसे ही मॉडेल्स वैयक्तिक उपकरणांवर सामान्य होत आहेत, तसे आपल्या गोपनीयतेचे काय? जरी मॉडेल स्थानिक पातळीवर चालत असले, तरी आपण ते कसे वापरतो याबद्दलचा मेटाडेटा अजूनही गोळा केला जाऊ शकतो. स्थानिक बुद्धिमत्तेची सोय अधिक आक्रमक ट्रॅकिंगच्या जोखमीच्या मोबदल्यात योग्य आहे का, हे विचारणे आवश्यक आहे. जर तुमच्या फोनमधील प्रत्येक ॲपचा स्वतःचा छोटा मेंदू असेल, तर ते मेंदू तुमच्याबद्दल काय शिकत आहेत, यावर कोण लक्ष ठेवत आहे? आपल्याला हार्डवेअरच्या दीर्घायुष्याचाही विचार करावा लागेल. जर सॉफ्टवेअर अधिक कार्यक्षम होत राहिले, तर कंपन्या आपल्याला दरवर्षी आपली उपकरणे अपग्रेड करण्यासाठी प्रवृत्त करतील का? की हे एका अशा शाश्वत युगाकडे नेईल जिथे पाच वर्षांचा फोनही लेटेस्ट टूल्स चालवण्यास पूर्णपणे सक्षम असेल? तंत्रज्ञान विकसित होत असताना आपल्याला या विरोधाभासांचा सामना करावा लागेल.

कॉम्प्रेशनमागील इंजिनिअरिंग

पॉवर युजर्स आणि डेव्हलपर्ससाठी, लहान मॉडेल्सकडे जाणारा बदल हा तांत्रिक तपशीलांचा विषय आहे. सर्वात महत्त्वाचा निकष आता केवळ पॅरामीटर काउंट राहिलेला नाही. तो ‘बिट्स पर पॅरामीटर’ आहे. आपण १६-बिट फ्लोटिंग पॉइंट वेट्सकडून ८-बिट आणि अगदी ४-बिट क्वांटायझेशनकडे जाताना पाहत आहोत. यामुळे ४० जीबी VRAM ची गरज असलेले मॉडेल १० जीबीपेक्षा कमी जागेत बसू शकते. स्थानिक स्टोरेज आणि GPU गरजांसाठी हा एक मोठा बदल आहे. डेव्हलपर्स आता संपूर्ण सिस्टिम पुन्हा ट्रेन न करता विशिष्ट कामांवर मॉडेल्सना फाइन-ट्यून करण्यासाठी LoRA (Low-Rank Adaptation) कडे पाहत आहेत. यामुळे वर्कफ्लो इंटिग्रेशन खूप सोपे होते. तुम्ही या पद्धतींवरील तांत्रिक दस्तऐवज MIT Technology Review वर शोधू शकता.

ॲप्लिकेशन्स तयार करताना, तुम्हाला खालील तांत्रिक मर्यादांचा विचार करावा लागेल:

• स्थानिक इन्फरन्ससाठी मेमरी बँडविड्थ ही अनेकदा कच्च्या कॉम्प्युट पॉवरपेक्षा मोठी अडचण असते.
• क्लाउड मॉडेल्ससाठी API मर्यादा आता कमी संबंधित होत आहेत कारण स्थानिक होस्टिंग उत्पादनासाठी व्यवहार्य होत आहे.
• लहान मॉडेल्ससाठी कॉन्टेक्स्ट विंडो मॅनेजमेंट अजूनही एक आव्हान आहे कारण ते लांब संभाषणांचा मागोवा लवकर गमावतात.
• FP8 आणि INT4 प्रिसिजनमधील निवड क्रिएटिव्ह कामांमध्ये ‘हॅल्युसिनेशन रेट’वर लक्षणीय परिणाम करू शकते.
• स्थानिक स्टोरेजची गरज कमी होत आहे, परंतु वेगवान मॉडेल लोडिंगसाठी हाय-स्पीड NVMe ड्राइव्हची गरज कायम आहे.

आपण ‘स्पेक्युलेटिव्ह डिकोडिंग’चा उदयही पाहत आहोत, जिथे एक छोटे मॉडेल पुढील काही टोकन्सचा अंदाज लावते आणि मोठे मॉडेल त्यांची पडताळणी करते. हा हायब्रिड दृष्टिकोन लहान मॉडेलचा वेग आणि मोठ्या मॉडेलची अचूकता दोन्ही देतो. मॉडेलच्या आकाराच्या पारंपारिक तडजोडी टाळण्याचा हा एक हुशार मार्ग आहे. या क्षेत्रात पुढे राहू इच्छिणाऱ्या कोणासाठीही, हे कॉम्प्रेशन तंत्र समजून घेणे हे शून्यापासून मॉडेल कसे बनवायचे हे जाणून घेण्यापेक्षा जास्त महत्त्वाचे आहे. भविष्य अशा ऑप्टिमायझर्सचे आहे जे कमी संसाधनांत अधिक काम करू शकतात. लक्ष आता कच्च्या शक्तीकडून हुशार इंजिनिअरिंगकडे वळत आहे.

ऑप्टिमल परफॉर्मन्सचे बदलणारे लक्ष्य

थोडक्यात सांगायचे तर, ‘मोठे तेच चांगले’ हे युग संपत आहे. सर्वात महत्त्वाच्या प्रगती आता अधिक लेयर्स किंवा अधिक डेटा जोडण्याबद्दल नाहीत. त्या रिफाइनमेंट, कार्यक्षमता आणि सुलभतेबद्दल आहेत. आपण असा बदल पाहत आहोत जो प्रगत संगणनाला कॅल्क्युलेटरसारखे सामान्य बनवेल. ही प्रगती केवळ तांत्रिक यश नाही, तर ती एक सामाजिक प्रगती आहे. हे सर्वात प्रगत संशोधनाची शक्ती सर्वांपर्यंत पोहोचवते, मग त्यांचे हार्डवेअर किंवा इंटरनेट कनेक्शन काहीही असो. ऑप्टिमायझेशनच्या माध्यमातून बुद्धिमत्तेचे हे लोकशाहीकरण आहे.

संपादकाची नोंद: आम्ही ही साइट बहुभाषिक AI बातम्या आणि मार्गदर्शिका केंद्र म्हणून अशा लोकांसाठी तयार केली आहे जे संगणक तज्ञ नाहीत, परंतु तरीही कृत्रिम बुद्धिमत्ता समजून घेऊ इच्छितात, अधिक आत्मविश्वासाने तिचा वापर करू इच्छितात आणि आधीच येत असलेल्या भविष्याचा मागोवा घेऊ इच्छितात.

पुढील काळाकडे पाहताना, एक प्रश्न अनुत्तरित राहतो: आपण बुद्धिमत्ता लहान करण्याचे मार्ग शोधत राहू का, की आपण शेवटी अशा भौतिक मर्यादेपर्यंत पोहोचू जी आपल्याला पुन्हा क्लाउडकडे जाण्यास भाग पाडेल? सध्या तरी, कल स्पष्ट आहे. ‘लहान’ हेच नवीन ‘मोठे’ आहे. उद्या आपण जी सिस्टिम्स वापरू, ती त्यांना किती माहिती आहे यावरून नाही, तर त्यांच्याकडे जे आहे ते ते किती चांगल्या प्रकारे वापरतात, यावरून ठरवली जातील.