तुम्ही डाऊनलोड केले नसले तरी ओपन मॉडेल्स का महत्त्वाचे आहेत?

आधुनिक कॉम्प्युटिंगचे अदृश्य आधारस्तंभ

ओपन मॉडेल्स हे आधुनिक जगाचे शांतपणे काम करणारे पायाभूत स्ट्रक्चर आहेत. तुम्ही कधीही Hugging Face वरून एखादी फाईल डाऊनलोड केली नसेल किंवा एखादा लोकल सर्व्हर चालवला नसेल, तरीही हे मॉडेल्स तुम्ही वापरत असलेल्या सेवांची किंमत आणि नवीन फीचर्सचा वेग ठरवतात. ते स्पर्धेसाठी एक भक्कम पाया म्हणून काम करतात. त्यांच्याशिवाय, काही मोजक्या कंपन्यांची या शतकातील सर्वात महत्त्वाच्या तंत्रज्ञानावर पूर्ण मक्तेदारी असती. ओपन मॉडेल्स एक अशी किमान क्षमता प्रदान करतात ज्यामुळे मोठ्या कंपन्यांना सतत नवनवीन शोध लावणे आणि त्यांच्या किमती वाजवी ठेवणे भाग पडते. हा केवळ उत्साही लोकांचा छंद किंवा संशोधकांसाठी मर्यादित विषय नाही. टेक इंडस्ट्रीमध्ये सत्तेचे वाटप कसे होते, यात झालेला हा एक मोठा बदल आहे. जेव्हा Llama सारखे मॉडेल रिलीज होते, तेव्हा ते सामान्य हार्डवेअरवर काय शक्य आहे याचा एक नवीन दर्जा सेट करते. या दबावामुळेच तुम्ही रोज वापरत असलेली क्लोज्ड मॉडेल्स अधिक चांगली आणि परवडणारी राहतात. या ‘ओपननेस’मधील बारकावे समजून घेणे ही इंडस्ट्री कुठे चालली आहे हे पाहण्याची पहिली पायरी आहे.

ओपननेसच्या मार्केटिंग भाषेचा अर्थ लावताना

या संदर्भात ‘ओपन’ म्हणजे नक्की काय, याबद्दल बराच गोंधळ आहे. खरे ओपन सोर्स सॉफ्टवेअर कोणालाही कोड पाहण्याची, त्यात बदल करण्याची आणि तो वाटण्याची परवानगी देते. पण मोठ्या लँग्वेज मॉडेल्सच्या जगात ही व्याख्या थोडी गुंतागुंतीची होते. ज्या मॉडेल्सना लोक ओपन सोर्स म्हणतात, ती प्रत्यक्षात open weight मॉडेल्स असतात. याचा अर्थ असा की कंपनीने मॉडेलचे अंतिम पॅरामीटर्स रिलीज केले आहेत, पण ते ट्रेन करण्यासाठी वापरलेला प्रचंड डेटा किंवा तो डेटा साफ करण्यासाठी वापरलेले स्क्रिप्ट्स रिलीज केलेले नाहीत. डेटाशिवाय, तुम्ही ते मॉडेल शून्यापासून पुन्हा तयार करू शकत नाही. तुमच्याकडे फक्त तयार उत्पादन असते. त्यानंतर येतात परमिटिव्ह लायसन्स. काही कंपन्या असे कस्टम लायसन्स वापरतात जे ओपन वाटतात पण व्यावसायिक वापरावर निर्बंध घालतात. उदाहरणार्थ, एखादे मॉडेल व्यक्तींसाठी मोफत असू शकते पण जर तुमच्या कंपनीचे ७० कोटींहून अधिक मंथली ॲक्टिव्ह युजर्स असतील तर तुम्हाला पैसे द्यावे लागतील. हे इंटरनेट बनवणाऱ्या पारंपारिक GPL किंवा MIT लायसन्सपेक्षा खूप वेगळे आहे. आपण अशी मार्केटिंग भाषा देखील पाहतो जिथे ‘ओपन’ शब्द अशा API साठी वापरला जातो जो लोकांसाठी उपलब्ध आहे पण पूर्णपणे एका कंपनीच्या नियंत्रणात आहे. हे अजिबात ओपन नाही. हे फक्त एक सार्वजनिक प्रवेशद्वार असलेले उत्पादन आहे. खऱ्या अर्थाने ओपन मॉडेल्स तुम्हाला फाईल्स डाऊनलोड करण्याची आणि इंटरनेट कनेक्शनशिवाय तुमच्या स्वतःच्या हार्डवेअरवर चालवण्याची परवानगी देतात. हा फरक महत्त्वाचा आहे कारण तो ठरवतो की अंतिम नियंत्रण कोणाकडे आहे. जर तुम्ही API वर अवलंबून असाल, तर प्रोव्हायडर कधीही नियम बदलू शकतो किंवा तुमची सेवा बंद करू शकतो. पण जर तुमच्या हार्ड ड्राईव्हवर वेट्स (weights) असतील, तर ती क्षमता तुमची स्वतःची असते.

देश पब्लिक वेट्सवर का बाजी लावत आहेत?

या मॉडेल्सचा जागतिक प्रभाव कमी लेखणे कठीण आहे. अनेक देशांसाठी, त्यांच्या संपूर्ण AI इन्फ्रास्ट्रक्चरसाठी काही मोजक्या अमेरिकन कंपन्यांवर अवलंबून राहणे हे त्यांच्या डिजिटल सार्वभौमत्वासाठी (digital sovereignty) मोठा धोका आहे. युरोप आणि आशियातील सरकारे आता स्वतःची स्थानिक AI व्हर्जन्स तयार करण्यासाठी ओपन मॉडेल्सकडे वळत आहेत. यामुळे मॉडेल्स केवळ सिलिकॉन व्हॅलीच्या मूल्यांऐवजी त्यांच्या सांस्कृतिक मूल्यांचे आणि भाषेतील बारकाव्यांचे प्रतिबिंब दर्शवतात याची त्यांना खात्री करता येते. यामुळे डेटा त्यांच्या सीमांच्या आत राहतो, जे प्रायव्हसी आणि सुरक्षेसाठी महत्त्वाचे आहे. लहान आणि मध्यम उद्योगांनाही याचा फायदा होतो. त्यांचे मुख्य तंत्रज्ञान त्यांच्याकडून हिरावून घेतले जाईल या भीतीशिवाय ते विशेष टूल्स तयार करू शकतात. ओपन मॉडेल्स उदयोन्मुख बाजारपेठांमधील डेव्हलपर्ससाठी प्रवेशाचा अडथळा देखील कमी करतात. लागोस किंवा जकार्तामधील कोणीही सॅन फ्रान्सिस्कोमधील व्यक्तीप्रमाणेच अत्याधुनिक तंत्रज्ञानाचा वापर करू शकतो, जर त्यांच्याकडे ते चालवण्यासाठी हार्डवेअर असेल. हे अशा प्रकारे समान संधी निर्माण करते जे प्रोप्रायटरी API कधीही करू शकत नाहीत. या मॉडेल्सच्या अस्तित्वामुळे दुय्यम टूल्सची एक मोठी इकोसिस्टम तयार होते. डेव्हलपर्स मॉडेल्स वेगाने चालवण्यासाठी किंवा कमी मेमरी वापरण्यासाठी नवीन मार्ग शोधतात. हा सामूहिक आविष्कार कोणत्याही एका कंपनीपेक्षा खूप वेगाने पुढे जातो. यामुळे एक फीडबॅक लूप तयार होतो जिथे ओपन सुधारणा शेवटी आपण वापरत असलेल्या प्रोप्रायटरी मॉडेल्समध्येही समाविष्ट केल्या जातात.

क्लाउडशिवाय एक दिवस

सारा नावाच्या सॉफ्टवेअर डेव्हलपरच्या आयुष्यात हे कसे घडते ते पाहूया. सारा एका मेडिकल स्टार्टअपमध्ये काम करते जे रुग्णांच्या संवेदनशील डेटावर प्रक्रिया करते. तिची कंपनी क्लाउड-आधारित AI वापरू शकत नाही कारण डेटा लीक होण्याचा धोका जास्त आहे आणि नियमांचे अडथळे कठीण आहेत. त्याऐवजी, सारा एका सुरक्षित लोकल सर्व्हरवर चालणारे ओपन वेट मॉडेल वापरते. सकाळी, ती एका गुंतागुंतीच्या कोडचे रिफॅक्टरिंग (refactor) करण्यासाठी मॉडेलची मदत घेते. मॉडेल लोकल असल्यामुळे, तिला तिचा कोड भविष्यातील कमर्शियल AI ला ट्रेन करण्यासाठी वापरला जाईल याची काळजी नसते. नंतर, ती पेशंटच्या नोट्सचा सारांश काढण्यासाठी मॉडेलची फाईन-ट्यून केलेली आवृत्ती वापरते. हे मॉडेल विशेषतः वैद्यकीय शब्दावलीवर ट्रेन केलेले असल्याने, ते सामान्य मॉडेलपेक्षा अधिक अचूक आहे. दुपारच्या जेवणाच्या सुट्टीत, सारा AI इंडस्ट्री ॲनालिसिस वरील ब्लॉग वाचते आणि तिला समजते की ती तिची वर्कफ्लो अजून सुधारू शकते. दुपारी, ती एका नवीन क्वांटायझेशन (quantization) तंत्राचा प्रयोग करते ज्यामुळे ती तिच्या सध्याच्या हार्डवेअरवर मोठे मॉडेल चालवू शकते. हेच ओपन इकोसिस्टमचे सौंदर्य आहे. ती एखाद्या मोठ्या टेक कंपनीने नवीन फीचर रिलीज करण्याची वाट पाहत नाही. कम्युनिटीने तयार केलेली टूल्स वापरून ती स्वतः ते लागू करू शकते. दिवसाच्या अखेरीस, तिने तिच्या समरी टूलची अचूकता १५ टक्क्यांनी सुधारलेली असते. हे चित्र आता अनेक उद्योगांमध्ये सामान्य होत आहे. कायदेशीर संस्थांपासून ते क्रिएटिव्ह एजन्सीपर्यंत, लोकांना असे वाटत आहे की ओपन मॉडेल्सद्वारे मिळणारे नियंत्रण आणि प्रायव्हसी ही त्यांना सेट करण्यासाठी लागणाऱ्या अतिरिक्त मेहनतीपेक्षा जास्त मोलाची आहे. ते त्यांच्या विशिष्ट गरजांनुसार टूल्स बनवत आहेत. हे बदल शिक्षण क्षेत्रातही दिसत आहेत. विद्यापीठे विद्यार्थ्यांना AI आतून कसे काम करते हे शिकवण्यासाठी ओपन मॉडेल्स वापरत आहेत. यामुळे भविष्यासाठी अधिक माहिती असलेला आणि सक्षम वर्कफोर्स तयार होत आहे.

मोफत सॉफ्टवेअरची मोठी किंमत

फायदे स्पष्ट असले तरी, आपल्याला या ओपननेसच्या खऱ्या किमतीबद्दल कठीण प्रश्न विचारावे लागतील. ही मॉडेल्स ट्रेन करण्यासाठी लागणाऱ्या प्रचंड कॉम्प्युट पॉवरसाठी नक्की कोण पैसे देत आहे? जर मेटा सारखी कंपनी मॉडेल ट्रेन करण्यासाठी कोट्यवधी डॉलर्स खर्च करते आणि नंतर ते मोफत देते, तर त्यांचा दीर्घकालीन प्लॅन काय आहे? जे छोटे स्पर्धक आपली उत्पादने मोफत देऊ शकत नाहीत, त्यांना संपवण्याचा हा मार्ग आहे का? आपल्याला सुरक्षेच्या धोक्यांचाही विचार करावा लागेल. जर एखादे मॉडेल खरोखर ओपन असेल, तर त्यातील सुरक्षेचे अडथळे काढले जाऊ शकतात. यामुळे वाईट प्रवृत्ती या तंत्रज्ञानाचा वापर डीपफेक्स तयार करण्यासाठी किंवा घातक कोड जनरेट करण्यासाठी करू शकतात. आपण ओपन इनोव्हेशन आणि सार्वजनिक सुरक्षा यामध्ये संतुलन कसे राखणार?

दुसरी चिंता म्हणजे हार्डवेअरचा छुपा खर्च. ही मॉडेल्स लोकली चालवण्यासाठी शक्तिशाली GPU लागतात जे महाग असतात आणि खूप वीज वापरतात. ओपन मॉडेल्सचे स्वातंत्र्य फक्त त्यांच्यासाठीच आहे का जे महागडे हार्डवेअर परवडू शकतात? आणि डेटाबद्दल काय? जर आपल्याला हे माहित नसेल की ही मॉडेल्स ट्रेन करण्यासाठी कोणता डेटा वापरला गेला, तर ते पक्षपाती नाहीत किंवा कॉपीराईटचे उल्लंघन करत नाहीत याची खात्री आपण कशी देणार? Open Source Initiative हे निकष ठरवण्यासाठी काम करत आहे, पण इंडस्ट्री पॉलिसीपेक्षा वेगाने पुढे जात आहे. कंपन्या ‘ओपन’ शब्दाचा वापर रेग्युलेशन टाळण्यासाठी तर करत नाहीत ना, हेही पाहावे लागेल. हे प्रश्न सोपे नाहीत, पण इंडस्ट्रीचे भविष्य समजून घेण्यासाठी ते आवश्यक आहेत.

लोकल इन्फरन्सच्या आत काय चालते?

ज्यांना हे मॉडेल्स त्यांच्या प्रोफेशनल कामात वापरायचे आहेत, त्यांच्यासाठी तांत्रिक तपशील महत्त्वाचे आहेत. हे मॉडेल्स लोकली चालवण्याचा सर्वात सामान्य मार्ग म्हणजे विशेष फ्रेमवर्क्स. ही टूल्स क्वांटायझेशन वापरून मॉडेल्सचा आकार कमी करतात, ज्यामुळे ते सामान्य GPU च्या VRAM मध्ये बसू शकतात. उदाहरणार्थ, ज्या मॉडेलला सुरुवातीला ४०GB मेमरी लागते, ते गुणवत्तेत फारसा फरक न पडता ८GB पर्यंत कॉम्प्रेस केले जाऊ शकते. हे वेट्सची प्रिसिजन १६-बिट वरून ४-बिट किंवा त्यापेक्षा कमी करून केले जाते. जेव्हा API चा विचार येतो, तेव्हा अनेक ओपन मॉडेल्स Hugging Face किंवा Together AI सारख्या प्रोव्हायडर्सद्वारे उपलब्ध असतात. या सेवा प्रोप्रायटरी प्रोव्हायडर्सपेक्षा जास्त रेट लिमिट्स देतात. मात्र, खरी ताकद लोकल स्टोरेज आणि फाईन-ट्यूनिंगमध्ये आहे. LoRA सारखी तंत्रे वापरून, तुम्ही एका सिंगल GPU वर काही तासांत तुमच्या स्वतःच्या डेटावर मॉडेल ट्रेन करू शकता. यामुळे एक विशेष टूल तयार होते जे विशिष्ट कामांमध्ये मोठ्या मॉडेल्सपेक्षा चांगली कामगिरी करते. तुम्हाला कॉन्टेक्स्ट विंडोचाही विचार करावा लागेल. अनेक ओपन मॉडेल्स आता ३२k किंवा १२८k टोकन्सच्या कॉन्टेक्स्ट विंडोला सपोर्ट करतात, ज्यामुळे तुम्ही एकाच वेळी संपूर्ण कागदपत्रांवर प्रक्रिया करू शकता. स्टँडर्ड API मुळे या मॉडेल्सचे सध्याच्या सॉफ्टवेअरमध्ये इंटिग्रेशन करणे सोपे होत आहे. याचा अर्थ तुम्ही तुमच्या ॲप्लिकेशनमधील कोडची एक ओळ बदलून क्लोज्ड मॉडेलवरून ओपन मॉडेलवर स्विच करू शकता. भविष्यात ही टूल्स सामान्य डेव्हलपरसाठी अधिक सुलभ होतील अशी आम्हाला अपेक्षा आहे.

• Llama.cpp – क्रॉस प्लॅटफॉर्म CPU आणि GPU इन्फरन्ससाठी
• Ollama – सोप्या लोकल मॉडेल मॅनेजमेंटसाठी

निवडीचा अंतिम निकाल

ओपन आणि क्लोज्ड मॉडेल्समधील निवड ही केवळ एका पर्यायाची नाही. बहुतेक लोक दोन्हीचे मिश्रण वापरत राहतील. Meta AI किंवा इतरांकडील क्लोज्ड मॉडेल्स सामान्य कामांसाठी सोय आणि उत्तम परफॉर्मन्स देतात. ओपन मॉडेल्स नियंत्रण, प्रायव्हसी आणि स्पेशलायझेशनची संधी देतात. तुम्ही स्वतः कधीही मॉडेल डाऊनलोड केले नसले तरी, इतर लोक ते करू शकतात ही वस्तुस्थितीच संपूर्ण इंडस्ट्रीला प्रामाणिक ठेवते. हे सुनिश्चित करते की AI हे काही मोजक्या लोकांचे गुपित न राहता सर्वांसाठी एक साधन बनेल. ओपन कम्युनिटीद्वारे चालवलेली स्पर्धा ही आजच्या टेक जगातील सर्वात मोठी सकारात्मक शक्ती आहे. ती पारदर्शकता आणते आणि आतापर्यंत तयार केलेल्या सर्वात शक्तिशाली साधनांचे लोकशाहीकरण करते.

तुम्ही आम्हाला कव्हर करावे असे तुम्हाला वाटणारी AI कथा, साधन, ट्रेंड किंवा प्रश्न आहे का? तुमची लेखाची कल्पना आम्हाला पाठवा — आम्हाला ती ऐकायला आवडेल.

संपादकाची नोंद: आम्ही ही साइट बहुभाषिक AI बातम्या आणि मार्गदर्शिका केंद्र म्हणून अशा लोकांसाठी तयार केली आहे जे संगणक तज्ञ नाहीत, परंतु तरीही कृत्रिम बुद्धिमत्ता समजून घेऊ इच्छितात, अधिक आत्मविश्वासाने तिचा वापर करू इच्छितात आणि आधीच येत असलेल्या भविष्याचा मागोवा घेऊ इच्छितात.

काही चूक आढळली किंवा काही दुरुस्त करायचे आहे का? आम्हाला कळवा.