ஓபன் மாடல்கள்: நீங்கள் டவுன்லோட் செய்யாவிட்டாலும் இவை ஏன் முக்கியம்?

நவீன கம்ப்யூட்டிங்கின் கண்ணுக்குத் தெரியாத பாதுகாப்பு வேலி

ஓபன் மாடல்கள் நவீன உலகின் அமைதியான இன்ஃப்ராஸ்ட்ரக்சர் (infrastructure). நீங்கள் Hugging Face-லிருந்து ஒரு ஃபைலை டவுன்லோட் செய்யாவிட்டாலும் அல்லது லோக்கல் சர்வரை ரன் செய்யாவிட்டாலும், இந்த மாடல்கள்தான் நீங்கள் பயன்படுத்தும் பெய்டு (paid) சர்வீஸ்களின் விலையையும், புதிய ஃபீச்சர்கள் எவ்வளவு வேகமாக வரும் என்பதையும் தீர்மானிக்கின்றன. இவை ஒரு போட்டித்தன்மைக்கான அடிப்படை தளமாகச் செயல்படுகின்றன. இவை இல்லையென்றால், ஒரு சில நிறுவனங்கள் மட்டுமே இந்த நூற்றாண்டின் மிக முக்கியமான தொழில்நுட்பத்தில் முழு ஏகபோக உரிமையைக் கொண்டிருக்கும். ஓபன் மாடல்கள் ஒரு அடிப்படைத் திறனை வழங்குகின்றன, இது பெரிய நிறுவனங்களைத் தொடர்ந்து புதுமைகளைப் படைக்கவும், அவர்களின் விலையை ஓரளவுக்கு நியாயமாக வைத்திருக்கவும் கட்டாயப்படுத்துகிறது. இது ஆர்வலர்களுக்கான பொழுதுபோக்கு அல்லது ஆராய்ச்சியாளர்களுக்கான ஒரு சிறிய தளம் மட்டுமல்ல. இது டெக் துறையில் அதிகாரம் எவ்வாறு பகிரப்படுகிறது என்பதில் ஏற்பட்டுள்ள ஒரு அடிப்படை மாற்றமாகும். Llama போன்ற ஒரு மாடல் ரிலீஸ் ஆகும் போது, அது சாதாரண ஹார்டுவேர்களில் என்ன செய்ய முடியும் என்பதற்கான ஒரு புதிய தரநிலையை உருவாக்குகிறது. இந்த அழுத்தம் நீங்கள் தினமும் பயன்படுத்தும் க்ளோஸ்டு (closed) மாடல்கள் தரமாகவும் மலிவாகவும் இருப்பதை உறுதி செய்கிறது. இந்த ஓபன் தன்மையின் நுணுக்கங்களைப் புரிந்துகொள்வது, இந்தத் துறை எங்கே செல்கிறது என்பதை அறிவதற்கான முதல் படியாகும்.

ஓபன் மார்க்கெட்டிங் மொழியின் மர்மத்தை உடைப்போம்

இந்த விஷயத்தில் ‘ஓபன்’ (open) என்றால் உண்மையில் என்ன என்பதில் நிறைய குழப்பங்கள் உள்ளன. உண்மையான ஓபன் சோர்ஸ் சாஃப்ட்வேர் என்பது எவரும் அதன் கோடை (code) பார்க்கவும், மாற்றவும் மற்றும் விநியோகிக்கவும் அனுமதிப்பதாகும். ஆனால் லார்ஜ் லாங்குவேஜ் மாடல்கள் உலகில், இந்த வரையறை கொஞ்சம் சிக்கலானது. மக்கள் ஓபன் சோர்ஸ் என்று அழைக்கும் பெரும்பாலான மாடல்கள் உண்மையில் ஓபன் வெயிட் (open weight) மாடல்கள் ஆகும். அதாவது, அந்த நிறுவனம் மாடலின் இறுதியான பயிற்சி பெற்ற பாராமீட்டர்களை (parameters) வெளியிட்டுள்ளது, ஆனால் அதைப் பயிற்றுவிக்கப் பயன்படுத்தப்பட்ட பிரம்மாண்டமான டேட்டாசெட்கள் அல்லது அந்தத் தரவைச் சுத்தப்படுத்தப் பயன்படுத்தப்பட்ட ஸ்கிரிப்ட்களை வெளியிடவில்லை. தரவு இல்லாமல், உங்களால் அந்த மாடலை ஆரம்பத்திலிருந்து உருவாக்க முடியாது. உங்களிடம் இருப்பது ஒரு முழுமையான தயாரிப்பு மட்டுமே. அடுத்து பர்மிசிவ் லைசென்ஸ்கள் (permissive licenses) உள்ளன. சில நிறுவனங்கள் ஓபன் போலத் தோன்றும் ஆனால் வணிகப் பயன்பாட்டிற்கு கட்டுப்பாடுகள் அல்லது போட்டியாளர்கள் பயன்படுத்துவதைத் தடுக்கும் விதிகளைக் கொண்ட கஸ்டம் லைசென்ஸ்களைப் பயன்படுத்துகின்றன. உதாரணமாக, ஒரு மாடல் தனிநபர்களுக்கு இலவசமாக இருக்கலாம், ஆனால் உங்கள் நிறுவனம் 700 மில்லியனுக்கும் அதிகமான மாதாந்திர பயனர்களைக் கொண்டிருந்தால் கட்டணம் செலுத்த வேண்டியிருக்கும். இது இன்டர்நெட்டை உருவாக்கிய பாரம்பரியமான GPL அல்லது MIT லைசென்ஸ்களிலிருந்து முற்றிலும் மாறுபட்டது. ஒரு நிறுவனம் முழுமையாகக் கட்டுப்படுத்தும் API-ஐ ‘ஓபன்’ என்று விளம்பரப்படுத்துவதையும் நாம் பார்க்கிறோம். இது உண்மையில் ஓபன் கிடையாது. இது பொது நுழைவாயில் கொண்ட ஒரு தயாரிப்பு மட்டுமே. உண்மையான ஓபன் மாடல்கள், ஃபைல்களை டவுன்லோட் செய்து, இன்டர்நெட் கனெக்ஷன் இல்லாமலேயே உங்கள் சொந்த ஹார்டுவேரில் இயக்க உங்களை அனுமதிக்கின்றன. இந்த வேறுபாடு மிகவும் முக்கியமானது, ஏனென்றால் இறுதி அதிகாரம் யாரிடம் இருக்கிறது என்பதை இதுதான் தீர்மானிக்கிறது. நீங்கள் ஒரு API-ஐ நம்பியிருந்தால், அந்த நிறுவனம் எப்போது வேண்டுமானாலும் விதிகளை மாற்றலாம் அல்லது சேவையை நிறுத்தலாம். ஆனால் வெயிட்ஸ் உங்கள் ஹார்டு டிரைவில் இருந்தால், அந்தத் திறன் உங்களுக்கே சொந்தம்.

நாடுகள் ஏன் பப்ளிக் வெயிட்ஸ் மீது ஆர்வம் காட்டுகின்றன?

இந்த மாடல்களின் உலகளாவிய தாக்கம் மிகப்பெரியது. பல நாடுகளுக்கு, தங்களின் ஒட்டுமொத்த AI இன்ஃப்ராஸ்ட்ரக்சருக்காக ஒரு சில அமெரிக்க நிறுவனங்களை நம்பியிருப்பது தேசிய டிஜிட்டல் இறையாண்மைக்கு (digital sovereignty) பெரும் ஆபத்தாகும். ஐரோப்பா மற்றும் ஆசியாவில் உள்ள அரசாங்கங்கள் தங்களின் சொந்த உள்ளூர் AI பதிப்புகளை உருவாக்க ஓபன் மாடல்களை அதிகளவில் நாடுகின்றன. இது சிலிக்கான் வேலியின் கலாச்சார விழுமியங்களுக்குப் பதிலாக, அந்தந்த நாடுகளின் கலாச்சார மதிப்புகள் மற்றும் மொழி நுணுக்கங்களை மாடல்கள் பிரதிபலிப்பதை உறுதி செய்ய உதவுகிறது. மேலும், இது தரவுகளை நாட்டின் எல்லைக்குள்ளேயே வைத்திருக்க உதவுகிறது, இது பிரைவசி மற்றும் பாதுகாப்பிற்கு மிகவும் முக்கியமானது. சிறு மற்றும் நடுத்தர நிறுவனங்களும் இதனால் பயனடைகின்றன. தங்களின் முக்கிய தொழில்நுட்பம் எப்போது வேண்டுமானாலும் பறிக்கப்படலாம் என்ற பயம் இல்லாமல் அவர்கள் பிரத்யேக டூல்களை உருவாக்க முடியும். ஓபன் மாடல்கள் வளர்ந்து வரும் சந்தைகளில் உள்ள டெவலப்பர்களுக்கான தடையையும் குறைக்கின்றன. லாகோஸ் அல்லது ஜகார்த்தாவில் இருப்பவர் கூட, சான் பிரான்சிஸ்கோவில் இருப்பவர் பயன்படுத்தும் அதே நவீன தொழில்நுட்பத்தை அணுக முடியும். இந்த மாடல்கள் ஒரு பெரிய துணை டூல்களின் எக்கோசிஸ்டத்தையும் உருவாக்குகின்றன. டெவலப்பர்கள் மாடல்களை வேகமாக இயக்க அல்லது குறைந்த மெமரியைப் பயன்படுத்த வழிகளைக் கண்டுபிடிக்கிறார்கள். இந்த கூட்டு கண்டுபிடிப்பு எந்த ஒரு தனி நிறுவனத்தையும் விட வேகமாக நகர்கிறது. இது ஒரு ஃபீட்பேக் லூப்பை உருவாக்குகிறது, அங்கு ஓபன் மாடல்களில் செய்யப்படும் மேம்பாடுகள் இறுதியில் நாம் பயன்படுத்தும் க்ளோஸ்டு மாடல்களிலும் வந்து சேர்கின்றன.

கிளவுட் இல்லாத ஒரு நாள்

சாரா என்ற சாஃப்ட்வேர் டெவலப்பரின் ஒரு சாதாரண நாளில் இது எப்படி வேலை செய்கிறது என்று பார்ப்போம். சாரா ஒரு மெடிக்கல் ஸ்டார்ட்அப்பில் (startup) பணிபுரிகிறார், அங்கு நோயாளிகளின் முக்கியமான தரவுகள் கையாளப்படுகின்றன. தரவு கசிவு ஏற்படும் அபாயம் மற்றும் கடுமையான விதிமுறைகள் காரணமாக அவரது நிறுவனத்தால் கிளவுட் சார்ந்த AI-ஐப் பயன்படுத்த முடியாது. அதற்குப் பதிலாக, சாரா ஒரு பாதுகாப்பான லோக்கல் சர்வரில் இயங்கும் ஓபன் வெயிட் மாடலைப் பயன்படுத்துகிறார். காலையில், ஒரு சிக்கலான கோடை ரீஃபாக்டர் (refactor) செய்ய அவர் அந்த மாடலைப் பயன்படுத்துகிறார். மாடல் லோக்கலாக இருப்பதால், அவரது கோட் எதிர்கால கமர்ஷியல் AI-க்குப் பயிற்சியளிக்கப் பயன்படுத்தப்படும் என்ற கவலை அவருக்கு இல்லை. பின்னர், நோயாளிகளின் குறிப்புகளைச் சுருக்க அந்த மாடலின் ஃபைன்-டியூன் செய்யப்பட்ட பதிப்பைப் பயன்படுத்துகிறார். இந்த மாடல் மருத்துவத் துறையில் சிறப்பாகப் பயிற்றுவிக்கப்பட்டதால், பொதுவான மாடல்களை விடத் துல்லியமாகச் செயல்படுகிறது. மதிய உணவு இடைவேளையின் போது, சாரா AI துறை பகுப்பாய்வு பற்றிய ஒரு பிளாக் போஸ்ட்டைப் படிக்கிறார். தனது வேலையை இன்னும் சிறப்பாகச் செய்ய முடியும் என்பதை அவர் உணர்கிறார். மாலையில், ஒரு புதிய குவாண்டைசேஷன் (quantization) நுட்பத்தைப் பயன்படுத்தி, தனது பழைய ஹார்டுவேரிலேயே ஒரு பெரிய மாடலை இயக்கிப் பார்க்கிறார். இதுதான் ஓபன் எக்கோசிஸ்டத்தின் அழகு. ஒரு பெரிய டெக் நிறுவனம் புதிய ஃபீச்சரை வெளியிடும் வரை அவர் காத்திருக்க வேண்டியதில்லை. சமூகத்தால் உருவாக்கப்பட்ட டூல்களைப் பயன்படுத்தி அவரே அதைச் செய்ய முடியும். நாளின் முடிவில், அவர் தனது டூலின் துல்லியத்தை பதினைந்து சதவீதம் அதிகரித்துள்ளார். இந்தச் சூழல் இப்போது பல துறைகளில் சாதாரணமாகி வருகிறது. சட்ட நிறுவனங்கள் முதல் கிரியேட்டிவ் ஏஜென்சிகள் வரை, ஓபன் மாடல்கள் வழங்கும் கட்டுப்பாடும் பிரைவசியும் கூடுதல் முயற்சிக்குத் தகுதியானவை என்று மக்கள் கருதுகின்றனர்.

இலவச சாஃப்ட்வேரின் அதிக விலை

நன்மைகள் தெளிவாக இருந்தாலும், இந்த ஓபன் தன்மையின் உண்மையான விலை என்ன என்ற கடினமான கேள்விகளை நாம் கேட்க வேண்டும். இந்த மாடல்களைப் பயிற்றுவிக்கத் தேவையான பிரம்மாண்டமான கம்ப்யூட்டிங் பவருக்கு உண்மையில் யார் பணம் செலுத்துகிறார்கள்? Meta போன்ற ஒரு நிறுவனம் கோடிக்கணக்கான டாலர்களைச் செலவழித்து ஒரு மாடலைப் பயிற்றுவித்துவிட்டு, அதன் வெயிட்ஸை இலவசமாகக் கொடுக்கிறது என்றால், அவர்களின் நீண்ட கால திட்டம் என்ன? இது தங்களின் தயாரிப்புகளை இலவசமாகக் கொடுக்க முடியாத சிறிய போட்டியாளர்களை அழிப்பதற்கான வழியா? பாதுகாப்பு அபாயங்களையும் நாம் கருத்தில் கொள்ள வேண்டும். ஒரு மாடல் உண்மையாகவே ஓபன் ஆக இருந்தால், அதன் பாதுகாப்பு வேலிகளை அகற்ற முடியும். இது தவறான நபர்கள் டீப்ஃபேக்ஸ் (deepfakes) உருவாக்குவது அல்லது தீங்கிழைக்கும் கோடுகளை உருவாக்குவது போன்ற செயல்களுக்கு இந்தத் தொழில்நுட்பத்தைப் பயன்படுத்த வழிவகுக்கும். ஓபன் கண்டுபிடிப்புகளின் தேவையையும் பொதுப் பாதுகாப்பையும் நாம் எப்படிச் சமநிலைப்படுத்துவது?

ஹார்டுவேரின் மறைமுகச் செலவும் மற்றொரு கவலை. இந்த மாடல்களை லோக்கலாக இயக்க சக்திவாய்ந்த GPU-க்கள் தேவை, அவை விலை உயர்ந்தவை மற்றும் அதிக மின்சாரத்தைப் பயன்படுத்துகின்றன. ஓபன் மாடல்களின் சுதந்திரம் ஹார்டுவேர் வாங்க வசதியுள்ளவர்களுக்கு மட்டும்தானா? மேலும் தரவு பற்றி என்ன? இந்த மாடல்களைப் பயிற்றுவிக்க என்ன தரவு பயன்படுத்தப்பட்டது என்று தெரியவில்லை என்றால், அவை ஒரு சார்புடையவை அல்ல அல்லது காப்புரிமைகளை மீறவில்லை என்று நாம் எப்படி உறுதியாகச் சொல்ல முடியும்? ஓபன் சோர்ஸ் இனிஷியேட்டிவ் இந்தத் தரநிலைகளை வரையறுக்கப் போராடி வருகிறது, ஆனால் தொழில்நுட்பம் கொள்கைகளை விட வேகமாக வளர்கிறது. ஒழுங்குமுறைகளைத் தவிர்க்க ‘ஓபன்’ என்ற சொல் ஒரு கேடயமாகப் பயன்படுத்தப்படுகிறதா என்றும் நாம் கேட்க வேண்டும். இந்த கேள்விகளுக்குப் பதிலளிப்பது எளிதல்ல, ஆனால் இந்தத் துறையின் எதிர்காலத்தைப் புரிந்துகொள்ள இவை அவசியம்.

லோக்கல் இன்ஃபெரன்ஸின் நுட்பங்கள்

இந்த மாடல்களைத் தங்கள் தொழில்முறை வேலைகளில் இணைக்க விரும்புவோருக்கு, தொழில்நுட்ப விவரங்கள் முக்கியம். இந்த மாடல்களை லோக்கலாக இயக்க மிகவும் பொதுவான வழி ஸ்பெஷலைஸ்டு ஃபிரேம்வொர்க்குகள் (frameworks) ஆகும். இந்த டூல்கள் குவாண்டைசேஷன் மூலம் மாடல்களின் அளவைக் குறைத்து, சாதாரண GPU-க்களின் VRAM-ல் பொருந்தச் செய்கின்றன. உதாரணமாக, 40GB மெமரி தேவைப்படும் ஒரு மாடலை, தரத்தில் பெரிய மாற்றமின்றி 8GB ஆகச் சுருக்க முடியும். வெயிட்ஸின் துல்லியத்தை 16 பிட்டிலிருந்து 4 பிட்டாக மாற்றுவதன் மூலம் இது செய்யப்படுகிறது. API-களைப் பொறுத்தவரை, பல ஓபன் மாடல்கள் Hugging Face அல்லது Together AI போன்ற தளங்கள் மூலம் கிடைக்கின்றன. இவை க்ளோஸ்டு மாடல்களை விட அதிக பயன்பாட்டு வரம்புகளை வழங்குகின்றன. இருப்பினும், உண்மையான பலன் லோக்கல் ஸ்டோரேஜ் மற்றும் ஃபைன்-டியூனிங்கில் தான் உள்ளது. LoRA போன்ற நுட்பங்களைப் பயன்படுத்தி, ஒரு சில மணிநேரங்களில் உங்கள் சொந்த தரவைக் கொண்டு ஒரு மாடலைப் பயிற்றுவிக்க முடியும். இது குறிப்பிட்ட பணிகளில் பெரிய மாடல்களை விடச் சிறப்பாகச் செயல்படும் ஒரு கருவியை உருவாக்குகிறது. கான்டெக்ஸ்ட் விண்டோவையும் (context window) நீங்கள் கவனிக்க வேண்டும். பல ஓபன் மாடல்கள் இப்போது 32k அல்லது 128k டோக்கன்களை ஆதரிக்கின்றன, இது முழு ஆவணங்களையும் ஒரே நேரத்தில் கையாள உங்களை அனுமதிக்கிறது. தரப்படுத்தப்பட்ட API-களுக்கு நன்றி, இந்த மாடல்களை ஏற்கனவே உள்ள சாஃப்ட்வேர்களில் இணைப்பது எளிதாகி வருகிறது. அதாவது, உங்கள் அப்ளிகேஷனில் ஒரு வரி கோடை மாற்றுவதன் மூலம் நீங்கள் ஒரு க்ளோஸ்டு மாடலிலிருந்து ஓபன் மாடலுக்கு மாற முடியும்.

• கிராஸ் பிளாட்ஃபார்ம் CPU மற்றும் GPU இன்ஃபெரன்ஸிற்கான Llama.cpp
• எளிமையான லோக்கல் மாடல் மேனேஜ்மென்ட்டிற்கான Ollama

தேர்வு குறித்த இறுதித் தீர்ப்பு

ஓபன் மற்றும் க்ளோஸ்டு மாடல்களுக்கு இடையிலான தேர்வு என்பது ஒன்று அல்லது இன்னொன்று என்ற நிலையில் இல்லை. பெரும்பாலான மக்கள் இரண்டையும் கலந்துதான் பயன்படுத்துவார்கள். Meta AI போன்ற நிறுவனங்களின் க்ளோஸ்டு மாடல்கள் வசதி மற்றும் சிறந்த செயல்திறனை வழங்குகின்றன. ஓபன் மாடல்கள் கட்டுப்பாடு, பிரைவசி மற்றும் தனிப்பயனாக்கும் திறனை வழங்குகின்றன. நீங்கள் ஒரு மாடலை ஒருபோதும் டவுன்லோட் செய்யாவிட்டாலும், மற்றவர்களால் அதைச் செய்ய முடியும் என்பதுதான் ஒட்டுமொத்தத் துறையையும் நேர்மையாக வைத்திருக்கிறது. இது AI என்பது ஒரு சிலரின் ரகசியமாக இல்லாமல், அனைவருக்கும் பயன்படும் ஒரு கருவியாக இருப்பதை உறுதி செய்கிறது. ஓபன் கம்யூனிட்டியால் இயக்கப்படும் இந்தப் போட்டிதான் இன்று டெக் உலகில் நன்மையை உருவாக்கும் மிகப்பெரிய சக்தியாகும்.

நாங்கள் கவர் செய்ய வேண்டும் என்று நீங்கள் நினைக்கும் AI கதை, கருவி, போக்கு அல்லது கேள்வி உங்களிடம் உள்ளதா? உங்கள் கட்டுரை யோசனையை எங்களுக்கு அனுப்பவும் — அதைக் கேட்க நாங்கள் விரும்புகிறோம்.

ஆசிரியரின் குறிப்பு: கணினித் துறையில் நிபுணர்கள் அல்லாதவர்கள், ஆனால் செயற்கை நுண்ணறிவைப் புரிந்துகொள்ளவும், அதை அதிக நம்பிக்கையுடன் பயன்படுத்தவும், ஏற்கனவே வந்துகொண்டிருக்கும் எதிர்காலத்தைப் பின்தொடரவும் விரும்பும் மக்களுக்காக, பலமொழி AI செய்திகள் மற்றும் வழிகாட்டல் மையமாக இந்த தளத்தை நாங்கள் உருவாக்கினோம்.

ஒரு பிழையைக் கண்டறிந்தீர்களா அல்லது திருத்தப்பட வேண்டிய ஒன்று இருக்கிறதா? எங்களுக்குத் தெரியப்படுத்துங்கள்.