திறந்தநிலை மாடல்கள் மிகப்பெரிய லேப்களை உண்மையிலேயே சவால் செய்ய முடியுமா?

அறிவாற்றலின் பெரும் பரவலாக்கம்

மூடிய தனியுரிம அமைப்புகளுக்கும் பொது மாடல்களுக்கும் இடையிலான இடைவெளி, பெரும்பாலான ஆய்வாளர்கள் கணித்ததை விட வேகமாக குறைந்து வருகிறது. ஒரு வருடத்திற்கு முன்பு, பில்லியன் கணக்கான நிதியுதவி கொண்ட மிகப்பெரிய லேப்கள் மட்டுமே திறனில் நிரந்தர முன்னிலையைத் தக்கவைக்கும் என்ற கருத்து நிலவியது. இன்று, அந்த முன்னிலை வருடங்களில் அல்ல, மாதங்களில் அளவிடப்படுகிறது. ஓப்பன் வெயிட்ஸ் (Open weights) மாடல்கள் இப்போது கோடிங், பகுத்தறிவு மற்றும் ஆக்கப்பூர்வமான எழுத்து ஆகியவற்றில் மிகவும் மேம்பட்ட மூடிய அமைப்புகளுக்கு இணையாகச் செயல்படுகின்றன. இந்த மாற்றம் வெறும் தொழில்நுட்ப ஆர்வம் மட்டுமல்ல. இது கணக்கீட்டின் எதிர்காலத்தை யார் கட்டுப்படுத்துகிறார்கள் என்பதில் ஒரு அடிப்படை மாற்றத்தை பிரதிபலிக்கிறது. ஒரு டெவலப்பர் தனது சொந்த ஹார்டுவேரில் உயர் செயல்திறன் கொண்ட மாடலை இயக்க முடியும் போது, அதிகார சமநிலை மையப்படுத்தப்பட்ட வழங்குநர்களிடமிருந்து மாறுகிறது. இந்த போக்கு, பிளாக் பாக்ஸ் மாடல் சகாப்தம் ஒரு விநியோகிக்கப்பட்ட உலகளாவிய சமூகத்திடமிருந்து தனது முதல் உண்மையான சவாலை எதிர்கொள்கிறது என்பதை உணர்த்துகிறது.

இந்த அணுகக்கூடிய அமைப்புகளின் எழுச்சி, இந்தத் துறையில் ஒரு தலைவராக இருப்பதன் அர்த்தத்தை மறுமதிப்பீடு செய்ய கட்டாயப்படுத்தியுள்ளது. விளைவாக வரும் மாடல் விலை உயர்ந்த மற்றும் கட்டுப்பாடான இடைமுகத்திற்குப் பின்னால் பூட்டப்பட்டிருந்தால், மிகப்பெரிய சிப் கிளஸ்டர்களை வைத்திருப்பது மட்டும் போதாது. டெவலப்பர்கள் தங்கள் நேரம் மற்றும் கம்ப்யூட் மூலம் வாக்களிக்கின்றனர். அவர்கள் அனுமதி கேட்காமல் ஆய்வு செய்ய, மாற்றியமைக்க மற்றும் பயன்படுத்தக்கூடிய மாடல்களைத் தேர்ந்தெடுக்கின்றனர். இந்த இயக்கம் வேகம் பெற்று வருகிறது, ஏனெனில் இது மூடிய மாடல்கள் பெரும்பாலும் புறக்கணிக்கும் தனியுரிமை மற்றும் தனிப்பயனாக்கத்தின் முக்கிய தேவைகளை நிவர்த்தி செய்கிறது. இதன் விளைவாக, வெறும் அளவிலிருந்து செயல்திறன் மற்றும் அணுகல்தன்மைக்கு கவனம் மாறியுள்ள மிகவும் போட்டித்தன்மை வாய்ந்த சூழல் உருவாகியுள்ளது. மிகவும் திறமையான கருவிகள் மிகவும் கிடைக்கக்கூடியவையாகவும் இருக்கும் ஒரு புதிய சகாப்தத்தின் தொடக்கம் இது.

வளர்ச்சியின் மூன்று பழங்குடியினர்

இந்த தொழில்நுட்பம் எங்கே செல்கிறது என்பதைப் புரிந்துகொள்ள, அதை உருவாக்கும் மூன்று தனித்துவமான நிறுவனங்களைப் பார்க்க வேண்டும். முதலாவதாக, எல்லைப்புற லேப்கள் (Frontier labs) உள்ளன. இவை OpenAI மற்றும் Google போன்ற ஜாம்பவான்கள். பொது அறிவாற்றலின் மிக உயர்ந்த நிலையை அடைவதே அவர்களின் இலக்கு. அவர்கள் மற்ற அனைத்தையும் விட அளவையும் மூல சக்தியையும் முன்னிலைப்படுத்துகிறார்கள். அவர்களுக்கு, வெளிப்படைத்தன்மை என்பது பெரும்பாலும் பாதுகாப்பிற்கு ஒரு ஆபத்தாக அல்லது போட்டி நன்மையை இழப்பதாகக் கருதப்படுகிறது. அவர்கள் மிகப்பெரிய, மூடிய சுற்றுச்சூழல் அமைப்புகளை உருவாக்குகிறார்கள், அவை உயர் செயல்திறனை வழங்குகின்றன, ஆனால் அவர்களின் கிளவுட் உள்கட்டமைப்பை முழுமையாகச் சார்ந்திருக்கக் கோருகின்றன. அவர்களின் மாடல்கள் செயல்திறனுக்கான தங்கத் தரநிலையாகும், ஆனால் அவை பயன்பாட்டுக் கொள்கைகள் மற்றும் தொடர்ச்சியான செலவுகள் வடிவில் நிபந்தனைகளுடன் வருகின்றன.

இரண்டாவதாக, கல்விசார் லேப்கள் உள்ளன. Stanford Institute for Human-Centered AI போன்ற நிறுவனங்கள் வெளிப்படைத்தன்மை மற்றும் மறுஉருவாக்கம் ஆகியவற்றில் கவனம் செலுத்துகின்றன. ஒரு தயாரிப்பை விற்பது அவர்களின் இலக்கல்ல, மாறாக இந்த அமைப்புகள் எவ்வாறு செயல்படுகின்றன என்பதைப் புரிந்துகொள்வதே ஆகும். அவர்கள் தங்கள் கண்டுபிடிப்புகள், தரவுத் தொகுப்புகள் மற்றும் பயிற்சி முறைகளை வெளியிடுகிறார்கள். அவர்களின் மாடல்கள் எப்போதும் எல்லைப்புற லேப்களின் மூல சக்தியுடன் பொருந்தாமல் இருக்கலாம், ஆனால் அவை மற்ற தொழில்துறைக்கு அடித்தளத்தை வழங்குகின்றன. வணிக லேப்கள் தவிர்க்கக்கூடிய கேள்விகளை அவர்கள் கேட்கிறார்கள், உதாரணமாக சார்பு எவ்வாறு உருவாகிறது அல்லது பயிற்சியை எவ்வாறு அதிக ஆற்றல் திறன் கொண்டதாக மாற்றுவது என்பது போன்றவை. அவர்களின் பணி, இந்தத் துறையின் அறிவியல் ஒரு கார்ப்பரேட் ரகசியமாக இல்லாமல் பொது நன்மையாக இருப்பதை உறுதி செய்கிறது.

இறுதியாக, தயாரிப்பு லேப்கள் மற்றும் கார்ப்பரேட் ஓப்பன் வெயிட் ஆதரவாளர்கள் உள்ளனர். Meta மற்றும் Mistral இந்த வகையைச் சேர்ந்தவை. அவர்கள் ஒரு சுற்றுச்சூழல் அமைப்பை உருவாக்க மாடல்களை பொதுமக்களுக்கு வெளியிடுகிறார்கள். தங்கள் வெயிட்டுகளைக் கிடைக்கச் செய்வதன் மூலம், ஆயிரக்கணக்கான டெவலப்பர்களை தங்கள் குறியீட்டை மேம்படுத்தவும் இணக்கமான கருவிகளை உருவாக்கவும் ஊக்குவிக்கிறார்கள். மூடிய தளங்களின் ஆதிக்கத்தை எதிர்கொள்ள இது ஒரு மூலோபாய நடவடிக்கையாகும். அனைவரும் உங்கள் கட்டமைப்பில் உருவாக்கினால், நீங்கள் தொழில்துறை தரநிலையாகிவிடுவீர்கள். இந்த அணுகுமுறை தூய ஆராய்ச்சிக்கும் வணிக தயாரிப்புகளுக்கும் இடையிலான இடைவெளியைக் குறைக்கிறது. இது கல்விசார் லேப்களால் அடைய முடியாத ஒரு அளவிலான வரிசைப்படுத்தலை அனுமதிக்கிறது, அதே நேரத்தில் எல்லைப்புற லேப்கள் அனுமதிக்காத ஒரு சுதந்திரத்தை பராமரிக்கிறது.

நவீன மென்பொருளில் வெளிப்படைத்தன்மையின் மாயை

இந்தத் துறையில் ஓப்பன் சோர்ஸ் என்ற சொல் பெரும்பாலும் தளர்வாகப் பயன்படுத்தப்படுகிறது, இது குறிப்பிடத்தக்க குழப்பத்திற்கு வழிவகுக்கிறது. ஓப்பன் சோர்ஸ் இனிஷியேட்டிவ் வரையறுத்தபடி, உண்மையான ஓப்பன் சோர்ஸ் மென்பொருளுக்கு சோர்ஸ் கோட், பில்ட் அறிவுறுத்தல்கள் மற்றும் தரவு ஆகியவை சுதந்திரமாகக் கிடைக்க வேண்டும். பெரும்பாலான நவீன மாடல்கள் இந்த அளவுகோல்களைப் பூர்த்தி செய்வதில்லை. அதற்கு பதிலாக, ஓப்பன் வெயிட்ஸ் மாடல்களின் எழுச்சியைக் காண்கிறோம். இந்த அமைப்பில், நிறுவனம் பயிற்சி செயல்முறையின் இறுதி முடிவை வழங்குகிறது, ஆனால் பயிற்சி தரவு மற்றும் செய்முறையை ரகசியமாக வைத்திருக்கிறது. இது ஒரு முக்கியமான வேறுபாடு. நீங்கள் மாடலை இயக்கி அது எவ்வாறு செயல்படுகிறது என்பதைப் பார்க்கலாம், ஆனால் அதை புதிதாக உருவாக்க முடியாது அல்லது அதன் உருவாக்கத்தின் போது அதற்கு என்ன தகவல் வழங்கப்பட்டது என்பதைத் துல்லியமாக அறிய முடியாது.

மார்க்கெட்டிங் மொழி பெரும்பாலும் பெர்மிசிவ் அல்லது கம்யூனிட்டி லைசென்ஸ்கள் போன்ற சொற்களைப் பயன்படுத்துவதன் மூலம் இதை மேலும் சிக்கலாக்குகிறது. இந்த உரிமங்கள் பெரும்பாலும் மாடலை மிக பெரிய நிறுவனங்கள் அல்லது குறிப்பிட்ட பணிகளுக்கு எவ்வாறு பயன்படுத்தலாம் என்பதை கட்டுப்படுத்தும் விதிகளைக் கொண்டுள்ளன. இந்த மாடல்கள் மூடிய API-ஐ விட அணுகக்கூடியவை என்றாலும், அவை எப்போதும் பாரம்பரிய அர்த்தத்தில் இலவசமானவை அல்ல. இது வெளிப்படைத்தன்மையின் ஒரு ஸ்பெக்ட்ரத்தை உருவாக்குகிறது. ஒரு முனையில், GPT-4 போன்ற முழுமையாக மூடிய மாடல்கள் உள்ளன. இடையில், Llama 3 போன்ற ஓப்பன் வெயிட்ஸ் மாடல்கள் உள்ளன. மறுமுனையில், தரவு உட்பட அனைத்தையும் வெளியிடும் திட்டங்கள் உள்ளன. ஒரு மாடல் இந்த ஸ்பெக்ட்ரத்தில் எங்கே அமர்ந்திருக்கிறது என்பதைப் புரிந்துகொள்வது, நீண்ட காலத்திற்குத் திட்டமிடும் எந்தவொரு நிறுவனத்திற்கும் அல்லது டெவலப்பருக்கும் இன்றியமையாதது.

இந்த அரை-திறந்த அணுகுமுறையின் நன்மைகள் இன்னும் மிகப்பெரியவை. இது உள்ளூர் ஹோஸ்டிங்கை அனுமதிக்கிறது, இது கடுமையான தரவு இறையாண்மை விதிகளைக் கொண்ட பல தொழில்களுக்குத் தேவையாகும். இது ஃபைன் டியூனிங்கையும் (fine tuning) செயல்படுத்துகிறது, அங்கு ஒரு மாடல் ஒரு குறிப்பிட்ட துறையில் நிபுணராக மாற சிறிய அளவிலான குறிப்பிட்ட தரவுகளில் பயிற்சியளிக்கப்படுகிறது. இந்த அளவிலான கட்டுப்பாடு மூடிய API-ல் சாத்தியமில்லை. இருப்பினும், எது உண்மையாகவே திறந்திருக்கிறது என்பதைப் பற்றி நாம் துல்லியமாக இருக்க வேண்டும். ஒரு நிறுவனம் உங்கள் உரிமத்தை ரத்து செய்ய முடிந்தால் அல்லது பயிற்சி தரவு மர்மமாக இருந்தால், நீங்கள் இன்னும் வேறொருவரால் வடிவமைக்கப்பட்ட அமைப்பிற்குள் செயல்படுகிறீர்கள். தற்போதைய போக்கு அதிக வெளிப்படைத்தன்மையை நோக்கி உள்ளது, ஆனால் மிகவும் சக்திவாய்ந்த மாடல்கள் உண்மையான ஓப்பன் சோர்ஸாக இருக்கும் நிலையை நாம் இன்னும் அடையவில்லை.

கிளவுட் ஜாம்பவான்களின் சகாப்தத்தில் உள்ளூர் கட்டுப்பாடு

உயர் பாதுகாப்பு சூழலில் பணிபுரியும் ஒரு டெவலப்பருக்கு, ஓப்பன் வெயிட்ஸை நோக்கிய மாற்றம் ஒரு நடைமுறைத் தேவையாகும். நடுத்தர அளவிலான நிதி நிறுவனத்தில் பணிபுரியும் ஒரு முன்னணி பொறியாளரை கற்பனை செய்து பாருங்கள். கடந்த காலத்தில், பெரிய லாங்குவேஜ் மாடலின் நன்மைகளைப் பெற அவர்கள் முக்கியமான வாடிக்கையாளர் தரவை மூன்றாம் தரப்பு சர்வருக்கு அனுப்ப வேண்டியிருந்தது. இது ஒரு பெரிய தனியுரிமை அபாயத்தையும் வெளிப்புற வழங்குநரின் இயக்க நேரத்தைச் சார்ந்திருப்பதையும் உருவாக்கியது. இன்று, அந்த பொறியாளர் ஒரு உயர் செயல்திறன் கொண்ட மாடலைத் தரவிறக்கம் செய்து அதை உள் சர்வரில் இயக்க முடியும். தரவு ஓட்டத்தின் மீது அவர்களுக்கு முழு கட்டுப்பாடு உள்ளது. நிறுவனத்தின் குறிப்பிட்ட ஜார்கன் மற்றும் இணக்க விதிகளைப் புரிந்துகொள்ள அவர்கள் மாடலை மாற்றியமைக்கலாம். இது வெறும் வசதி மட்டுமல்ல. நிறுவனம் தனது மிக மதிப்புமிக்க சொத்தான தரவை எவ்வாறு நிர்வகிக்கிறது என்பதில் இது ஒரு அடிப்படை மாற்றமாகும்.

இந்த பொறியாளரின் வாழ்க்கையில் ஒரு நாள் கணிசமாக மாறியுள்ளது. API கீகளை நிர்வகிப்பதற்கும் ரேட் லிமிட்களைப் பற்றி கவலைப்படுவதற்கும் பதிலாக, அவர்கள் தங்கள் நேரத்தை உள்ளூர் இன்ஃபரன்ஸை (inference) மேம்படுத்துவதில் செலவிடுகிறார்கள். அவர்கள் Hugging Face போன்ற கருவியைப் பயன்படுத்தி, தங்கள் ஹார்டுவேரில் பொருந்துமாறு சுருக்கப்பட்ட மாடலின் பதிப்பைக் கண்டறியலாம். ஒவ்வொரு டோக்கன் உருவாக்கத்தின் செலவைப் பற்றி கவலைப்படாமல் அவர்கள் அதிகாலை 3 மணிக்கு சோதனைகளை இயக்கலாம். மாடல் தவறு செய்தால், அவர்கள் வெயிட்டுகளைப் பார்த்து ஏன் என்று புரிந்துகொள்ள முயற்சி செய்யலாம், அல்லது அதைச் சரிசெய்ய ஃபைன் டியூனிங்கைப் பயன்படுத்தலாம். இந்த அளவிலான சுயாட்சி இரண்டு ஆண்டுகளுக்கு முன்பு பெரும்பாலான வணிகங்களுக்கு நினைத்துப் பார்க்க முடியாததாக இருந்தது. இது வேகமான மறு செய்கை சுழற்சி மற்றும் மிகவும் வலுவான இறுதி தயாரிப்பை அனுமதிக்கிறது.

இந்த சுதந்திரம் தனிப்பட்ட பயனருக்கும் நீட்டிக்கப்படுகிறது. ஒரு எழுத்தாளர் அல்லது ஆராய்ச்சியாளர் சிலிக்கான் வேலியில் உள்ள ஒரு குழுவால் வடிவமைக்கப்பட்ட ஃபில்டர் இல்லாத மாடலைத் தனது லேப்டாப்பில் இயக்கலாம். அவர்கள் யோசனைகளை ஆராயலாம் மற்றும் எது பொருத்தமானது என்பதை ஒரு இடைத்தரகர் தீர்மானிக்காமல் உள்ளடக்கத்தை உருவாக்கலாம். இது ஒரு கருவியை வாடகைக்கு எடுப்பதற்கும் சொந்தமாக்குவதற்கும் உள்ள வித்தியாசம். கிளவுட் ஜாம்பவான்கள் மெருகூட்டப்பட்ட, பயன்படுத்த எளிதான அனுபவத்தை வழங்கினாலும், திறந்த சுற்றுச்சூழல் அமைப்பு மிகவும் மதிப்புமிக்க ஒன்றை வழங்குகிறது: ஏஜென்சி. ஹார்டுவேர் மிகவும் சக்திவாய்ந்ததாகவும் மாடல்கள் மிகவும் திறமையானதாகவும் மாறும்போது, இந்த அமைப்புகளை உள்ளூரில் இயக்கும் மக்களின் எண்ணிக்கை மட்டுமே அதிகரிக்கும். இந்த பரவலாக்கப்பட்ட அணுகுமுறை, இந்த தொழில்நுட்பத்தின் நன்மைகள் விலையுயர்ந்த மாதாந்திர சந்தாக்களை வாங்கக்கூடியவர்களுக்கு மட்டுமே கட்டுப்படுத்தப்படவில்லை என்பதை உறுதி செய்கிறது.

இந்த மாற்றம் ஏற்கனவே ஒவ்வொரு தொழில்துறையிலும் மென்பொருள் உருவாக்கப்படும் மற்றும் வரிசைப்படுத்தப்படும் விதத்தை மாற்றிக்கொண்டிருக்கிறது.

நிறுவனங்களும் ஓப்பன் மாடல்கள் பிளாட்ஃபார்ம் அபாயத்திற்கு எதிரான ஒரு பாதுகாப்பு என்று கண்டறிந்து வருகின்றன. ஒரு மூடிய வழங்குநர் தங்கள் விலை அல்லது சேவை விதிமுறைகளை மாற்றினால், அந்த API-ல் கட்டமைக்கப்பட்ட நிறுவனம் சிக்கலில் உள்ளது. ஓப்பன் வெயிட்ஸைப் பயன்படுத்துவதன் மூலம், ஒரு நிறுவனம் ஹார்டுவேர் வழங்குநர்களை மாற்றலாம் அல்லது தங்கள் முக்கிய அறிவை இழக்காமல் தங்கள் முழு ஸ்டாக்கையும் வேறொரு கிளவுட்டிற்கு நகர்த்தலாம். இந்த நெகிழ்வுத்தன்மை இன்று நாம் காணும் பல தத்தெடுப்புகளை இயக்குகிறது. இது எந்த மாடல் பெஞ்ச்மார்க்கில் சற்று சிறந்தது என்பது பற்றியது அல்ல. எந்த மாடல் வணிகத்திற்கு நீண்ட கால நிலைத்தன்மையை அளிக்கிறது என்பது பற்றியது. ஓப்பன் சோர்ஸ் AI சுற்றுச்சூழல் அமைப்பில் சமீபத்திய முன்னேற்றங்கள் இதை அனைத்து அளவிலான நிறுவனங்களுக்கும் ஒரு சாத்தியமான உத்தியாக மாற்றியுள்ளன.

இலவச மாடல்களின் அதிக விலை

உற்சாகம் இருந்தபோதிலும், வெளிப்படைத்தன்மையின் மறைக்கப்பட்ட செலவுகள் குறித்து நாம் கடினமான கேள்விகளைக் கேட்க வேண்டும். ஒரு பெரிய மாடலை உள்ளூரில் இயக்குவது இலவசமல்ல. இதற்கு ஹார்டுவேரில், குறிப்பாக அதிக மெமரி கொண்ட உயர்நிலை GPU-களில் குறிப்பிடத்தக்க முதலீடு தேவைப்படுகிறது. பல சிறு வணிகங்களுக்கு, இந்த ஹார்டுவேரை வாங்குவதற்கும் பராமரிப்பதற்கும் ஆகும் செலவு பல ஆண்டுகளாக API சந்தா செலவை விட அதிகமாக இருக்கலாம். மின்சார செலவு மற்றும் வரிசைப்படுத்தலை நிர்வகிக்க சிறப்புத் திறமைக்கான தேவையும் உள்ளது. மென்பொருள் சந்தாவை ஹார்டுவேர் மற்றும் எரிசக்தி கட்டணத்திற்கு மாற்றுகிறோமா? உள்ளூர் AI-ன் பொருளாதார யதார்த்தம் தலைப்புச் செய்திகள் பரிந்துரைப்பதை விட சிக்கலானது.

நாங்கள் கவர் செய்ய வேண்டும் என்று நீங்கள் நினைக்கும் AI கதை, கருவி, போக்கு அல்லது கேள்வி உங்களிடம் உள்ளதா? உங்கள் கட்டுரை யோசனையை எங்களுக்கு அனுப்பவும் — அதைக் கேட்க நாங்கள் விரும்புகிறோம்.

தனியுரிமை என்பது சந்தேகத்திற்கு இடமளிக்க வேண்டிய மற்றொரு பகுதியாகும். மாடலை உள்ளூரில் இயக்குவது தரவு பாதுகாப்பிற்கு சிறந்தது என்றாலும், மாடல்கள் பெரும்பாலும் இணையத்திலிருந்து அனுமதியின்றி ஸ்கிராப் செய்யப்பட்ட தரவுகளில் பயிற்சியளிக்கப்படுகின்றன. ஓப்பன் மாடலைப் பயன்படுத்துவது இந்த நடைமுறையில் உங்களை உடந்தையாக்குகிறதா? மேலும், ஒரு மாடல் திறந்திருந்தால், அது மோசமான நடிகர்களுக்கும் திறந்திருக்கும். ஒரு மருத்துவர் மருத்துவக் குறிப்புகளைச் சுருக்க அனுமதிக்கும் அதே கருவிகள், ஒரு ஹேக்கரால் ஃபிஷிங் தாக்குதல்களை தானியக்கமாக்கப் பயன்படுத்தப்படலாம். ஜனநாயகமயமாக்கலின் நன்மைகளை தவறாகப் பயன்படுத்துவதற்கான அபாயங்களுடன் எவ்வாறு சமநிலைப்படுத்துவது? தங்கள் வெயிட்டுகளை வெளியிடும் லேப்கள், சமூகம் தேவையான பாதுகாப்பு சோதனைகளை வழங்கும் என்று அடிக்கடி கூறுகின்றன, ஆனால் இதைச் சரிபார்ப்பது கடினமான கோரிக்கையாகும். மையப்படுத்தப்பட்ட மேற்பார்வை இல்லாமை ஒரு அம்சமா அல்லது குறைபாடா என்பதை நாம் கருத்தில் கொள்ள வேண்டும்.

இறுதியாக, ஓப்பன் மாடலின் நிலைத்தன்மையை நாம் பார்க்க வேண்டும். இந்த அமைப்புகளுக்குப் பயிற்சி அளிக்க மில்லியன் கணக்கான டாலர்கள் செலவாகும். Meta அல்லது Mistral போன்ற நிறுவனங்கள் தங்கள் வெயிட்டுகளை வெளியிடுவது இனி தங்கள் நலனுக்காக இல்லை என்று முடிவு செய்தால், ஓப்பன் சமூகத்தின் முன்னேற்றம் தடைபடலாம். சந்தைப் பங்கைப் பெற வெளிப்படைத்தன்மையை ஆதரிக்கும் ஒரு கார்ப்பரேட் உத்தியிலிருந்து நாம் தற்போது பயனடைகிறோம். அந்த உத்தி மாறினால், சமூகம் மீண்டும் எல்லைப்புற லேப்களை விட பல ஆண்டுகள் பின்தங்கியிருக்கலாம். பல பில்லியன் டாலர் கார்ப்பரேஷனின் ஆதரவு இல்லாமல் உண்மையான சுதந்திரமான, உயர் செயல்திறன் கொண்ட மாடலை உருவாக்க முடியுமா? கார்ப்பரேட் பெருந்தன்மையைச் சார்ந்திருப்பது முழு இயக்கத்திற்கும் ஒரு சாத்தியமான தோல்வி புள்ளியாகும்.

உள்ளூர் இன்ஃபரன்ஸின் உட்புறம்

பவர் யூசருக்கு, உண்மையான வேலை இந்த மாடல்களை ஏற்கனவே உள்ள பணிப்பாய்வுகளில் ஒருங்கிணைப்பதில் நடக்கிறது. மிகப்பெரிய சவால்களில் ஒன்று ஹார்டுவேர் தேவை. 70 பில்லியன் அளவுருக்கள் கொண்ட மாடலை இயக்க, உங்களுக்கு பொதுவாக குறைந்தது இரண்டு உயர்நிலை நுகர்வோர் GPU-கள் அல்லது 48GB VRAM கொண்ட தொழில்முறை தரம் வாய்ந்த கார்டு தேவை. இது குவாண்டிசேஷன் (quantization) நுட்பங்களின் எழுச்சிக்கு வழிவகுத்தது. மாடல் வெயிட்டுகளின் துல்லியத்தை 16-பிட்டிலிருந்து 4-பிட் அல்லது 2-பிட்டாகக் குறைப்பதன் மூலம், டெவலப்பர்கள் பெரிய மாடல்களை மலிவான ஹார்டுவேரில் பொருத்தலாம். இந்த செயல்முறை துல்லியத்தில் ஒரு சிறிய வர்த்தகத்தை உள்ளடக்கியது, ஆனால் பெரும்பாலான பணிகளுக்கு, வித்தியாசம் புறக்கணிக்கத்தக்கது. Llama.cpp போன்ற கருவிகள் இந்த மாடல்களை ஸ்டாண்டர்ட் CPU-கள் மற்றும் Mac ஹார்டுவேரில் இயக்கச் செய்து, நுழைவுத் தடையை கணிசமாகக் குறைத்துள்ளன.

மற்றொரு முக்கியமான காரணி API வரம்பு. மூடிய வழங்குநரைப் பயன்படுத்தும் போது, நீங்கள் நிமிடத்திற்கு எத்தனை கோரிக்கைகளைச் செய்யலாம் என்பதில் பெரும்பாலும் கட்டுப்படுத்தப்படுகிறீர்கள். உள்ளூர் மாடலுடன், உங்கள் ஒரே வரம்பு உங்கள் ஹார்டுவேரின் வேகம் மட்டுமே. இது ஒரு மாடல் ஒரே செயல்முறையில் நூற்றுக்கணக்கான முறை அழைக்கப்படும் சிக்கலான பணிப்பாய்வுகளை அனுமதிக்கிறது. உதாரணமாக, ஒரு டெவலப்பர் ஆயிரக்கணக்கான வரிக் குறியீடுகளை பகுப்பாய்வு செய்ய அல்லது சோதனைக்காக முழு செயற்கை தரவுத் தொகுப்பை உருவாக்க மாடலைப் பயன்படுத்தலாம். இந்த பணிகள் கிளவுட் API-ல் தடைசெய்யும் அளவுக்கு விலை உயர்ந்ததாகவும் மெதுவாகவும் இருக்கும். உள்ளூர் சேமிப்பகம் மிகப்பெரிய கான்டெக்ஸ்ட் விண்டோக்களையும் (context windows) பயன்படுத்த அனுமதிக்கிறது. உள்ளீட்டு டோக்கன்களின் செலவைப் பற்றி கவலைப்படாமல் நீங்கள் முழு ஆவண நூலகத்தையும் ஒரு மாடலுக்குள் செலுத்தலாம்.

பணிப்பாய்வு ஒருங்கிணைப்பும் மிகவும் அதிநவீனமாகி வருகிறது. டெவலப்பர்கள் ஒரு வரியில் குறியீட்டைக் கொண்டு மாடல்களை உள்ளேயும் வெளியேயும் மாற்ற அனுமதிக்கும் கட்டமைப்புகளைப் பயன்படுத்துகின்றனர். இதன் பொருள் ஒரு அமைப்பு எளிய பணிகளுக்கு ஒரு சிறிய, வேகமான மாடலையும் சிக்கலான பகுத்தறிவுக்கு ஒரு பெரிய, மெதுவான மாடலையும் பயன்படுத்தலாம். இந்த கலப்பின அணுகுமுறை செலவு மற்றும் செயல்திறன் இரண்டையும் மேம்படுத்துகிறது. இருப்பினும், இன்னும் தடைகள் உள்ளன. உள்ளூர் மாடல்கள் பெரும்பாலும் மெருகூட்டப்பட்ட பாதுகாப்பு ஃபில்டர்கள் மற்றும் அவற்றின் மூடிய சகாக்களின் விரிவான ஆவணங்களைக் கொண்டிருக்கவில்லை. வலுவான உள்ளூர் சூழலை அமைப்பதற்கு Linux, Python மற்றும் GPU டிரைவர்கள் பற்றிய ஆழமான புரிதல் தேவை. அதை நிர்வகிக்கக்கூடியவர்களுக்கு, வெகுமதி என்பது எந்த கிளவுட் வழங்குநரும் பொருத்த முடியாத செயல்திறன் மற்றும் தனியுரிமையின் அளவாகும்.

பொது தொழில்நுட்பத்திற்கான புதிய தரநிலை

திறந்த மற்றும் மூடிய மாடல்களுக்கு இடையிலான போட்டி இன்று தொழில்நுட்பத்தில் மிக முக்கியமான கதையாகும். இது இணையத்தின் அடிப்படை கட்டமைப்பின் மீதான போர். மூடிய மாடல்கள் வெற்றி பெற்றால், AI-ன் எதிர்காலம் தற்போதைய மொபைல் ஆப் ஸ்டோர்களைப் போல இருக்கும், இரண்டு அல்லது மூன்று ஜாம்பவான்கள் சாத்தியமானவற்றைக் கட்டுப்படுத்துவார்கள். ஓப்பன் மாடல்கள் தங்கள் தற்போதைய பாதையைத் தொடர்ந்தால், எதிர்காலம் இணையத்தைப் போலவே இருக்கும், எவரும் உருவாக்கவும் புதுமைப்படுத்தவும் கூடிய பரவலாக்கப்பட்ட நெட்வொர்க். உயர்தர ஓப்பன் வெயிட்ஸை நோக்கிய சமீபத்திய மாற்றம், பிந்தையது சாத்தியமாவதற்கான வலுவான அறிகுறியாகும். இது அறிவாற்றல் ஒரு ஆடம்பரத்தை விட ஒரு பயன்பாடாக இருக்கும் உலகின் கவர்ச்சிகரமான பார்வையாகும்.

நாம் நகரும்போது, கவனம் மாடல் செயல்திறனிலிருந்து இந்த மாடல்களைச் சுற்றியுள்ள சுற்றுச்சூழல் அமைப்பிற்கு மாறும். வெற்றியாளர் அதிக பெஞ்ச்மார்க் ஸ்கோர் கொண்ட நிறுவனமாக இருக்க மாட்டார், மாறாக மற்றவர்கள் உருவாக்குவதை எளிதாக்கும் நிறுவனமாக இருப்பார். ஒரு ஆராய்ச்சி தாளுக்கும் பயனுள்ள தயாரிப்புக்கும் இடையிலான தூரம் இன்னும் அதிகமாக உள்ளது, ஆனால் ஓப்பன் சமூகம் அதைக் கடக்கத் தேவையான பாலங்களை உருவாக்கி வருகிறது. இது விரைவான மாற்றத்தின் காலம், இன்று டெவலப்பர்கள் மற்றும் நிறுவனங்கள் எடுக்கும் தேர்வுகள் அடுத்த தசாப்தத்திற்கான தொழில்நுட்ப சூழலை வரையறுக்கும். மூடிய பெட்டியின் சகாப்தம் முடிவடைகிறது, மேலும் ஓப்பன் வெயிட் சகாப்தம் இப்போதுதான் தொடங்குகிறது.

ஆசிரியரின் குறிப்பு: கணினித் துறையில் நிபுணர்கள் அல்லாதவர்கள், ஆனால் செயற்கை நுண்ணறிவைப் புரிந்துகொள்ளவும், அதை அதிக நம்பிக்கையுடன் பயன்படுத்தவும், ஏற்கனவே வந்துகொண்டிருக்கும் எதிர்காலத்தைப் பின்தொடரவும் விரும்பும் மக்களுக்காக, பலமொழி AI செய்திகள் மற்றும் வழிகாட்டல் மையமாக இந்த தளத்தை நாங்கள் உருவாக்கினோம்.

ஒரு பிழையைக் கண்டறிந்தீர்களா அல்லது திருத்தப்பட வேண்டிய ஒன்று இருக்கிறதா? எங்களுக்குத் தெரியப்படுத்துங்கள்.