ഓപ്പൺ മോഡലുകൾക്ക് വമ്പൻ ലാബുകളെ വെല്ലുവിളിക്കാൻ കഴിയുമോ?

ഇന്റലിജൻസിന്റെ വലിയ വികേന്ദ്രീകരണം

ക്ലോസ്ഡ് പ്രൊപ്രൈറ്ററി സിസ്റ്റങ്ങളും പബ്ലിക് മോഡലുകളും തമ്മിലുള്ള അന്തരം മിക്ക അനലിസ്റ്റുകളും പ്രവചിച്ചതിനേക്കാൾ വേഗത്തിൽ കുറഞ്ഞുവരികയാണ്. ഒരു വർഷം മുമ്പ് വരെ, കോടിക്കണക്കിന് ഫണ്ടിംഗുള്ള വലിയ ലാബുകൾക്ക് മാത്രമേ ഈ രംഗത്ത് മുൻതൂക്കം നിലനിർത്താൻ കഴിയൂ എന്നായിരുന്നു പൊതുവായ അഭിപ്രായം. എന്നാൽ ഇന്ന്, ആ മുൻതൂക്കം വർഷങ്ങളല്ല, മാസങ്ങൾ കൊണ്ട് അളക്കാവുന്ന ഒന്നായി മാറി. ഓപ്പൺ വെയ്റ്റ്സ് മോഡലുകൾ ഇപ്പോൾ കോഡിംഗ്, റീസണിംഗ്, ക്രിയേറ്റീവ് റൈറ്റിംഗ് എന്നിവയിൽ ഏറ്റവും വിപുലമായ ക്ലോസ്ഡ് സിസ്റ്റങ്ങളോട് കിടപിടിക്കുന്ന പ്രകടനമാണ് കാഴ്ചവെക്കുന്നത്. ഈ മാറ്റം വെറുമൊരു സാങ്കേതിക കൗതുകമല്ല. കമ്പ്യൂട്ടേഷന്റെ ഭാവി ആര് നിയന്ത്രിക്കണം എന്നതിലെ അടിസ്ഥാനപരമായ മാറ്റമാണിത്. ഒരു ഡെവലപ്പർക്ക് സ്വന്തം ഹാർഡ്‌വെയറിൽ ഉയർന്ന പ്രകടനമുള്ള ഒരു മോഡൽ പ്രവർത്തിപ്പിക്കാൻ കഴിയുമ്പോൾ, അധികാരം കേന്ദ്രീകൃത ദാതാക്കളിൽ നിന്ന് മാറുന്നു. ബ്ലാക്ക് ബോക്സ് മോഡലുകളുടെ കാലഘട്ടം ഒരു ആഗോള കമ്മ്യൂണിറ്റിയിൽ നിന്ന് വലിയൊരു വെല്ലുവിളി നേരിടുന്നുണ്ടെന്നാണ് ഈ ട്രെൻഡ് സൂചിപ്പിക്കുന്നത്.

ലഭ്യമായ ഈ സിസ്റ്റങ്ങളുടെ ഉയർച്ച ഈ മേഖലയിലെ നേതൃത്വത്തെക്കുറിച്ച് പുനർചിന്തനം നടത്താൻ നിർബന്ധിതരാക്കിയിരിക്കുന്നു. ഒരു മോഡൽ വിലകൂടിയതും നിയന്ത്രിതവുമായ ഇന്റർഫേസിന് പിന്നിൽ ഒളിപ്പിച്ചിട്ടുണ്ടെങ്കിൽ, ഏറ്റവും വലിയ ചിപ്പ് ക്ലസ്റ്റർ കൈവശമുണ്ടായിട്ടും കാര്യമില്ല. ഡെവലപ്പർമാർ ഇപ്പോൾ അവരുടെ സമയവും കമ്പ്യൂട്ടും ഉപയോഗിച്ച് തീരുമാനമെടുക്കുന്നു. അനുവാദമില്ലാതെ പരിശോധിക്കാനും മാറ്റം വരുത്താനും വിന്യസിക്കാനും കഴിയുന്ന മോഡലുകളാണ് അവർ തിരഞ്ഞെടുക്കുന്നത്. ക്ലോസ്ഡ് മോഡലുകൾ പലപ്പോഴും അവഗണിക്കുന്ന സ്വകാര്യതയുടെയും കസ്റ്റമൈസേഷന്റെയും ആവശ്യങ്ങൾ നിറവേറ്റുന്നതുകൊണ്ടാണ് ഈ മുന്നേറ്റം ശക്തിപ്പെടുന്നത്. സ്കെയിലിന് പകരം കാര്യക്ഷമതയ്ക്കും ലഭ്യതയ്ക്കും മുൻഗണന നൽകുന്ന കൂടുതൽ മത്സരാധിഷ്ഠിതമായ ഒരു അന്തരീക്ഷമാണ് ഇതിലൂടെ ഉണ്ടാകുന്നത്. ഏറ്റവും മികച്ച ടൂളുകൾ എല്ലാവർക്കും ലഭ്യമാകുന്ന പുതിയൊരു കാലഘട്ടത്തിന്റെ തുടക്കമാണിത്.

വികസനത്തിന്റെ മൂന്ന് ഗോത്രങ്ങൾ

ഈ സാങ്കേതികവിദ്യ എങ്ങോട്ടാണ് പോകുന്നതെന്ന് മനസ്സിലാക്കാൻ, അത് നിർമ്മിക്കുന്ന മൂന്ന് വ്യത്യസ്ത തരം സ്ഥാപനങ്ങളെ നിങ്ങൾ നോക്കണം. ഒന്നാമതായി, ഫ്രോണ്ടിയർ ലാബുകൾ. OpenAI, Google തുടങ്ങിയ ഭീമന്മാരാണിവർ. പൊതുവായ ഇന്റലിജൻസിന്റെ ഏറ്റവും ഉയർന്ന തലത്തിൽ എത്തുക എന്നതാണ് ഇവരുടെ ലക്ഷ്യം. സ്കെയിലിനും കരുത്തിനുമാണ് അവർ മുൻഗണന നൽകുന്നത്. ഇവർക്ക്, ഓപ്പൺനെസ് എന്നത് പലപ്പോഴും സുരക്ഷയ്ക്ക് ഭീഷണിയോ അല്ലെങ്കിൽ മത്സരപരമായ നേട്ടം നഷ്ടപ്പെടുന്നതോ ആയി തോന്നാം. ഉയർന്ന പ്രകടനം നൽകുന്ന എന്നാൽ ക്ലൗഡ് ഇൻഫ്രാസ്ട്രക്ചറിനെ പൂർണ്ണമായും ആശ്രയിക്കേണ്ടി വരുന്ന വലിയ ക്ലോസ്ഡ് ഇക്കോസിസ്റ്റങ്ങളാണ് അവർ നിർമ്മിക്കുന്നത്. ഇവരുടെ മോഡലുകൾ പ്രകടനത്തിന്റെ കാര്യത്തിൽ മികച്ചതാണെങ്കിലും, ഉപയോഗ നയങ്ങളും ചെലവുകളും അവയിൽ ഉൾച്ചേർന്നിരിക്കുന്നു.

രണ്ടാമതായി, അക്കാദമിക് ലാബുകൾ. Stanford Institute for Human-Centered AI പോലുള്ള സ്ഥാപനങ്ങൾ സുതാര്യതയ്ക്കും പുനരുൽപ്പാദനക്ഷമതയ്ക്കും ഊന്നൽ നൽകുന്നു. ഒരു ഉൽപ്പന്നം വിൽക്കുകയല്ല, മറിച്ച് ഈ സിസ്റ്റങ്ങൾ എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്ന് മനസ്സിലാക്കുകയാണ് ഇവരുടെ ലക്ഷ്യം. അവർ തങ്ങളുടെ കണ്ടെത്തലുകളും ഡാറ്റാ സെറ്റുകളും പരിശീലന രീതികളും പ്രസിദ്ധീകരിക്കുന്നു. ഫ്രോണ്ടിയർ ലാബുകളുടെ അത്ര കരുത്തില്ലെങ്കിലും, വ്യവസായത്തിന്റെ അടിത്തറ പാകുന്നത് ഇവരാണ്. പക്ഷപാതം എങ്ങനെ രൂപപ്പെടുന്നു അല്ലെങ്കിൽ പരിശീലനം എങ്ങനെ കൂടുതൽ ഊർജ്ജക്ഷമമാക്കാം തുടങ്ങിയ ചോദ്യങ്ങൾ അവർ ഉന്നയിക്കുന്നു. ഇവരുടെ പ്രവർത്തനം ഈ മേഖലയിലെ ശാസ്ത്രത്തെ ഒരു കോർപ്പറേറ്റ് രഹസ്യത്തിന് പകരം പൊതുനന്മയാക്കി നിലനിർത്തുന്നു.

അവസാനമായി, പ്രൊഡക്റ്റ് ലാബുകളും കോർപ്പറേറ്റ് ഓപ്പൺ വെയ്റ്റ് വക്താക്കളും. Meta, Mistral എന്നിവ ഈ വിഭാഗത്തിൽ പെടുന്നു. ഒരു ഇക്കോസിസ്റ്റം കെട്ടിപ്പടുക്കാൻ അവർ മോഡലുകളെ പൊതുജനങ്ങൾക്ക് ലഭ്യമാക്കുന്നു. തങ്ങളുടെ വെയ്റ്റ്സ് ലഭ്യമാക്കുന്നതിലൂടെ, ആയിരക്കണക്കിന് ഡെവലപ്പർമാരെ കോഡ് ഒപ്റ്റിമൈസ് ചെയ്യാനും അനുയോജ്യമായ ടൂളുകൾ നിർമ്മിക്കാനും അവർ പ്രോത്സാഹിപ്പിക്കുന്നു. ക്ലോസ്ഡ് പ്ലാറ്റ്‌ഫോമുകളുടെ ആധിപത്യത്തെ നേരിടാനുള്ള തന്ത്രപരമായ നീക്കമാണിത്. എല്ലാവരും നിങ്ങളുടെ ആർക്കിടെക്ചറിൽ നിർമ്മിക്കുകയാണെങ്കിൽ, നിങ്ങൾ വ്യവസായ നിലവാരമായി മാറുന്നു. ഈ സമീപനം അക്കാദമിക് ലാബുകൾക്ക് എത്താൻ കഴിയാത്ത വിന്യാസവും ഫ്രോണ്ടിയർ ലാബുകൾ അനുവദിക്കാത്ത സ്വാതന്ത്ര്യവും നൽകുന്നു.

ആധുനിക സോഫ്റ്റ്‌വെയറിലെ ഓപ്പൺനെസ് എന്ന മിഥ്യ

ഓപ്പൺ സോഴ്സ് എന്ന പദം ഈ വ്യവസായത്തിൽ പലപ്പോഴും അശ്രദ്ധമായി ഉപയോഗിക്കുന്നു, ഇത് വലിയ ആശയക്കുഴപ്പമുണ്ടാക്കുന്നു. Open Source Initiative നിർവചിക്കുന്നത് പോലെ, യഥാർത്ഥ ഓപ്പൺ സോഴ്സ് സോഫ്റ്റ്‌വെയറിന് സോഴ്സ് കോഡ്, നിർമ്മാണ നിർദ്ദേശങ്ങൾ, ഡാറ്റ എന്നിവ സൗജന്യമായി ലഭ്യമാകണം. മിക്ക ആധുനിക മോഡലുകളും ഈ മാനദണ്ഡങ്ങൾ പാലിക്കുന്നില്ല. പകരം, ഓപ്പൺ വെയ്റ്റ്സ് മോഡലുകളുടെ വർദ്ധനവാണ് നാം കാണുന്നത്. ഈ രീതിയിൽ, കമ്പനി പരിശീലന പ്രക്രിയയുടെ അന്തിമ ഫലം നൽകുന്നു, എന്നാൽ പരിശീലന ഡാറ്റയും രഹസ്യങ്ങളും സൂക്ഷിക്കുന്നു. ഇതൊരു പ്രധാന വ്യത്യാസമാണ്. നിങ്ങൾക്ക് മോഡൽ പ്രവർത്തിപ്പിക്കാനും അത് എങ്ങനെ പെരുമാറുന്നു എന്ന് കാണാനും കഴിയും, എന്നാൽ അത് ആദ്യം മുതൽ നിർമ്മിക്കാനോ നിർമ്മാണ വേളയിൽ അതിന് നൽകിയ വിവരങ്ങൾ എന്താണെന്ന് കൃത്യമായി അറിയാനോ കഴിയില്ല.

പെർമിസീവ് അല്ലെങ്കിൽ കമ്മ്യൂണിറ്റി ലൈസൻസുകൾ പോലുള്ള പദങ്ങൾ ഉപയോഗിച്ച് മാർക്കറ്റിംഗ് ഭാഷ ഇതിനെ കൂടുതൽ സങ്കീർണ്ണമാക്കുന്നു. ഈ ലൈസൻസുകളിൽ പലപ്പോഴും വലിയ കമ്പനികൾക്ക് മോഡൽ എങ്ങനെ ഉപയോഗിക്കാം എന്നതിനെക്കുറിച്ചുള്ള നിയന്ത്രണങ്ങൾ ഉൾപ്പെടുന്നു. ഈ മോഡലുകൾ ക്ലോസ്ഡ് API-യേക്കാൾ കൂടുതൽ ലഭ്യമാണെങ്കിലും, അവ എല്ലായ്പ്പോഴും സൗജന്യമല്ല. ഇത് ഓപ്പൺനെസിന്റെ ഒരു സ്പെക്ട്രം സൃഷ്ടിക്കുന്നു. ഒരു വശത്ത്, GPT-4 പോലുള്ള പൂർണ്ണമായും ക്ലോസ്ഡ് മോഡലുകൾ. മധ്യത്തിൽ, Llama 3 പോലുള്ള ഓപ്പൺ വെയ്റ്റ്സ് മോഡലുകൾ. മറുവശത്ത്, ഡാറ്റ ഉൾപ്പെടെ എല്ലാം പുറത്തുവിടുന്ന പ്രോജക്റ്റുകൾ. ദീർഘകാലാടിസ്ഥാനത്തിൽ ആസൂത്രണം ചെയ്യുന്ന ഏതൊരു സംരംഭത്തിനും അല്ലെങ്കിൽ ഡെവലപ്പർക്കും ഒരു മോഡൽ ഈ സ്പെക്ട്രത്തിൽ എവിടെയാണെന്ന് മനസ്സിലാക്കുന്നത് അത്യന്താപേക്ഷിതമാണ്.

ഈ സെമി-ഓപ്പൺ സമീപനത്തിന്റെ ഗുണങ്ങൾ ഇപ്പോഴും വളരെ വലുതാണ്. കർശനമായ ഡാറ്റാ പരമാധികാര നിയമങ്ങളുള്ള പല വ്യവസായങ്ങൾക്കും ഇത് ലോക്കൽ ഹോസ്റ്റിംഗ് സാധ്യമാക്കുന്നു. ഫൈൻ ട്യൂണിംഗും ഇത് അനുവദിക്കുന്നു, അവിടെ ഒരു മോഡലിനെ ഒരു പ്രത്യേക മേഖലയിലെ വിദഗ്ദ്ധനാക്കാൻ ചെറിയ അളവിലുള്ള ഡാറ്റയിൽ പരിശീലിപ്പിക്കുന്നു. ക്ലോസ്ഡ് API ഉപയോഗിച്ച് ഇത്തരമൊരു നിയന്ത്രണം അസാധ്യമാണ്. എന്നിരുന്നാലും, എന്താണ് യഥാർത്ഥത്തിൽ ഓപ്പൺ എന്ന് നാം കൃത്യമായി പറയണം. ഒരു കമ്പനിക്ക് നിങ്ങളുടെ ലൈസൻസ് റദ്ദാക്കാൻ കഴിയുമെങ്കിൽ അല്ലെങ്കിൽ പരിശീലന ഡാറ്റ ഒരു രഹസ്യമാണെങ്കിൽ, നിങ്ങൾ ഇപ്പോഴും മറ്റൊരാൾ രൂപകൽപ്പന ചെയ്ത സിസ്റ്റത്തിനുള്ളിലാണ് പ്രവർത്തിക്കുന്നത്. നിലവിലെ ട്രെൻഡ് കൂടുതൽ സുതാര്യതയിലേക്കാണ്, എന്നാൽ ഏറ്റവും ശക്തമായ മോഡലുകൾ യഥാർത്ഥ ഓപ്പൺ സോഴ്സ് ആയ ഒരു ഘട്ടത്തിൽ നാം എത്തിയിട്ടില്ല.

ക്ലൗഡ് ഭീമന്മാരുടെ കാലത്ത് ലോക്കൽ നിയന്ത്രണം

ഉയർന്ന സുരക്ഷാ അന്തരീക്ഷത്തിൽ പ്രവർത്തിക്കുന്ന ഒരു ഡെവലപ്പർക്ക്, ഓപ്പൺ വെയ്റ്റ്സിലേക്കുള്ള മാറ്റം ഒരു പ്രായോഗിക ആവശ്യമാണ്. ഒരു ഇടത്തരം ഫിനാൻഷ്യൽ സ്ഥാപനത്തിലെ ലീഡ് എൻജിനീയറെക്കുറിച്ച് ചിന്തിക്കുക. മുൻകാലങ്ങളിൽ, ഒരു ലാർജ് ലാംഗ്വേജ് മോഡലിന്റെ ഗുണങ്ങൾ ലഭിക്കാൻ അവർക്ക് സെൻസിറ്റീവ് ഉപഭോക്തൃ ഡാറ്റ മൂന്നാം കക്ഷി സെർവറിലേക്ക് അയക്കേണ്ടി വരുമായിരുന്നു. ഇത് വലിയ സ്വകാര്യത ഭീഷണിയും ബാഹ്യ ദാതാവിനെ ആശ്രയിക്കുന്ന അവസ്ഥയും സൃഷ്ടിച്ചു. ഇന്ന്, ആ എൻജിനീയർക്ക് ഉയർന്ന പ്രകടനമുള്ള ഒരു മോഡൽ ഡൗൺലോഡ് ചെയ്ത് ഇന്റേണൽ സെർവറിൽ പ്രവർത്തിപ്പിക്കാം. ഡാറ്റാ ഫ്ലോയിൽ അവർക്ക് പൂർണ്ണ നിയന്ത്രണമുണ്ട്. സ്ഥാപനത്തിന്റെ പ്രത്യേക ഭാഷയും നിയമങ്ങളും മനസ്സിലാക്കാൻ അവർക്ക് മോഡലിൽ മാറ്റം വരുത്താം. ഇത് വെറുമൊരു സൗകര്യമല്ല. കമ്പനി അതിന്റെ ഏറ്റവും വിലപ്പെട്ട ആസ്തിയായ ഡാറ്റ കൈകാര്യം ചെയ്യുന്ന രീതിയിലെ അടിസ്ഥാനപരമായ മാറ്റമാണിത്.

ഈ എൻജിനീയറുടെ ജീവിതത്തിലെ ഒരു ദിവസം ഗണ്യമായി മാറിയിരിക്കുന്നു. API കീകൾ കൈകാര്യം ചെയ്യുന്നതിനും റേറ്റ് ലിമിറ്റുകളെക്കുറിച്ച് ആശങ്കപ്പെടുന്നതിനും പകരം, ലോക്കൽ ഇൻഫറൻസ് ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിലാണ് അവർ സമയം ചെലവഴിക്കുന്നത്. ലഭ്യമായ ഹാർഡ്‌വെയറിൽ ഒതുങ്ങുന്ന രീതിയിൽ കംപ്രസ് ചെയ്ത മോഡലിന്റെ പതിപ്പ് കണ്ടെത്താൻ Hugging Face പോലുള്ള ടൂളുകൾ അവർ ഉപയോഗിച്ചേക്കാം. ഓരോ ടോക്കൺ ജനറേറ്റ് ചെയ്യുമ്പോഴുള്ള ചെലവിനെക്കുറിച്ച് ആശങ്കപ്പെടാതെ അവർക്ക് പുലർച്ചെ 3 മണിക്ക് ടെസ്റ്റുകൾ നടത്താം. മോഡൽ തെറ്റ് വരുത്തിയാൽ, അവർക്ക് വെയ്റ്റ്സ് പരിശോധിച്ച് കാരണം മനസ്സിലാക്കാൻ ശ്രമിക്കാം, അല്ലെങ്കിൽ അത് തിരുത്താൻ ഫൈൻ ട്യൂണിംഗ് ഉപയോഗിക്കാം. രണ്ട് വർഷം മുമ്പ് വരെ മിക്ക ബിസിനസ്സുകൾക്കും ചിന്തിക്കാൻ പോലും കഴിയാത്ത സ്വയംഭരണാധികാരമാണിത്. ഇത് വേഗത്തിലുള്ള ഇറ്ററേഷൻ സൈക്കിളും കൂടുതൽ മികച്ച അന്തിമ ഉൽപ്പന്നവും സാധ്യമാക്കുന്നു.

ഈ സ്വാതന്ത്ര്യം വ്യക്തിഗത ഉപയോക്താക്കൾക്കും ലഭ്യമാണ്. സിലിക്കൺ വാലിയിലെ ഒരു കമ്മിറ്റി രൂപകൽപ്പന ചെയ്ത ഫിൽട്ടറുകൾ ഇല്ലാത്ത ഒരു മോഡൽ ഒരു എഴുത്തുകാരനോ ഗവേഷകനോ തന്റെ ലാപ്ടോപ്പിൽ പ്രവർത്തിപ്പിക്കാം. എന്താണ് ഉചിതമെന്ന് തീരുമാനിക്കാൻ ഒരു ഇടനിലക്കാരനില്ലാതെ അവർക്ക് ആശയങ്ങൾ പര്യവേക്ഷണം ചെയ്യാനും കണ്ടന്റ് നിർമ്മിക്കാനും കഴിയും. ഒരു ടൂൾ വാടകയ്ക്ക് എടുക്കുന്നതും സ്വന്തമാക്കുന്നതും തമ്മിലുള്ള വ്യത്യാസമാണിത്. ക്ലൗഡ് ഭീമന്മാർ മികച്ചതും എളുപ്പമുള്ളതുമായ അനുഭവം നൽകുമ്പോൾ, ഓപ്പൺ ഇക്കോസിസ്റ്റം കൂടുതൽ വിലപ്പെട്ട ഒന്ന് നൽകുന്നു: ഏജൻസി. ഹാർഡ്‌വെയർ കൂടുതൽ ശക്തമാകുമ്പോൾ, ഈ സിസ്റ്റങ്ങൾ ലോക്കലായി പ്രവർത്തിപ്പിക്കുന്നവരുടെ എണ്ണം വർദ്ധിക്കും. ഈ വികേന്ദ്രീകൃത സമീപനം സാങ്കേതികവിദ്യയുടെ ഗുണങ്ങൾ മാസംതോറും പണം നൽകാൻ കഴിയുന്നവർക്ക് മാത്രമായി ഒതുങ്ങുന്നില്ലെന്ന് ഉറപ്പാക്കുന്നു.

ഓപ്പൺ മോഡലുകൾ പ്ലാറ്റ്‌ഫോം റിസ്കിനെതിരായ ഒരു പ്രതിരോധമാണെന്നും സംരംഭങ്ങൾ കണ്ടെത്തുന്നു. ഒരു ക്ലോസ്ഡ് ദാതാവ് അവരുടെ വിലയോ സേവന നിബന്ധനകളോ മാറ്റുകയാണെങ്കിൽ, ആ API-യിൽ നിർമ്മിച്ച ഒരു കമ്പനി പ്രതിസന്ധിയിലാകും. ഓപ്പൺ വെയ്റ്റ്സ് ഉപയോഗിക്കുന്നതിലൂടെ, ഒരു കമ്പനിക്ക് ഹാർഡ്‌വെയർ ദാതാക്കളെ മാറ്റാനോ അല്ലെങ്കിൽ അവരുടെ പ്രധാന ഇന്റലിജൻസ് നഷ്ടപ്പെടാതെ മറ്റൊരു ക്ലൗഡിലേക്ക് മാറാനോ കഴിയും. ഈ വഴക്കമാണ് ഇന്ന് നാം കാണുന്ന വലിയ സ്വീകാര്യതയ്ക്ക് കാരണം. ഏത് മോഡലാണ് ബെഞ്ച്മാർക്കിൽ അല്പം മികച്ചത് എന്നതല്ല, ഏത് മോഡലാണ് ബിസിനസ്സിന് ദീർഘകാല സ്ഥിരത നൽകുന്നത് എന്നതാണ് പ്രധാനം. ഓപ്പൺ സോഴ്സ് AI ഇക്കോസിസ്റ്റത്തിലെ സമീപകാല മെച്ചപ്പെടുത്തലുകൾ എല്ലാ വലിപ്പത്തിലുമുള്ള കമ്പനികൾക്കും ഇതൊരു മികച്ച തന്ത്രമാക്കി മാറ്റിയിരിക്കുന്നു.

സൗജന്യ മോഡലുകളുടെ ഉയർന്ന വില

ആവേശത്തിനിടയിലും, ഓപ്പൺനെസിന്റെ മറഞ്ഞിരിക്കുന്ന ചെലവുകളെക്കുറിച്ച് നാം കഠിനമായ ചോദ്യങ്ങൾ ചോദിക്കണം. ഒരു വലിയ മോഡൽ ലോക്കലായി പ്രവർത്തിപ്പിക്കുന്നത് സൗജന്യമല്ല. ഇതിന് ഹാർഡ്‌വെയറിൽ, പ്രത്യേകിച്ച് ധാരാളം മെമ്മറിയുള്ള ഹൈ-എൻഡ് GPU-കളിൽ വലിയ നിക്ഷേപം ആവശ്യമാണ്. പല ചെറുകിട ബിസിനസ്സുകൾക്കും, ഈ ഹാർഡ്‌വെയർ വാങ്ങുന്നതിനും പരിപാലിക്കുന്നതിനുമുള്ള ചെലവ് വർഷങ്ങളോളം API സബ്‌സ്‌ക്രിപ്‌ഷൻ എടുക്കുന്നതിനേക്കാൾ കൂടുതലായിരിക്കാം. വൈദ്യുതി ചെലവും വിന്യാസം കൈകാര്യം ചെയ്യാൻ പ്രത്യേക കഴിവുള്ളവരുടെ ആവശ്യവുമുണ്ട്. നമ്മൾ ഒരു സോഫ്റ്റ്‌വെയർ സബ്‌സ്‌ക്രിപ്‌ഷന് പകരം ഹാർഡ്‌വെയർ, എനർജി ബില്ലുകൾ നൽകുകയാണോ? ലോക്കൽ AI-യുടെ സാമ്പത്തിക യാഥാർത്ഥ്യം തലക്കെട്ടുകൾ സൂചിപ്പിക്കുന്നതിനേക്കാൾ സങ്കീർണ്ണമാണ്.

സ്വകാര്യതയിലും സംശയം ആവശ്യമാണ്. ഒരു മോഡൽ ലോക്കലായി പ്രവർത്തിപ്പിക്കുന്നത് ഡാറ്റാ സുരക്ഷയ്ക്ക് നല്ലതാണെങ്കിലും, മോഡലുകൾ തന്നെ പലപ്പോഴും ഇന്റർനെറ്റിൽ നിന്ന് സമ്മതമില്ലാതെ ശേഖരിച്ച ഡാറ്റയിലാണ് പരിശീലിപ്പിക്കുന്നത്. ഒരു ഓപ്പൺ മോഡൽ ഉപയോഗിക്കുന്നത് ഈ രീതിയിൽ നിങ്ങളെ പങ്കാളിയാക്കുന്നുണ്ടോ? കൂടാതെ, ഒരു മോഡൽ ഓപ്പൺ ആണെങ്കിൽ, അത് മോശം ആളുകൾക്കും ലഭ്യമാണ്. ഒരു ഡോക്ടർക്ക് മെഡിക്കൽ കുറിപ്പുകൾ സംഗ്രഹിക്കാൻ അനുവദിക്കുന്ന അതേ ടൂളുകൾ ഒരു ഹാക്കർക്ക് ഫിഷിംഗ് ആക്രമണങ്ങൾ ഓട്ടോമേറ്റ് ചെയ്യാൻ ഉപയോഗിക്കാം. ജനാധിപത്യവൽക്കരണത്തിന്റെ ഗുണങ്ങളും ദുരുപയോഗത്തിന്റെ അപകടസാധ്യതകളും തമ്മിൽ എങ്ങനെ സന്തുലിതമാക്കാം? വെയ്റ്റ്സ് പുറത്തുവിടുന്ന ലാബുകൾ കമ്മ്യൂണിറ്റി ആവശ്യമായ സുരക്ഷാ പരിശോധനകൾ നൽകുമെന്ന് അവകാശപ്പെടുന്നു, എന്നാൽ ഇത് പരിശോധിക്കാൻ പ്രയാസമാണ്. കേന്ദ്രീകൃത മേൽനോട്ടത്തിന്റെ അഭാവം ഒരു സവിശേഷതയാണോ അതോ പോരായ്മയാണോ എന്ന് നാം ചിന്തിക്കണം.

അവസാനമായി, ഓപ്പൺ മോഡലിന്റെ സുസ്ഥിരതയെക്കുറിച്ച് നാം നോക്കണം. ഈ സിസ്റ്റങ്ങൾ പരിശീലിപ്പിക്കാൻ ദശലക്ഷക്കണക്കിന് ഡോളർ ചെലവാകും. Meta അല്ലെങ്കിൽ Mistral പോലുള്ള കമ്പനികൾ തങ്ങളുടെ വെയ്റ്റ്സ് പുറത്തുവിടുന്നത് തങ്ങളുടെ താല്പര്യമല്ലെന്ന് തീരുമാനിച്ചാൽ, ഓപ്പൺ കമ്മ്യൂണിറ്റിയുടെ പുരോഗതി തടസ്സപ്പെടാം. വിപണി വിഹിതം നേടാൻ ഓപ്പൺനെസിനെ അനുകൂലിക്കുന്ന ഒരു കോർപ്പറേറ്റ് തന്ത്രത്തിൽ നിന്ന് നാം ഇപ്പോൾ പ്രയോജനം നേടുന്നു. ആ തന്ത്രം മാറുകയാണെങ്കിൽ, കമ്മ്യൂണിറ്റി വീണ്ടും ഫ്രോണ്ടിയർ ലാബുകൾക്ക് വർഷങ്ങൾ പിന്നിലായേക്കാം. കോടിക്കണക്കിന് ഡോളർ മൂല്യമുള്ള കോർപ്പറേഷന്റെ പിന്തുണയില്ലാതെ യഥാർത്ഥത്തിൽ സ്വതന്ത്രവും ഉയർന്ന പ്രകടനവുമുള്ള ഒരു മോഡൽ നിർമ്മിക്കാൻ കഴിയുമോ? കോർപ്പറേറ്റ് ഔദാര്യത്തെ ആശ്രയിക്കുന്നത് മുഴുവൻ മുന്നേറ്റത്തിനും ഒരു വലിയ ഭീഷണിയാണ്.

ലോക്കൽ ഇൻഫറൻസിന് പിന്നിലെ കാര്യങ്ങൾ

പവർ യൂസർക്ക്, നിലവിലുള്ള വർക്ക്ഫ്ലോകളിലേക്ക് ഈ മോഡലുകളെ സംയോജിപ്പിക്കുന്നതിലാണ് യഥാർത്ഥ ജോലി. ഹാർഡ്‌വെയർ ആവശ്യകതയാണ് ഏറ്റവും വലിയ വെല്ലുവിളികളിലൊന്ന്. 70 ബില്യൺ പാരാമീറ്ററുകളുള്ള ഒരു മോഡൽ പ്രവർത്തിപ്പിക്കാൻ, സാധാരണയായി രണ്ട് ഹൈ-എൻഡ് കൺസ്യൂമർ GPU-കളോ 48GB VRAM ഉള്ള പ്രൊഫഷണൽ ഗ്രേഡ് കാർഡോ ആവശ്യമാണ്. ഇത് ക്വാണ്ടൈസേഷൻ ടെക്നിക്കുകളുടെ ഉയർച്ചയ്ക്ക് കാരണമായി. മോഡൽ വെയ്റ്റ്സിന്റെ കൃത്യത 16-ബിറ്റിൽ നിന്ന് 4-ബിറ്റിലേക്കോ 2-ബിറ്റിലേക്കോ കുറയ്ക്കുന്നതിലൂടെ, ഡെവലപ്പർമാർക്ക് വലിയ മോഡലുകളെ വിലകുറഞ്ഞ ഹാർഡ്‌വെയറുകളിൽ ഉൾക്കൊള്ളിക്കാൻ കഴിയും. ഈ പ്രക്രിയയിൽ കൃത്യതയിൽ ചെറിയൊരു കുറവുണ്ടാകുമെങ്കിലും, മിക്ക ജോലികൾക്കും വ്യത്യാസം വളരെ കുറവാണ്. Llama.cpp പോലുള്ള ടൂളുകൾ ഈ മോഡലുകളെ സാധാരണ CPU-കളിലും Mac ഹാർഡ്‌വെയറുകളിലും പ്രവർത്തിപ്പിക്കാൻ സാധ്യമാക്കി, ഇത് പ്രവേശന തടസ്സം ഗണ്യമായി കുറച്ചു.

API പരിധിയാണ് മറ്റൊരു നിർണ്ണായക ഘടകം. ഒരു ക്ലോസ്ഡ് ദാതാവിനെ ഉപയോഗിക്കുമ്പോൾ, മിനിറ്റിൽ എത്ര അഭ്യർത്ഥനകൾ നടത്താം എന്നതിൽ നിങ്ങൾക്ക് പലപ്പോഴും പരിധിയുണ്ട്. ലോക്കൽ മോഡലിൽ, നിങ്ങളുടെ ഹാർഡ്‌വെയറിന്റെ വേഗത മാത്രമാണ് പരിധി. ഇത് സങ്കീർണ്ണമായ വർക്ക്ഫ്ലോകൾ അനുവദിക്കുന്നു, അവിടെ ഒരു പ്രക്രിയയിൽ നൂറുകണക്കിന് തവണ മോഡലിനെ വിളിക്കാം. ഉദാഹരണത്തിന്, ഒരു ഡെവലപ്പർക്ക് ആയിരക്കണക്കിന് വരി കോഡുകൾ വിശകലനം ചെയ്യാനോ ടെസ്റ്റിംഗിനായി സിന്തറ്റിക് ഡാറ്റാ സെറ്റ് നിർമ്മിക്കാനോ ഒരു മോഡൽ ഉപയോഗിക്കാം. ക്ലൗഡ് API-യിൽ ഈ ജോലികൾ വളരെ ചെലവേറിയതും മന്ദഗതിയിലുള്ളതുമായിരിക്കും. ലോക്കൽ സ്റ്റോറേജ് വലിയ കോൺടെക്സ്റ്റ് വിൻഡോകളുടെ ഉപയോഗവും അനുവദിക്കുന്നു. ഇൻപുട്ട് ടോക്കണുകളുടെ ചെലവിനെക്കുറിച്ച് ആശങ്കപ്പെടാതെ ഒരു മുഴുവൻ ഡോക്യുമെന്റ് ലൈബ്രറിയും നിങ്ങൾക്ക് മോഡലിലേക്ക് നൽകാം.

വർക്ക്ഫ്ലോ സംയോജനവും കൂടുതൽ സങ്കീർണ്ണമായിക്കൊണ്ടിരിക്കുകയാണ്. ഒരൊറ്റ വരി കോഡ് ഉപയോഗിച്ച് മോഡലുകളെ മാറ്റാൻ അനുവദിക്കുന്ന ഫ്രെയിംവർക്കുകളാണ് ഡെവലപ്പർമാർ ഉപയോഗിക്കുന്നത്. ഇതിനർത്ഥം ലളിതമായ ജോലികൾക്കായി ഒരു ചെറിയ മോഡലും സങ്കീർണ്ണമായ കാര്യങ്ങൾക്കായി ഒരു വലിയ മോഡലും ഒരു സിസ്റ്റത്തിന് ഉപയോഗിക്കാം. ഈ ഹൈബ്രിഡ് സമീപനം ചെലവും പ്രകടനവും ഒപ്റ്റിമൈസ് ചെയ്യുന്നു. എന്നിരുന്നാലും, തടസ്സങ്ങൾ ഇപ്പോഴും നിലനിൽക്കുന്നു. ലോക്കൽ മോഡലുകൾക്ക് പലപ്പോഴും ക്ലോസ്ഡ് മോഡലുകളെപ്പോലെ മികച്ച സുരക്ഷാ ഫിൽട്ടറുകളും വിപുലമായ ഡോക്യുമെന്റേഷനും ഇല്ല. ശക്തമായ ഒരു ലോക്കൽ എൻവയോൺമെന്റ് സജ്ജീകരിക്കുന്നതിന് Linux, Python, GPU ഡ്രൈവറുകൾ എന്നിവയെക്കുറിച്ച് ആഴത്തിലുള്ള അറിവ് ആവശ്യമാണ്. അത് കൈകാര്യം ചെയ്യാൻ കഴിയുന്നവർക്ക്, ഒരു ക്ലൗഡ് ദാതാവിനും നൽകാൻ കഴിയാത്ത പ്രകടനവും സ്വകാര്യതയുമാണ് പ്രതിഫലം.

പബ്ലിക് ടെക്കിനായുള്ള പുതിയ നിലവാരം

ഓപ്പൺ, ക്ലോസ്ഡ് മോഡലുകൾ തമ്മിലുള്ള മത്സരമാണ് ഇന്നത്തെ സാങ്കേതികവിദ്യയിലെ ഏറ്റവും പ്രധാനപ്പെട്ട കഥ. ഇന്റർനെറ്റിന്റെ അടിസ്ഥാന ആർക്കിടെക്ചറിനെക്കുറിച്ചുള്ള പോരാട്ടമാണിത്. ക്ലോസ്ഡ് മോഡലുകൾ വിജയിക്കുകയാണെങ്കിൽ, AI-യുടെ ഭാവി നിലവിലെ മൊബൈൽ ആപ്പ് സ്റ്റോറുകൾ പോലെയാകും, രണ്ടോ മൂന്നോ ഭീമന്മാർ എന്താണ് സാധ്യമാകുക എന്ന് നിയന്ത്രിക്കും. ഓപ്പൺ മോഡലുകൾ അവരുടെ നിലവിലെ പാത തുടരുകയാണെങ്കിൽ, ഭാവി വെബ് പോലെയായിരിക്കും, ആർക്കും നിർമ്മിക്കാനും നവീകരിക്കാനും കഴിയുന്ന ഒരു വികേന്ദ്രീകൃത നെറ്റ്‌വർക്ക്. ഉയർന്ന നിലവാരമുള്ള ഓപ്പൺ വെയ്റ്റ്സിലേക്കുള്ള സമീപകാല മാറ്റം രണ്ടാമത്തേത് സംഭവിക്കാനുള്ള സാധ്യത കൂടുതലാണെന്ന് കാണിക്കുന്നു. ഇന്റലിജൻസ് ഒരു ആഡംബരത്തേക്കാൾ ഉപരി ഒരു യൂട്ടിലിറ്റിയായി മാറുന്ന ലോകത്തെക്കുറിച്ചുള്ള ശ്രദ്ധേയമായ കാഴ്ചപ്പാടാണിത്.

നാം മുന്നോട്ട് പോകുമ്പോൾ, മോഡൽ പ്രകടനത്തിൽ നിന്ന് ഈ മോഡലുകൾക്ക് ചുറ്റുമുള്ള ഇക്കോസിസ്റ്റത്തിലേക്കായിരിക്കും ശ്രദ്ധ മാറുന്നത്. ഏറ്റവും ഉയർന്ന ബെഞ്ച്മാർക്ക് സ്കോറുള്ള കമ്പനിയല്ല വിജയി, മറിച്ച് മറ്റുള്ളവർക്ക് നിർമ്മിക്കാൻ ഏറ്റവും എളുപ്പമുള്ള സാഹചര്യമൊരുക്കുന്ന കമ്പനിയായിരിക്കും. ഒരു റിസർച്ച് പേപ്പറും ഉപയോഗപ്രദമായ ഉൽപ്പന്നവും തമ്മിലുള്ള ദൂരം ഇപ്പോഴും വലുതാണ്, എന്നാൽ അത് മറികടക്കാൻ ആവശ്യമായ പാലങ്ങൾ ഓപ്പൺ കമ്മ്യൂണിറ്റി നിർമ്മിക്കുന്നു. ഇത് ദ്രുതഗതിയിലുള്ള മാറ്റത്തിന്റെ സമയമാണ്, ഡെവലപ്പർമാരും സംരംഭങ്ങളും ഇന്ന് എടുക്കുന്ന തീരുമാനങ്ങൾ അടുത്ത ദശകത്തിലെ സാങ്കേതിക അന്തരീക്ഷത്തെ നിർവചിക്കും. ക്ലോസ്ഡ് ബോക്സിന്റെ കാലം അവസാനിക്കുന്നു, ഓപ്പൺ വെയ്റ്റിന്റെ കാലം ആരംഭിക്കുന്നു.

संपादकाची नोंद: आम्ही ही साइट बहुभाषिक AI बातम्या आणि मार्गदर्शिका केंद्र म्हणून अशा लोकांसाठी तयार केली आहे जे संगणक तज्ञ नाहीत, परंतु तरीही कृत्रिम बुद्धिमत्ता समजून घेऊ इच्छितात, अधिक आत्मविश्वासाने तिचा वापर करू इच्छितात आणि आधीच येत असलेल्या भविष्याचा मागोवा घेऊ इच्छितात.