നിങ്ങൾ ഒരു ഓപ്പൺ മോഡൽ ഡൗൺലോഡ് ചെയ്തില്ലെങ്കിലും അവ പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്?

ആധുനിക കമ്പ്യൂട്ടിംഗിന്റെ അദൃശ്യമായ സുരക്ഷാ കവചം

ഓപ്പൺ മോഡലുകൾ ഇന്നത്തെ ലോകത്തിന്റെ നിശബ്ദമായ അടിത്തറയാണ്. നിങ്ങൾ Hugging Face-ൽ നിന്ന് ഒരു ഫയൽ പോലും ഡൗൺലോഡ് ചെയ്തില്ലെങ്കിലും, ഈ മോഡലുകളാണ് നിങ്ങൾ ഉപയോഗിക്കുന്ന പ്രൊപ്രൈറ്ററി സർവീസുകളുടെ വിലയും അവയിലെ പുതിയ ഫീച്ചറുകളുടെ വേഗതയും തീരുമാനിക്കുന്നത്. അവ ഒരു മത്സര വേദി ഒരുക്കുന്നു. അവയില്ലായിരുന്നെങ്കിൽ, ഈ നൂറ്റാണ്ടിലെ ഏറ്റവും പ്രധാനപ്പെട്ട സാങ്കേതികവിദ്യയിൽ ചില കമ്പനികൾക്ക് മാത്രമായി വലിയ കുത്തക ഉണ്ടാകുമായിരുന്നു. ഓപ്പൺ മോഡലുകൾ നൽകുന്ന അടിസ്ഥാനപരമായ കഴിവുകൾ വലിയ കമ്പനികളെ നിരന്തരം പുതുമകൾ കൊണ്ടുവരാനും വില നിയന്ത്രിക്കാനും പ്രേരിപ്പിക്കുന്നു. ഇത് വെറുമൊരു വിനോദമോ ഗവേഷകർക്ക് മാത്രമുള്ള ഒന്നോ അല്ല. ടെക് വ്യവസായത്തിലെ അധികാരം എങ്ങനെ വിഭജിക്കപ്പെടുന്നു എന്നതിലെ വലിയൊരു മാറ്റമാണിത്. Llama പോലുള്ള ഒരു മോഡൽ പുറത്തിറങ്ങുമ്പോൾ, സാധാരണ ഹാർഡ്‌വെയറുകളിൽ എന്ത് ചെയ്യാൻ കഴിയും എന്നതിന് അത് പുതിയൊരു മാതൃക സൃഷ്ടിക്കുന്നു. ഈ സമ്മർദ്ദം നിങ്ങൾ ദിവസവും ഉപയോഗിക്കുന്ന ക്ലോസ്ഡ് മോഡലുകളെ മികച്ചതാക്കി മാറ്റുന്നു. ഈ ഓപ്പൺ രീതിയുടെ പ്രത്യേകതകൾ മനസ്സിലാക്കുന്നത് ഈ മേഖല എങ്ങോട്ടാണ് പോകുന്നത് എന്ന് തിരിച്ചറിയാനുള്ള ആദ്യ പടിയാണ്.

‘ഓപ്പൺ’ എന്ന മാർക്കറ്റിംഗ് തന്ത്രത്തിന്റെ പൊരുൾ തേടി

ഈ കാര്യത്തിൽ ‘ഓപ്പൺ’ എന്നാൽ എന്താണെന്നതിനെക്കുറിച്ച് വലിയ ആശയക്കുഴപ്പമുണ്ട്. യഥാർത്ഥ ഓപ്പൺ സോഴ്‌സ് സോഫ്റ്റ്‌വെയർ ആർക്കും അതിന്റെ കോഡ് കാണാനും മാറ്റം വരുത്താനും വിതരണം ചെയ്യാനും അനുവാദം നൽകുന്നു. എന്നാൽ ലാർജ് ലാംഗ്വേജ് മോഡലുകളുടെ കാര്യത്തിൽ ഈ നിർവചനം അല്പം സങ്കീർണ്ണമാണ്. ആളുകൾ ഓപ്പൺ സോഴ്‌സ് എന്ന് വിളിക്കുന്ന മിക്ക മോഡലുകളും യഥാർത്ഥത്തിൽ ഓപ്പൺ വെയ്റ്റ് (open weight) മോഡലുകളാണ്. ഇതിനർത്ഥം കമ്പനി മോഡലിന്റെ പരിശീലനം കഴിഞ്ഞ ഫൈനൽ പാരാമീറ്ററുകൾ പുറത്തുവിട്ടു എന്നാണ്, എന്നാൽ അത് പരിശീലിപ്പിക്കാൻ ഉപയോഗിച്ച ഡാറ്റാസെറ്റുകളോ ഡാറ്റ വൃത്തിയാക്കാൻ ഉപയോഗിച്ച സ്ക്രിപ്റ്റുകളോ അവർ പുറത്തുവിട്ടിട്ടില്ല. ഡാറ്റ ഇല്ലാതെ നിങ്ങൾക്ക് ആ മോഡൽ പൂജ്യത്തിൽ നിന്ന് നിർമ്മിക്കാൻ കഴിയില്ല. നിങ്ങൾക്ക് ലഭിക്കുന്നത് പൂർത്തിയായ ഒരു ഉൽപ്പന്നം മാത്രമാണ്. കൂടാതെ പെർമിസീവ് ലൈസൻസുകളും ഉണ്ട്. ചില കമ്പനികൾ ഓപ്പൺ എന്ന് തോന്നിപ്പിക്കുന്ന എന്നാൽ വാണിജ്യപരമായ ഉപയോഗത്തിന് നിയന്ത്രണങ്ങളുള്ള ലൈസൻസുകളാണ് ഉപയോഗിക്കുന്നത്. ഉദാഹരണത്തിന്, ഒരു മോഡൽ വ്യക്തികൾക്ക് സൗജന്യമായിരിക്കാം, എന്നാൽ നിങ്ങളുടെ കമ്പനിക്ക് 70 കോടിയിലധികം ഉപയോക്താക്കളുണ്ടെങ്കിൽ പണം നൽകേണ്ടി വരും. ഇന്റർനെറ്റ് കെട്ടിപ്പടുത്ത പരമ്പരാഗത GPL അല്ലെങ്കിൽ MIT ലൈസൻസുകളിൽ നിന്ന് ഇത് വളരെ വ്യത്യസ്തമാണ്. അതുപോലെ, ഒരു കമ്പനിയുടെ പൂർണ്ണ നിയന്ത്രണത്തിലുള്ള ഒരു API-യെ ‘ഓപ്പൺ’ എന്ന് വിശേഷിപ്പിക്കുന്ന മാർക്കറ്റിംഗ് രീതിയും നാം കാണാറുണ്ട്. ഇത് ഒട്ടും ഓപ്പൺ അല്ല. യഥാർത്ഥ ഓപ്പൺ മോഡലുകൾ നിങ്ങൾക്ക് ഫയലുകൾ ഡൗൺലോഡ് ചെയ്യാനും ഇന്റർനെറ്റ് ഇല്ലാതെ സ്വന്തം ഹാർഡ്‌വെയറിൽ പ്രവർത്തിപ്പിക്കാനും അനുവാദം നൽകുന്നു. ഈ വ്യത്യാസം വളരെ പ്രധാനമാണ്, കാരണം ഇതിലൂടെയാണ് ആർക്കാണ് യഥാർത്ഥ നിയന്ത്രണമെന്ന് തീരുമാനിക്കപ്പെടുന്നത്. നിങ്ങൾ ഒരു API-യെ ആണ് ആശ്രയിക്കുന്നതെങ്കിൽ, ആ കമ്പനിക്ക് എപ്പോൾ വേണമെങ്കിലും അതിന്റെ നിയമങ്ങൾ മാറ്റാനോ സേവനം നിർത്താനോ കഴിയും. എന്നാൽ വെയ്റ്റുകൾ നിങ്ങളുടെ ഹാർഡ് ഡ്രൈവിൽ ഉണ്ടെങ്കിൽ, അതിന്റെ അധികാരം നിങ്ങൾക്കാണ്.

എന്തുകൊണ്ടാണ് രാജ്യങ്ങൾ പബ്ലിക് വെയ്റ്റുകളിൽ വിശ്വസിക്കുന്നത്?

ഈ മോഡലുകളുടെ ആഗോള സ്വാധീനം വളരെ വലുതാണ്. പല രാജ്യങ്ങളെ സംബന്ധിച്ചിടത്തോളം, അവരുടെ മുഴുവൻ AI അടിസ്ഥാന സൗകര്യങ്ങൾക്കും വേണ്ടി ഏതാനും അമേരിക്കൻ കമ്പനികളെ ആശ്രയിക്കുന്നത് വലിയൊരു റിസ്ക് ആണ്. ഇതിനെയാണ് ഡിജിറ്റൽ പരമാധികാരം (digital sovereignty) എന്ന് വിളിക്കുന്നത്. യൂറോപ്പിലെയും ഏഷ്യയിലെയും സർക്കാരുകൾ സ്വന്തം പ്രാദേശിക AI പതിപ്പുകൾ നിർമ്മിക്കാൻ ഓപ്പൺ മോഡലുകളെയാണ് ഇപ്പോൾ നോക്കുന്നത്. സിലിക്കൺ വാലിയിലെ മൂല്യങ്ങൾക്ക് പകരം സ്വന്തം സംസ്കാരവും ഭാഷാപരമായ പ്രത്യേകതകളും മോഡലുകളിൽ ഉൾപ്പെടുത്താൻ ഇത് അവരെ സഹായിക്കുന്നു. കൂടാതെ ഡാറ്റ സ്വന്തം രാജ്യത്തിനുള്ളിൽ തന്നെ സൂക്ഷിക്കാനും ഇത് സഹായിക്കുന്നു. ചെറുകിട ഇടത്തരം സംരംഭങ്ങൾക്കും ഇത് ഗുണകരമാണ്. തങ്ങളുടെ പ്രധാന സാങ്കേതികവിദ്യ എപ്പോൾ വേണമെങ്കിലും നഷ്ടപ്പെട്ടേക്കാം എന്ന പേടിയില്ലാതെ അവർക്ക് പുതിയ ടൂളുകൾ നിർമ്മിക്കാം. ഓപ്പൺ മോഡലുകൾ വികസ്വര രാജ്യങ്ങളിലെ ഡെവലപ്പർമാർക്കും വലിയ അവസരമാണ് നൽകുന്നത്. ലാഗോസിലോ ജക്കാർത്തയിലോ ഉള്ള ഒരാൾക്ക് സാൻ ഫ്രാൻസിസ്കോയിലുള്ള ഒരാൾക്ക് ലഭിക്കുന്ന അതേ സാങ്കേതികവിദ്യ ഉപയോഗിക്കാൻ കഴിയും. ഓപ്പൺ മോഡലുകൾ ഒരു വലിയ ഇക്കോസിസ്റ്റം തന്നെ സൃഷ്ടിക്കുന്നു. മോഡലുകൾ വേഗത്തിൽ പ്രവർത്തിപ്പിക്കാനുള്ള വഴികൾ ഡെവലപ്പർമാർ കണ്ടെത്തുന്നു. ഈ കൂട്ടായ മുന്നേറ്റം ഏതൊരു കമ്പനിയേക്കാളും വേഗത്തിൽ വളരുന്നു. ഈ പുരോഗതികൾ ഒടുവിൽ നാം ഭാവിയിൽ ഉപയോഗിക്കുന്ന പ്രൊപ്രൈറ്ററി മോഡലുകളിലേക്കും എത്തിച്ചേരുന്നു.

ക്ലൗഡ് ഇല്ലാത്ത ഒരു ദിവസം

സാറ എന്ന സോഫ്റ്റ്‌വെയർ ഡെവലപ്പറുടെ ജീവിതത്തിൽ ഇത് എങ്ങനെ മാറ്റമുണ്ടാക്കുന്നു എന്ന് നോക്കാം. സെൻസിറ്റീവ് ആയ രോഗീവിവരങ്ങൾ കൈകാര്യം ചെയ്യുന്ന ഒരു മെഡിക്കൽ സ്റ്റാർട്ടപ്പിലാണ് സാറ ജോലി ചെയ്യുന്നത്. ഡാറ്റ സുരക്ഷാ പ്രശ്നങ്ങൾ ഉള്ളതിനാൽ അവളുടെ കമ്പനിക്ക് ക്ലൗഡ് AI ഉപയോഗിക്കാൻ കഴിയില്ല. പകരം, സാറ ഒരു ലോക്കൽ സെർവറിൽ ഓപ്പൺ വെയ്റ്റ് മോഡലാണ് ഉപയോഗിക്കുന്നത്. രാവിലെ, കോഡ് മെച്ചപ്പെടുത്താൻ (refactor) അവൾ ഈ മോഡലിന്റെ സഹായം തേടുന്നു. മോഡൽ ലോക്കൽ ആയതിനാൽ അവളുടെ കോഡ് മറ്റാരും കാണില്ല എന്ന ഉറപ്പുണ്ട്. പിന്നീട്, മെഡിക്കൽ കാര്യങ്ങളിൽ പ്രത്യേക പരിശീലനം ലഭിച്ച ഒരു മോഡൽ ഉപയോഗിച്ച് അവൾ രോഗികളുടെ വിവരങ്ങൾ സംഗ്രഹിക്കുന്നു. ഉച്ചഭക്ഷണ സമയത്ത്, സാറ ലോക്കൽ ഇൻഫറൻസിലെ പുതിയ ട്രെൻഡുകളെക്കുറിച്ച് AI ഇൻഡസ്ട്രി അനാലിസിസ് ബ്ലോഗ് വായിക്കുന്നു. വൈകുന്നേരം, പുതിയൊരു ക്വാണ്ടൈസേഷൻ രീതി പരീക്ഷിച്ച് തന്റെ പഴയ ഹാർഡ്‌വെയറിൽ വലിയൊരു മോഡൽ പ്രവർത്തിപ്പിക്കാൻ അവൾക്ക് കഴിയുന്നു. ഇതാണ് ഓപ്പൺ ഇക്കോസിസ്റ്റത്തിന്റെ ഭംഗി. അവൾ ഒരു വലിയ കമ്പനിയുടെ പുതിയ ഫീച്ചറിനായി കാത്തിരിക്കേണ്ടതില്ല. ദിവസാവസാനം തന്റെ ടൂളിന്റെ കൃത്യത പതിനഞ്ച് ശതമാനം വർദ്ധിപ്പിക്കാൻ അവൾക്ക് കഴിഞ്ഞു. നിയമ സ്ഥാപനങ്ങൾ മുതൽ ക്രിയേറ്റീവ് ഏജൻസികൾ വരെ ഇന്ന് ഈ രീതിയിലേക്ക് മാറുകയാണ്. വിദ്യാഭ്യാസ മേഖലയിലും ഇത് വലിയ മാറ്റങ്ങൾ കൊണ്ടുവരുന്നു. AI എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്ന് പഠിപ്പിക്കാൻ സർവ്വകലാശാലകൾ ഓപ്പൺ മോഡലുകൾ ഉപയോഗിക്കുന്നു. ഇന്റർനെറ്റ് ഇല്ലാത്ത വിദൂര സ്ഥലങ്ങളിലെ ഗവേഷകർക്കും ഇത് വലിയ അനുഗ്രഹമാണ്.

സൗജന്യ സോഫ്റ്റ്‌വെയറിന്റെ വലിയ വില

ഗുണങ്ങൾ ഉണ്ടെങ്കിലും, ഇതിന്റെ യഥാർത്ഥ ചെലവിനെക്കുറിച്ച് നാം ചിന്തിക്കേണ്ടതുണ്ട്. ഈ മോഡലുകൾ പരിശീലിപ്പിക്കാൻ ആവശ്യമായ വലിയ കമ്പ്യൂട്ടിംഗ് പവർ നൽകാൻ ആരാണ് പണം മുടക്കുന്നത്? Meta പോലുള്ള ഒരു കമ്പനി കോടിക്കണക്കിന് രൂപ ചിലവാക്കി ഒരു മോഡൽ നിർമ്മിച്ച് അത് സൗജന്യമായി നൽകുന്നതിന് പിന്നിലെ ലക്ഷ്യമെന്താണ്? ഇത് ചെറിയ എതിരാളികളെ ഇല്ലാതാക്കാനുള്ള തന്ത്രമാണോ? സുരക്ഷാ പ്രശ്നങ്ങളും നാം കാണാതിരുന്നുകൂടാ. ഒരു മോഡൽ പൂർണ്ണമായും ഓപ്പൺ ആണെങ്കിൽ, അതിലെ സുരക്ഷാ നിയന്ത്രണങ്ങൾ നീക്കം ചെയ്യാൻ എളുപ്പമാണ്. ഇത് ഡീപ്‌ഫേക്കുകൾ നിർമ്മിക്കാനോ ഹാനികരമായ കോഡുകൾ ഉണ്ടാക്കാനോ ദുരുപയോഗം ചെയ്യപ്പെട്ടേക്കാം.

ഹാർഡ്‌വെയറിന്റെ വിലയാണ് മറ്റൊരു പ്രശ്നം. ഈ മോഡലുകൾ പ്രവർത്തിപ്പിക്കാൻ വലിയ വിലയുള്ള GPU-കൾ ആവശ്യമാണ്. ഡാറ്റയുടെ കാര്യത്തിലും വ്യക്തത കുറവുണ്ട്. ഏത് ഡാറ്റ ഉപയോഗിച്ചാണ് ഇവ പരിശീലിപ്പിച്ചത് എന്ന് നമുക്കറിയില്ല. ഓപ്പൺ സോഴ്‌സ് ഇനിഷ്യേറ്റീവ് ഇതിനായി ചില മാനണ്ഡങ്ങൾ കൊണ്ടുവരാൻ ശ്രമിക്കുന്നുണ്ട്. നിയമങ്ങളിൽ നിന്ന് രക്ഷപ്പെടാൻ ‘ഓപ്പൺ’ എന്ന പേര് ഒരു കവചമായി ഉപയോഗിക്കുന്നുണ്ടോ എന്നും നാം പരിശോധിക്കണം. ഇവയെല്ലാം ഭാവിയിൽ നാം ഉത്തരം കണ്ടെത്തേണ്ട ചോദ്യങ്ങളാണ്.

ലോക്കൽ ഇൻഫറൻസിന്റെ ഉള്ളുകള്ളികൾ

പ്രൊഫഷണൽ ആവശ്യങ്ങൾക്കായി ഈ മോഡലുകൾ ഉപയോഗിക്കാൻ ആഗ്രഹിക്കുന്നവർക്ക് സാങ്കേതിക വിവരങ്ങൾ പ്രധാനമാണ്. ക്വാണ്ടൈസേഷൻ ഉപയോഗിച്ച് മോഡലുകളുടെ വലിപ്പം കുറച്ച് സാധാരണ GPU-കളിൽ അവ പ്രവർത്തിപ്പിക്കാം. ഉദാഹരണത്തിന്, 40GB മെമ്മറി വേണ്ട ഒരു മോഡലിനെ ഗുണനിലവാരം കുറയാതെ 8GB-യിലേക്ക് മാറ്റാം. Hugging Face അല്ലെങ്കിൽ Together AI പോലുള്ള പ്ലാറ്റ്‌ഫോമുകൾ വഴിയും ഈ മോഡലുകൾ ലഭ്യമാണ്. LoRA പോലുള്ള സാങ്കേതികവിദ്യകൾ ഉപയോഗിച്ച് കുറഞ്ഞ സമയത്തിനുള്ളിൽ നിങ്ങളുടെ സ്വന്തം ഡാറ്റയിൽ മോഡലിനെ പരിശീലിപ്പിക്കാം. പുതിയ ഓപ്പൺ മോഡലുകൾ വലിയ ഡോക്യുമെന്റുകൾ ഒരേസമയം കൈകാര്യം ചെയ്യാൻ സഹായിക്കുന്ന 32k അല്ലെങ്കിൽ 128k കോൺടെക്സ്റ്റ് വിൻഡോകൾ നൽകുന്നുണ്ട്. നിലവിലുള്ള സോഫ്റ്റ്‌വെയറുകളിലേക്ക് ഇവ ചേർക്കുന്നത് ഇപ്പോൾ വളരെ എളുപ്പമാണ്. ഭാവിയിൽ, ഈ ടൂളുകൾ കൂടുതൽ ലളിതമാകുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

• ക്രോസ് പ്ലാറ്റ്‌ഫോം ഇൻഫറൻസിനായി Llama.cpp
• ലോക്കൽ മോഡൽ മാനേജ്‌മെന്റിനായി Ollama

തിരഞ്ഞെടുപ്പിനെക്കുറിച്ചുള്ള അന്തിമ വിധി

ഓപ്പൺ മോഡലുകളോ ക്ലോസ്ഡ് മോഡലുകളോ എന്നുള്ളത് ഒരു തർക്കവിഷയമല്ല. മിക്കവരും ഇവ രണ്ടും കൂടി കലർന്ന രീതിയിലായിരിക്കും ഉപയോഗിക്കുക. Meta AI പോലുള്ള കമ്പനികളുടെ ക്ലോസ്ഡ് മോഡലുകൾ എളുപ്പത്തിൽ ഉപയോഗിക്കാവുന്നവയും മികച്ച പ്രകടനം കാഴ്ചവെക്കുന്നവയുമാണ്. എന്നാൽ ഓപ്പൺ മോഡലുകൾ നിങ്ങൾക്ക് നിയന്ത്രണവും സ്വകാര്യതയും നൽകുന്നു. നിങ്ങൾ നേരിട്ട് ഒരു മോഡൽ ഡൗൺലോഡ് ചെയ്തില്ലെങ്കിലും, മറ്റുള്ളവർക്ക് അത് ചെയ്യാൻ കഴിയുന്നു എന്നത് ഈ മേഖലയിൽ സുതാര്യത ഉറപ്പാക്കുന്നു. AI എന്നത് ഏതാനും ആളുകളുടെ രഹസ്യമല്ല, മറിച്ച് എല്ലാവർക്കും ഉപയോഗിക്കാവുന്ന ഒരു ഉപകരണമായി നിലനിൽക്കുന്നു എന്ന് ഇത് ഉറപ്പാക്കുന്നു.

ഞങ്ങൾ ഉൾപ്പെടുത്തണമെന്ന് നിങ്ങൾ കരുതുന്ന ഒരു AI സ്റ്റോറിയോ, ടൂളോ, ട്രെൻഡോ, ചോദ്യമോ നിങ്ങളുടെ പക്കലുണ്ടോ? നിങ്ങളുടെ ലേഖന ആശയം ഞങ്ങൾക്ക് അയയ്ക്കുക — അത് കേൾക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

编者按：我们创建本网站，旨在作为一个多语言人工智能新闻和指南中心，为那些并非电脑极客，但仍然希望了解人工智能、更有信心地使用它并关注正在到来的未来的人群服务。

ഒരു പിശകോ തിരുത്തേണ്ട എന്തെങ്കിലും കണ്ടെത്തിയോ? ഞങ്ങളെ അറിയിക്കുക.