നമ്മൾ ഇവിടെ എത്തിയത് എങ്ങനെ: AI കുതിപ്പിന്റെ ലഘുചരിത്രം

ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസിലെ ഇപ്പോഴത്തെ ഈ വലിയ കുതിച്ചുചാട്ടം 2022-ന്റെ അവസാനത്തിൽ വൈറലായ ഒരു ചാറ്റ്‌ബോട്ടുമായി തുടങ്ങിയതല്ല. 2017-ൽ ഗൂഗിൾ എൻജിനീയർമാർ പ്രസിദ്ധീകരിച്ച ‘Attention Is All You Need’ എന്ന ഗവേഷണ പ്രബന്ധത്തിൽ നിന്നാണ് ഇതിന്റെ തുടക്കം. മെഷീനുകൾ മനുഷ്യഭാഷയെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നു എന്നതിനെ മാറ്റിമറിച്ച ‘ട്രാൻസ്‌ഫോർമർ’ (Transformer) ആർക്കിടെക്ചറാണ് ഈ പ്രബന്ധം അവതരിപ്പിച്ചത്. ഇതിനുമുമ്പ്, ഒരു നീണ്ട വാക്യത്തിന്റെ സന്ദർഭം നിലനിർത്താൻ കമ്പ്യൂട്ടറുകൾ പാടുപെട്ടിരുന്നു. ഒരു ഖണ്ഡികയുടെ അവസാനം എത്തുമ്പോഴേക്കും തുടക്കം അവ മറന്നുപോകുമായിരുന്നു. എന്നാൽ ട്രാൻസ്‌ഫോർമർ വന്നതോടെ, ഒരു മോഡലിന് വിവിധ വാക്കുകളുടെ പ്രാധാന്യം ഒരേസമയം വിലയിരുത്താൻ സാധിച്ചു. ഈ സാങ്കേതിക മാറ്റമാണ് ആധുനിക ടൂളുകൾ റോബോട്ടിക് രീതിയിലല്ലാതെ, വളരെ വ്യക്തമായി സംസാരിക്കുന്നതായി നമുക്ക് തോന്നാൻ പ്രധാന കാരണം. സീക്വൻഷ്യൽ പ്രോസസ്സിംഗിൽ നിന്ന് മാറി ചിന്തിക്കാനുള്ള ആ തീരുമാനത്തിന്റെ വലിയൊരു ഫലമാണ് നമ്മൾ ഇപ്പോൾ അനുഭവിക്കുന്നത്. ഈ ചരിത്രം വെറും കോഡിംഗിനെക്കുറിച്ചുള്ളതല്ല, മറിച്ച് വിവരങ്ങളുമായി നമ്മൾ ഇടപെടുന്ന രീതിയിലുണ്ടായ അടിസ്ഥാനപരമായ മാറ്റത്തെക്കുറിച്ചാണ്. ഉത്തരങ്ങൾക്കായി തിരയുന്നതിൽ നിന്ന് അവ നിർമ്മിക്കുന്നതിലേക്ക് മാറിയത് ഇന്നത്തെ ഓരോ ഇന്റർനെറ്റ് ഉപയോക്താവിന്റെയും അടിസ്ഥാന പ്രതീക്ഷകളെ മാറ്റിമറിച്ചിരിക്കുന്നു.

യുക്തിയേക്കാൾ ഉപരിയായി സ്റ്റാറ്റിസ്റ്റിക്കൽ പ്രവചനം

ഇന്നത്തെ സാങ്കേതികവിദ്യയുടെ അവസ്ഥ മനസ്സിലാക്കാൻ, ഈ സിസ്റ്റങ്ങൾ ചിന്തിക്കുന്നുണ്ടെന്ന ധാരണ നമ്മൾ ഉപേക്ഷിക്കണം. അവ ചിന്തിക്കുന്നില്ല. അവ കേവലം കൂറ്റൻ സ്റ്റാറ്റിസ്റ്റിക്കൽ എൻജിനുകളാണ്, അവ ഒരു സീക്വൻസിലെ അടുത്ത ഭാഗം പ്രവചിക്കുക മാത്രമാണ് ചെയ്യുന്നത്. നിങ്ങൾ ഒരു പ്രോംപ്റ്റ് ടൈപ്പ് ചെയ്യുമ്പോൾ, നിങ്ങളുടെ ഇൻപുട്ടിന് ശേഷം വരാൻ സാധ്യതയുള്ള വാക്ക് ഏതാണെന്ന് കണ്ടെത്താൻ സിസ്റ്റം അതിന്റെ ട്രെയിനിംഗ് ഡാറ്റ പരിശോധിക്കുന്നു. ഇത് പഴയകാലത്തെ ലോജിക്-ബേസ്ഡ് പ്രോഗ്രാമിംഗിൽ നിന്ന് വ്യത്യസ്തമാണ്. മുൻകാലങ്ങളിൽ, സോഫ്റ്റ്‌വെയറുകൾ കർശനമായ ‘if-then’ നിയമങ്ങൾ പിന്തുടർന്നിരുന്നു. ഉപയോക്താവ് ഒരു ബട്ടൺ ക്ലിക്ക് ചെയ്താൽ, സോഫ്റ്റ്‌വെയർ ഒരു പ്രത്യേക പ്രവർത്തനം ചെയ്യുമായിരുന്നു. എന്നാൽ ഇന്ന്, ഔട്ട്‌പുട്ട് പ്രോബബിലിസ്റ്റിക് (സാധ്യത അടിസ്ഥാനമാക്കിയുള്ള) ആണ്. അതായത്, ഒരേ ഇൻപുട്ട് തന്നെ മോഡലിന്റെ സെറ്റിംഗ്‌സിനനുസരിച്ച് വ്യത്യസ്തമായ ഔട്ട്‌പുട്ടുകൾ നൽകാം. ഈ മാറ്റം ഫ്ലെക്സിബിൾ ആയ എന്നാൽ പരമ്പരാഗത കാൽക്കുലേറ്ററുകൾ വരുത്താത്ത തരത്തിലുള്ള പിഴവുകൾ സംഭവിക്കാൻ സാധ്യതയുള്ള പുതിയൊരു തരം സോഫ്റ്റ്‌വെയറിന് ജന്മം നൽകി.

ഈ ട്രെയിനിംഗിന്റെ വ്യാപ്തിയാണ് ഫലങ്ങളെ ബുദ്ധിശക്തിയുള്ളതായി തോന്നിപ്പിക്കുന്നത്. പൊതു ഇന്റർനെറ്റിലുള്ള മിക്കവാറും എല്ലാ വിവരങ്ങളും കമ്പനികൾ ഈ മോഡലുകൾക്ക് തീറ്റയായി നൽകിയിട്ടുണ്ട്. പുസ്തകങ്ങൾ, ലേഖനങ്ങൾ, കോഡ് റിപ്പോസിറ്ററികൾ, ഫോറം പോസ്റ്റുകൾ എന്നിവ ഇതിൽ ഉൾപ്പെടുന്നു. കോടിക്കണക്കിന് പാരാമീറ്ററുകൾ വിശകലനം ചെയ്യുന്നതിലൂടെ, വാക്കുകളുടെ അർത്ഥം മനസ്സിലാക്കാതെ തന്നെ മനുഷ്യചിന്തയുടെ ഘടന ഈ മോഡലുകൾ പഠിച്ചെടുക്കുന്നു. ഈ അർത്ഥം മനസ്സിലാക്കാനുള്ള കഴിവില്ലായ്മ കൊണ്ടാണ് ഒരു മോഡലിന് മികച്ചൊരു ലീഗൽ ബ്രീഫ് എഴുതാൻ കഴിയുകയും എന്നാൽ ലളിതമായ ഒരു കണക്ക് പ്രശ്നത്തിൽ പരാജയപ്പെടുകയും ചെയ്യുന്നത്. അത് കണക്കുകൂട്ടുകയല്ല, മറിച്ച് മുമ്പ് കണക്ക് ചെയ്ത ആളുകളുടെ പാറ്റേണുകളെ അനുകരിക്കുകയാണ് ചെയ്യുന്നത്. ഈ വ്യത്യാസം മനസ്സിലാക്കുന്നത് പ്രൊഫഷണൽ ആവശ്യങ്ങൾക്കായി ഈ ടൂളുകൾ ഉപയോഗിക്കുന്ന എല്ലാവർക്കും അത്യാവശ്യമാണ്. സിസ്റ്റങ്ങൾ പൂർണ്ണമായും തെറ്റായിരിക്കുമ്പോൾ പോലും അവ എന്തുകൊണ്ട് ഇത്ര ആത്മവിശ്വാസത്തോടെ സംസാരിക്കുന്നു എന്ന് ഇത് വ്യക്തമാക്കുന്നു.

സിലിക്കണിനായുള്ള ആഗോള മത്സരം

ഈ സാങ്കേതിക മാറ്റത്തിന്റെ പ്രഭാവം സോഫ്റ്റ്‌വെയറിന് അപ്പുറത്തേക്ക് വ്യാപിക്കുന്നു. ഇത് ഹാർഡ്‌വെയറിനായുള്ള വലിയൊരു ഭൗമരാഷ്ട്രീയ പോരാട്ടത്തിന് വഴിവെച്ചിട്ടുണ്ട്. പ്രത്യേകിച്ച്, ലോകം ഇപ്പോൾ ഹൈ-എൻഡ് ഗ്രാഫിക്സ് പ്രോസസ്സിംഗ് യൂണിറ്റുകളെ അഥവാ GPU-കളെ ആശ്രയിച്ചിരിക്കുന്നു. ഈ ചിപ്പുകൾ യഥാർത്ഥത്തിൽ വീഡിയോ ഗെയിമുകൾക്കായി രൂപകൽപ്പന ചെയ്തവയാണ്, എന്നാൽ ഒരേസമയം പല ചെറിയ കണക്കുകൂട്ടലുകൾ നടത്താനുള്ള അവയുടെ കഴിവ് അവയെ AI-ക്ക് അനുയോജ്യമാക്കുന്നു. ഒരു കമ്പനി, NVIDIA, ഇപ്പോൾ ആഗോള സമ്പദ്‌വ്യവസ്ഥയിൽ കേന്ദ്രസ്ഥാനം വഹിക്കുന്നു, കാരണം ഈ മോഡലുകളെ പരിശീലിപ്പിക്കാൻ ആവശ്യമായ ചിപ്പുകൾ അവർ നിർമ്മിക്കുന്നു. രാജ്യങ്ങൾ ഇപ്പോൾ ഈ ചിപ്പുകളെ എണ്ണയോ സ്വർണ്ണമോ പോലെയാണ് കാണുന്നത്. അടുത്ത ദശകത്തിലെ സാമ്പത്തിക വളർച്ചയിൽ ഏത് രാജ്യങ്ങൾ മുന്നിലെത്തുമെന്ന് തീരുമാനിക്കുന്ന തന്ത്രപ്രധാനമായ ആസ്തികളാണിവ.

ഈ ആശ്രിതത്വം വലിയ കമ്പ്യൂട്ടിംഗ് ശക്തി താങ്ങാൻ കഴിയുന്നവരും അല്ലാത്തവരും തമ്മിൽ ഒരു വിഭജനം സൃഷ്ടിച്ചിട്ടുണ്ട്. ഒരു ടോപ്പ്-ടയർ മോഡലിനെ പരിശീലിപ്പിക്കാൻ ഇപ്പോൾ വൈദ്യുതിക്കും ഹാർഡ്‌വെയറിനുമായി കോടിക്കണക്കിന് ഡോളറാണ് ചെലവാകുന്നത്. ഈ വലിയ തടസ്സം കാരണം അമേരിക്കയിലെയും ചൈനയിലെയും ഏതാനും വലിയ കോർപ്പറേഷനുകൾക്കാണ് ഭൂരിഭാഗം അധികാരവും. സ്വാധീനത്തിന്റെ ഈ കേന്ദ്രീകരണം ലോകമെമ്പാടുമുള്ള റെഗുലേറ്റർമാർക്ക് വലിയ ആശങ്കയാണ്. ഡാറ്റ എങ്ങനെ സൂക്ഷിക്കുന്നു എന്നതുമുതൽ അടിസ്ഥാന ടൂളുകൾ ഉപയോഗിക്കാൻ ഒരു സ്റ്റാർട്ടപ്പ് എത്ര പണം നൽകണം എന്നതുവരെ ഇത് ബാധിക്കുന്നു. വ്യവസായത്തിന്റെ സാമ്പത്തിക ഗുരുത്വാകർഷണം ഡാറ്റാ സെന്ററുകളുടെ ഉടമകളിലേക്ക് മാറിയിരിക്കുന്നു. ചെറിയൊരു ടീമിന് കുറഞ്ഞ ബജറ്റിൽ ലോകോത്തര ഉൽപ്പന്നം നിർമ്മിക്കാൻ കഴിഞ്ഞിരുന്ന പഴയ ഇന്റർനെറ്റ് കാലഘട്ടത്തിൽ നിന്ന് ഇത് വലിയൊരു മാറ്റമാണ്. 2026-ൽ, പ്രവേശനച്ചെലവ് എന്നത്തേക്കാളും കൂടുതലാണ്.

അമൂർത്തമായ കാര്യങ്ങൾ ദൈനംദിന ജോലിയാകുമ്പോൾ

ഭൂരിഭാഗം ആളുകൾക്കും, ഈ സാങ്കേതികവിദ്യയുടെ ചരിത്രത്തേക്കാൾ പ്രധാനം അതിന്റെ ദൈനംദിന ഉപയോഗമാണ്. സാറ എന്ന മാർക്കറ്റിംഗ് മാനേജരെക്കുറിച്ച് ചിന്തിക്കുക. കുറച്ചു വർഷങ്ങൾക്ക് മുമ്പ്, അവളുടെ ദിവസം മണിക്കൂറുകളോളം നീളുന്ന ഗവേഷണവും എഴുത്തുമായിരുന്നു. ട്രെൻഡുകൾക്കായി തിരയുകയും, ഡസൻ കണക്കിന് ലേഖനങ്ങൾ വായിക്കുകയും, അവയെ ഒരു റിപ്പോർട്ടായി സംഗ്രഹിക്കുകയും ചെയ്യണമായിരുന്നു. ഇന്ന്, അവളുടെ വർക്ക്ഫ്ലോ വ്യത്യസ്തമാണ്. മികച്ച ട്രെൻഡുകൾ സംഗ്രഹിക്കാനും ഒരു പ്രാഥമിക ഔട്ട്‌ലൈൻ തയ്യാറാക്കാനും അവൾ ഒരു മോഡലിനെ ഉപയോഗിക്കുന്നു. അവൾ ഇപ്പോൾ ഒരു എഴുത്തുകാരിയല്ല. മെഷീൻ നിർമ്മിച്ച ഉള്ളടക്കത്തിന്റെ എഡിറ്ററാണ്. കീബോർഡ് ഉപയോഗിക്കുന്ന എല്ലാ വ്യവസായങ്ങളിലും ഈ മാറ്റം സംഭവിക്കുന്നുണ്ട്. ഇത് വേഗതയെക്കുറിച്ചുള്ള കാര്യമല്ല. ഒഴിഞ്ഞ പേജിൽ നിന്ന് തുടങ്ങേണ്ടി വരുന്ന ബുദ്ധിമുട്ട് ഒഴിവാക്കുന്നതിനെക്കുറിച്ചാണ്. മെഷീൻ ആദ്യത്തെ ഡ്രാഫ്റ്റ് നൽകുന്നു, മനുഷ്യൻ അതിന് ദിശ നൽകുന്നു.

ഈ മാറ്റം തൊഴിൽ സുരക്ഷയ്ക്കും നൈപുണ്യ വികസനത്തിനും വലിയ പ്രത്യാഘാതങ്ങൾ ഉണ്ടാക്കുന്നുണ്ട്. ഒരു ജൂനിയർ അനലിസ്റ്റിന് ഈ ടൂളുകൾ ഉപയോഗിച്ച് മൂന്ന് പേരുടെ ജോലി ചെയ്യാൻ കഴിയുമെങ്കിൽ, എൻട്രി-ലെവൽ തൊഴിൽ വിപണിക്ക് എന്ത് സംഭവിക്കും? സങ്കീർണ്ണമായ ജോലികൾ പൂർത്തിയാക്കാൻ ഒരാൾ ഒന്നിലധികം AI ഏജന്റുകളെ നിയന്ത്രിക്കുന്ന ഒരു ‘സൂപ്പർ-യൂസർ’ മോഡലിലേക്കുള്ള മാറ്റമാണ് നമ്മൾ കാണുന്നത്. GitHub Copilot പോലുള്ള ടൂളുകൾ കോഡിന്റെ വലിയ ബ്ലോക്കുകൾ നിർദ്ദേശിക്കുന്ന സോഫ്റ്റ്‌വെയർ എൻജിനീയറിംഗിൽ ഇത് പ്രകടമാണ്. ഡെവലപ്പർ ടൈപ്പ് ചെയ്യാൻ കുറച്ചു സമയം മാത്രം ചെലവഴിക്കുകയും ഓഡിറ്റിംഗിന് കൂടുതൽ സമയം നൽകുകയും ചെയ്യുന്നു. ഈ പുതിയ യാഥാർത്ഥ്യത്തിന് വ്യത്യസ്തമായ കഴിവുകൾ ആവശ്യമാണ്. എല്ലാ സിന്റാക്സ് നിയമങ്ങളും ഓർമ്മിക്കേണ്ടതില്ല. ശരിയായ ചോദ്യങ്ങൾ എങ്ങനെ ചോദിക്കണമെന്നും, തികഞ്ഞതെന്ന് തോന്നുന്ന ടെക്സ്റ്റിലെ ചെറിയ തെറ്റുകൾ എങ്ങനെ കണ്ടെത്തണമെന്നും അറിഞ്ഞിരിക്കണം. 2026-ലെ ഒരു പ്രൊഫഷണലിന്റെ ജീവിതം ഇപ്പോൾ പ്രോംപ്റ്റിംഗിന്റെയും പരിശോധനയുടെയും ഒരു തുടർച്ചയായ ചക്രമാണ്. ഇത് പ്രായോഗികമായി എങ്ങനെയാണെന്ന് നോക്കാം:

• സോഫ്റ്റ്‌വെയർ ഡെവലപ്പർമാർ ആവർത്തിച്ചുള്ള യൂണിറ്റ് ടെസ്റ്റുകളും ബോയിലർപ്ലേറ്റ് കോഡും എഴുതാൻ മോഡലുകൾ ഉപയോഗിക്കുന്നു.
• ലീഗൽ അസിസ്റ്റന്റുമാർ നിർദ്ദിഷ്ട കീവേഡുകൾക്കായി ആയിരക്കണക്കിന് പേജുകൾ സ്കാൻ ചെയ്യാൻ അവ ഉപയോഗിക്കുന്നു.
• മെഡിക്കൽ ഗവേഷകർ വിവിധ പ്രോട്ടീൻ ഘടനകൾ എങ്ങനെ ഇടപെടുന്നു എന്ന് പ്രവചിക്കാൻ അവ ഉപയോഗിക്കുന്നു.
• കസ്റ്റമർ സർവീസ് ടീമുകൾ മനുഷ്യ ഇടപെടലില്ലാതെ പതിവ് അന്വേഷണങ്ങൾ കൈകാര്യം ചെയ്യാൻ അവ ഉപയോഗിക്കുന്നു.

ബ്ലാക്ക് ബോക്സിന്റെ നിശബ്ദ ചെലവുകൾ

നമ്മൾ ഈ സിസ്റ്റങ്ങളെ കൂടുതൽ ആശ്രയിക്കുമ്പോൾ, അവയുടെ മറഞ്ഞിരിക്കുന്ന ചെലവുകളെക്കുറിച്ച് കഠിനമായ ചോദ്യങ്ങൾ ചോദിക്കേണ്ടതുണ്ട്. ആദ്യത്തേത് പാരിസ്ഥിതിക ആഘാതമാണ്. ഒരു വലിയ ലാംഗ്വേജ് മോഡലിലേക്കുള്ള ഒരൊറ്റ ചോദ്യത്തിന് സാധാരണ ഗൂഗിൾ തിരയലിനേക്കാൾ കൂടുതൽ വൈദ്യുതി ആവശ്യമാണ്. ദശലക്ഷക്കണക്കിന് ഉപയോക്താക്കൾ ഇത് ചെയ്യുമ്പോൾ, കാർബൺ ഫുട്പ്രിന്റ് ഗണ്യമായി വർദ്ധിക്കുന്നു. ജലത്തിന്റെ ഉപയോഗത്തെക്കുറിച്ചുള്ള പ്രശ്നവുമുണ്ട്. ഈ മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്ന സെർവറുകളെ തണുപ്പിക്കാൻ ഡാറ്റാ സെന്ററുകൾക്ക് വലിയ അളവിൽ വെള്ളം ആവശ്യമാണ്. വേഗത്തിൽ ഇമെയിൽ എഴുതാൻ വേണ്ടി പ്രാദേശിക ജല സുരക്ഷ ബലിനൽകാൻ നമ്മൾ തയ്യാറാണോ? ഡാറ്റാ സെന്ററുകൾക്ക് സമീപമുള്ള പല കമ്മ്യൂണിറ്റികളും ചോദിച്ചു തുടങ്ങുന്ന ചോദ്യമാണിത്. ഡാറ്റയെക്കുറിച്ചും നമ്മൾ ചിന്തിക്കണം. മിക്ക മോഡലുകളും സ്രഷ്‌ടാക്കളുടെ സമ്മതമില്ലാതെ പകർപ്പവകാശമുള്ള മെറ്റീരിയലുകളിൽ നിന്നാണ് പരിശീലിപ്പിച്ചത്. ഇത് കലാകാരന്മാരിൽ നിന്നും എഴുത്തുകാരിൽ നിന്നും വലിയൊരു നിയമപോരാട്ടത്തിന് വഴിവെച്ചിട്ടുണ്ട്, തങ്ങളുടെ ജോലി മോഷ്ടിച്ചാണ് തങ്ങളെത്തന്നെ മാറ്റിസ്ഥാപിക്കാൻ സാധ്യതയുള്ള ഒരു ഉൽപ്പന്നം നിർമ്മിച്ചതെന്ന് അവർ വാദിക്കുന്നു.

പിന്നെ ബ്ലാക്ക് ബോക്സിന്റെ പ്രശ്നമുണ്ട്. ഈ മോഡലുകൾ നിർമ്മിക്കുന്ന എൻജിനീയർമാർക്ക് പോലും അവ എന്തുകൊണ്ട് ചില തീരുമാനങ്ങൾ എടുക്കുന്നു എന്ന് പൂർണ്ണമായി മനസ്സിലാകുന്നില്ല. നിയമനം അല്ലെങ്കിൽ ലോൺ അംഗീകാരം പോലുള്ള സെൻസിറ്റീവ് ജോലികൾക്കായി AI ഉപയോഗിക്കുമ്പോൾ ഈ സുതാര്യതയില്ലായ്മ അപകടകരമാണ്. ഒരു മോഡൽ ഒരു പ്രത്യേക ഗ്രൂപ്പിനെതിരെ പക്ഷപാതം കാണിച്ചാൽ, അതിന്റെ മൂലകാരണം കണ്ടെത്താനും പരിഹരിക്കാനും ബുദ്ധിമുട്ടാണ്. സ്വന്തം യുക്തി വിശദീകരിക്കാൻ കഴിയാത്ത ഒരു സിസ്റ്റത്തിന് പ്രധാനപ്പെട്ട സാമൂഹിക തീരുമാനങ്ങൾ നമ്മൾ ഔട്ട്‌സോഴ്‌സ് ചെയ്യുകയാണ്. ഒരു മെഷീനെ എങ്ങനെ ഉത്തരവാദിത്തമുള്ളതാക്കാം? ഈ സിസ്റ്റങ്ങളെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിക്കുന്ന ഡാറ്റ പഴയ മുൻവിധികൾ ശക്തിപ്പെടുത്തുന്നില്ലെന്ന് എങ്ങനെ ഉറപ്പാക്കാം? ഇവ വെറും സൈദ്ധാന്തിക പ്രശ്നങ്ങളല്ല. ഏറ്റവും പുതിയ AI വികസനങ്ങൾ വിവിധ തലത്തിലുള്ള വിജയങ്ങളോടെ പരിഹരിക്കാൻ ശ്രമിക്കുന്ന സജീവമായ പ്രശ്നങ്ങളാണിവ. ഞങ്ങൾ ഉൾപ്പെടുത്തണമെന്ന് നിങ്ങൾ കരുതുന്ന ഒരു AI സ്റ്റോറിയോ, ടൂളോ, ട്രെൻഡോ, ചോദ്യമോ നിങ്ങളുടെ പക്കലുണ്ടോ? നിങ്ങളുടെ ലേഖന ആശയം ഞങ്ങൾക്ക് അയയ്ക്കുക — അത് കേൾക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

ലേറ്റൻസിയും ടോക്കൺ ഇക്കോണമിയും

ഈ ടൂളുകളെ പ്രൊഫഷണൽ വർക്ക്ഫ്ലോകളിലേക്ക് സംയോജിപ്പിക്കാൻ ആഗ്രഹിക്കുന്നവർക്ക്, സാങ്കേതിക വിശദാംശങ്ങൾ പ്രധാനമാണ്. ഈ മോഡലുകളുമായുള്ള മിക്ക ഇടപെടലുകളും ഒരു ആപ്ലിക്കേഷൻ പ്രോഗ്രാമിംഗ് ഇന്റർഫേസ് അഥവാ API വഴിയാണ് നടക്കുന്നത്. ഇവിടെയാണ് ടോക്കണുകളെക്കുറിച്ചുള്ള ആശയം വരുന്നത്. ഒരു ടോക്കൺ എന്നത് ഏകദേശം നാല് ഇംഗ്ലീഷ് അക്ഷരങ്ങളാണ്. മോഡലുകൾ വാക്കുകൾ വായിക്കുന്നില്ല. അവ ടോക്കണുകളാണ് വായിക്കുന്നത്. മിക്ക ദാതാക്കളും പ്രോസസ്സ് ചെയ്ത ടോക്കണുകളുടെ എണ്ണത്തെ അടിസ്ഥാനമാക്കിയാണ് നിരക്ക് ഈടാക്കുന്നത് എന്നതുകൊണ്ട് ഇത് പ്രധാനമാണ്. നീണ്ട രേഖകൾ വിശകലനം ചെയ്യുന്ന ഒരു ടൂളാണ് നിങ്ങൾ നിർമ്മിക്കുന്നതെങ്കിൽ, നിങ്ങളുടെ ചെലവ് വേഗത്തിൽ വർദ്ധിക്കാം. കോൺടെക്സ്റ്റ് വിൻഡോയും നിങ്ങൾ മാനേജ് ചെയ്യണം. മോഡലിന് ഒരേസമയം എത്ര വിവരങ്ങൾ ‘ഓർമ്മിക്കാൻ’ കഴിയും എന്നതാണ് ഇതുകൊണ്ട് അർത്ഥമാക്കുന്നത്. പഴയ മോഡലുകൾക്ക് ചെറിയ വിൻഡോകളായിരുന്നു ഉണ്ടായിരുന്നത്, എന്നാൽ പുതിയ പതിപ്പുകൾക്ക് ഒരു പ്രോംപ്റ്റിൽ മുഴുവൻ പുസ്തകങ്ങളും പ്രോസസ്സ് ചെയ്യാൻ കഴിയും. എന്നിരുന്നാലും, വലിയ വിൻഡോകൾ പലപ്പോഴും ലേറ്റൻസി വർദ്ധിപ്പിക്കുകയും ടെക്സ്റ്റിന്റെ മധ്യഭാഗത്തുള്ള പ്രത്യേക വിശദാംശങ്ങൾ മോഡലിന് നഷ്ടപ്പെടാനുള്ള സാധ്യത കൂട്ടുകയും ചെയ്യുന്നു.

മറ്റൊരു പ്രധാന മേഖല ലോക്കൽ സ്റ്റോറേജും സ്വകാര്യതയുമാണ്. പല സംരംഭങ്ങളും സെൻസിറ്റീവ് ഡാറ്റ തേർഡ്-പാർട്ടി സെർവറുകളിലേക്ക് അയക്കാൻ മടിക്കുന്നു. ഇതാണ് ആന്തരിക ഹാർഡ്‌വെയറിൽ പ്രവർത്തിക്കാൻ കഴിയുന്ന Llama 3 പോലുള്ള ലോക്കൽ മോഡലുകളുടെ ഉയർച്ചയ്ക്ക് കാരണമായത്. ഒരു മോഡൽ ലോക്കലായി പ്രവർത്തിപ്പിക്കാൻ നിങ്ങളുടെ GPU-ൽ വലിയ VRAM ആവശ്യമാണ്. ഉദാഹരണത്തിന്, 70 ബില്യൺ പാരാമീറ്റർ മോഡൽ സാധാരണയായി ഉപയോഗയോഗ്യമായ വേഗതയിൽ പ്രവർത്തിക്കാൻ രണ്ട് ഹൈ-എൻഡ് കാർഡുകൾ ആവശ്യമാണ്. ഇവിടെയാണ് ക്വാണ്ടൈസേഷൻ (Quantization) വരുന്നത്. കണക്കുകൂട്ടലുകളിൽ ഉപയോഗിക്കുന്ന നമ്പറുകളുടെ കൃത്യത കുറച്ചുകൊണ്ട് മോഡലിന്റെ വലിപ്പം കുറയ്ക്കുന്ന ഒരു സാങ്കേതികതയാണിത്. ഇത് കൃത്യതയിൽ ചെറിയൊരു കുറവ് മാത്രം വരുത്തിക്കൊണ്ട് ശക്തമായ ഒരു മോഡലിനെ സാധാരണ ഉപഭോക്തൃ ഹാർഡ്‌വെയറിൽ പ്രവർത്തിക്കാൻ അനുവദിക്കുന്നു. ഡെവലപ്പർമാർ ഈ ഘടകങ്ങൾ ബാലൻസ് ചെയ്യണം:

• API ചെലവുകളും മോഡലുകൾ ലോക്കലായി പ്രവർത്തിപ്പിക്കുന്നതിനുള്ള ഹാർഡ്‌വെയർ ചെലവും തമ്മിലുള്ള താരതമ്യം.
• ചെറിയ മോഡലിന്റെ വേഗതയും വലിയ മോഡലിന്റെ യുക്തിപരമായ കഴിവും തമ്മിലുള്ള ബാലൻസ്.
• ഡാറ്റ ഓൺ-പ്രെമിസായി സൂക്ഷിക്കുന്നതിന്റെ സുരക്ഷയും ക്ലൗഡിന്റെ സൗകര്യവും തമ്മിലുള്ള വ്യത്യാസം.
• ഏറ്റവും തിരക്കുള്ള സമയങ്ങളിൽ പബ്ലിക് API-കളിൽ ഉണ്ടാകുന്ന റേറ്റ്-ത്രോട്ട്ലിംഗിന്റെ പരിധികൾ.

മുന്നോട്ടുള്ള പാത

AI കുതിപ്പിന്റെ ചരിത്രം ഒരു നല്ല ആശയത്തെ സ്കെയിൽ ചെയ്യുന്നതിന്റെ കഥയാണ്. ട്രാൻസ്‌ഫോർമർ ആർക്കിടെക്ചർ എടുത്ത് അതിലേക്ക് വലിയ അളവിൽ ഡാറ്റയും കമ്പ്യൂട്ടിംഗ് ശക്തിയും നൽകിയതിലൂടെ, കമ്പ്യൂട്ടിംഗിന്റെ ഒരു പുതിയ യുഗം പോലെ തോന്നിക്കുന്ന ഒന്ന് നമ്മൾ സൃഷ്ടിച്ചു. എന്നാൽ നമ്മൾ ഇപ്പോഴും പ്രാരംഭ ഘട്ടത്തിലാണ്. സാങ്കേതികവിദ്യയ്ക്ക് എന്ത് ചെയ്യാൻ കഴിയുമെന്നും നമ്മൾ എന്താണ് പ്രതീക്ഷിക്കുന്നത് എന്നതും തമ്മിലുള്ള വിടവാണ് പലർക്കും ഇന്ന് അനുഭവപ്പെടുന്ന ആശയക്കുഴപ്പം. ഇത് മനുഷ്യന്റെ വിവേചനബുദ്ധിക്ക് പകരമല്ല, മറിച്ച് അതിനെ മെച്ചപ്പെടുത്താനുള്ള ഒരു ടൂളാണ്. വരും വർഷങ്ങളിൽ ഏറ്റവും വിജയിക്കുന്നവർ ഈ സിസ്റ്റങ്ങളുടെ സ്റ്റാറ്റിസ്റ്റിക്കൽ സ്വഭാവം മനസ്സിലാക്കുന്നവരായിരിക്കും. എപ്പോൾ മെഷീനെ വിശ്വസിക്കണമെന്നും എപ്പോൾ അതിന്റെ ജോലി പരിശോധിക്കണമെന്നും അവർക്ക് അറിയാം. AI-യെ നിയന്ത്രിക്കാനുള്ള കഴിവ് ഒരു വേഡ് പ്രോസസ്സർ ഉപയോഗിക്കുന്നതുപോലെ അടിസ്ഥാനപരമായ ഒന്നായി മാറുന്ന ഒരു ഭാവിയിലേക്കാണ് നമ്മൾ നീങ്ങുന്നത്.

Editor’s note: We created this site as a multilingual AI news and guides hub for people who are not computer geeks, but still want to understand artificial intelligence, use it with more confidence, and follow the future that is already arriving.