ചെറിയ മോഡലുകളിലെ മാറ്റങ്ങൾ വലിയ മാറ്റങ്ങൾ സൃഷ്ടിക്കുന്നത് എന്തുകൊണ്ട്?

ഏറ്റവും വലിയ ആർട്ടിഫിഷ്യൽ ഇന്റലിജൻസ് മോഡൽ നിർമ്മിക്കാനുള്ള മത്സരം ഇപ്പോൾ ഒരു പരിധിക്കപ്പുറം വളരാനാവാത്ത അവസ്ഥയിലാണ്. ട്രില്യൺ കണക്കിന് പാരാമീറ്ററുകളുള്ള കൂറ്റൻ സിസ്റ്റങ്ങളെക്കുറിച്ചാണ് വാർത്തകൾ പലപ്പോഴും സംസാരിക്കുന്നതെങ്കിലും, യഥാർത്ഥ പുരോഗതി നടക്കുന്നത് ചെറിയ മാറ്റങ്ങളിലൂടെയാണ്. ഈ മോഡലുകൾ ഡാറ്റ കൈകാര്യം ചെയ്യുന്ന രീതിയിലുണ്ടാകുന്ന ചെറിയ മാറ്റങ്ങൾ, ദൈനംദിന സോഫ്റ്റ്‌വെയർ ഉപയോഗത്തിൽ വലിയ മാറ്റങ്ങളാണ് കൊണ്ടുവരുന്നത്. കേവലമായ വലിപ്പം മാത്രം നോക്കിയിരുന്ന കാലം മാറി, ഇപ്പോൾ എത്ര ചെറിയ ഇടത്തിൽ കൂടുതൽ ബുദ്ധി ഉൾക്കൊള്ളിക്കാം എന്നതിലാണ് ശ്രദ്ധ. ഈ മാറ്റം സാങ്കേതികവിദ്യയെ എല്ലാവർക്കും വേഗത്തിലും എളുപ്പത്തിലും ലഭ്യമാക്കുന്നു. ഇനി വലിയ തലച്ചോറുകൾ നിർമ്മിക്കുകയല്ല, മറിച്ച് നിലവിലുള്ളവയെ കൂടുതൽ കാര്യക്ഷമമായി പ്രവർത്തിപ്പിക്കുകയാണ് വേണ്ടത്. ഒരു മോഡൽ പത്ത് ശതമാനം ചെറുതാകുമ്പോൾ അത് സർവർ ചെലവ് കുറയ്ക്കുക മാത്രമല്ല, ഹാർഡ്‌വെയർ പരിമിതികൾ കാരണം അസാധ്യമായിരുന്ന പുതിയ തരം ആപ്ലിക്കേഷനുകൾക്ക് വഴിയൊരുക്കുകയും ചെയ്യുന്നു. ഈ മാറ്റമാണ് ഇപ്പോൾ ടെക് മേഖലയിലെ ഏറ്റവും പ്രധാനപ്പെട്ട ട്രെൻഡ്, കാരണം ഇത് വലിയ ഡാറ്റാ സെന്ററുകളിൽ മാത്രം ഒതുങ്ങിനിന്ന കമ്പ്യൂട്ടേഷൻ ശക്തിയെ നിങ്ങളുടെ കൈകളിലെത്തിക്കുന്നു.

വലുതാണ് നല്ലത് എന്ന കാലഘട്ടത്തിന്റെ അന്ത്യം

എന്തുകൊണ്ടാണ് ഈ ചെറിയ മാറ്റങ്ങൾ പ്രധാനമെന്ന് മനസ്സിലാക്കാൻ, അവ എന്താണെന്ന് നോക്കാം. ഡാറ്റ ക്യൂറേഷൻ, ക്വാണ്ടൈസേഷൻ, ആർക്കിടെക്ചറൽ പരിഷ്കാരങ്ങൾ എന്നീ മൂന്ന് മേഖലകളിൽ നിന്നാണ് മിക്ക പുരോഗതിയും വരുന്നത്. കൂടുതൽ ഡാറ്റ എപ്പോഴും മികച്ചതാണ് എന്നാണ് ഗവേഷകർ വിശ്വസിച്ചിരുന്നത്. അവർ ഇന്റർനെറ്റിലെ മുഴുവൻ വിവരങ്ങളും യന്ത്രങ്ങൾക്ക് നൽകി. എന്നാൽ ഇപ്പോൾ, അളവിനേക്കാൾ ഗുണനിലവാരമുള്ള ഡാറ്റയാണ് കൂടുതൽ വിലപ്പെട്ടതെന്ന് നമുക്കറിയാം. ഡാറ്റാസെറ്റുകൾ വൃത്തിയാക്കി അനാവശ്യ വിവരങ്ങൾ നീക്കം ചെയ്യുന്നതിലൂടെ, വലിയ മോഡലുകളെക്കാൾ മികച്ച പ്രകടനം കാഴ്ചവെക്കുന്ന ചെറിയ മോഡലുകൾ എഞ്ചിനീയർമാർക്ക് നിർമ്മിക്കാൻ സാധിക്കുന്നു. ഇതിനെ പലപ്പോഴും ടെക്സ്റ്റ്ബുക്ക് ക്വാളിറ്റി ഡാറ്റ എന്ന് വിളിക്കുന്നു. മറ്റൊരു പ്രധാന ഘടകം ക്വാണ്ടൈസേഷൻ ആണ്. മോഡലുകൾ കണക്കുകൂട്ടലുകൾക്കായി ഉപയോഗിക്കുന്ന സംഖ്യകളുടെ കൃത്യത കുറയ്ക്കുന്ന പ്രക്രിയയാണിത്. ഉയർന്ന കൃത്യതയുള്ള ദശാംശങ്ങൾക്ക് പകരം ലളിതമായ പൂർണ്ണസംഖ്യകൾ ഉപയോഗിക്കുന്നു. ഇത് ഫലത്തെ ബാധിക്കുമെന്ന് തോന്നാമെങ്കിലും, മികച്ച ഗണിതശാസ്ത്ര രീതികളിലൂടെ മെമ്മറി കുറച്ച് ഉപയോഗിച്ച് തന്നെ മോഡലിനെ സ്മാർട്ടായി നിലനിർത്താൻ സാധിക്കുന്നു. ഈ സാങ്കേതിക മാറ്റങ്ങളെക്കുറിച്ച് കൂടുതൽ അറിയാൻ QLoRA-യെക്കുറിച്ചുള്ള സമീപകാല ഗവേഷണം വായിക്കാവുന്നതാണ്.

അവസാനമായി, വാചകങ്ങളിലെ ഏറ്റവും പ്രധാനപ്പെട്ട ഭാഗങ്ങളിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന അറ്റൻഷൻ മെക്കാനിസങ്ങൾ പോലുള്ള ആർക്കിടെക്ചറൽ മാറ്റങ്ങളുണ്ട്. ഇവ വലിയ മാറ്റങ്ങളല്ല, മറിച്ച് സിസ്റ്റത്തിന് അനാവശ്യമായ വിവരങ്ങൾ ഒഴിവാക്കാൻ സഹായിക്കുന്ന സൂക്ഷ്മമായ ഗണിത ക്രമീകരണങ്ങളാണ്. ഈ ഘടകങ്ങളെല്ലാം ചേരുമ്പോൾ, ഒരു മുറി നിറയെ ചിപ്പുകൾ ആവശ്യമില്ലാതെ തന്നെ ഒരു സാധാരണ ലാപ്ടോപ്പിൽ പ്രവർത്തിക്കുന്ന മോഡൽ ലഭിക്കുന്നു. ലളിതമായ ജോലികൾക്ക് വലിയ മോഡലുകൾ വേണമെന്ന് ആളുകൾ പലപ്പോഴും തെറ്റിദ്ധരിക്കാറുണ്ട്. എന്നാൽ കുറച്ച് ബില്യൺ പാരാമീറ്ററുകൾക്കുള്ളിൽ എത്രത്തോളം ലോജിക് ഉൾക്കൊള്ളിക്കാമെന്ന് അവർ മനസ്സിലാക്കുന്നില്ല. മിക്ക ഉപഭോക്തൃ ഉൽപ്പന്നങ്ങൾക്കും ‘മതിയായത്’ എന്ന നിലവാരം മതിയാകും എന്ന ട്രെൻഡ് നമ്മൾ കാണുന്നു. ഇത് ഉയർന്ന ക്ലൗഡ് ചെലവുകൾക്കായി സബ്സ്ക്രിപ്ഷൻ ഫീ ഈടാക്കാതെ തന്നെ സ്മാർട്ട് ഫീച്ചറുകൾ ആപ്പുകളിൽ ഉൾപ്പെടുത്താൻ ഡെവലപ്പർമാരെ സഹായിക്കുന്നു. സോഫ്റ്റ്‌വെയർ നിർമ്മിക്കുന്നതിലും വിതരണം ചെയ്യുന്നതിലും ഇതൊരു അടിസ്ഥാനപരമായ മാറ്റമാണ്.

ക്ലൗഡ് പവറിനേക്കാൾ ലോക്കൽ ഇന്റലിജൻസ് എന്തുകൊണ്ട് പ്രധാനം?

ഈ ചെറിയ മാറ്റങ്ങളുടെ ആഗോള സ്വാധീനം വളരെ വലുതാണ്. ലോകത്തിലെ ഭൂരിഭാഗം ആളുകൾക്കും വലിയ ക്ലൗഡ് അധിഷ്ഠിത മോഡലുകളുമായി സംവദിക്കാൻ ആവശ്യമായ അതിവേഗ ഇന്റർനെറ്റ് ലഭ്യമല്ല. ഇന്റലിജൻസിന് വിർജീനിയയിലോ ഡബ്ലിനിലോ ഉള്ള സർവറുമായി നിരന്തരമായ കണക്ഷൻ ആവശ്യമാണെങ്കിൽ, അത് സമ്പന്നർക്ക് മാത്രമുള്ള ആഡംബരമായി തുടരും. ചെറിയ മോഡലുകളിലെ പുരോഗതി, സോഫ്റ്റ്‌വെയറിനെ മിഡ്-റേഞ്ച് ഹാർഡ്‌വെയറുകളിൽ ലോക്കലായി പ്രവർത്തിക്കാൻ അനുവദിച്ചുകൊണ്ട് ഇതിനെ മാറ്റുന്നു. അതായത്, ഒരു ഗ്രാമീണ മേഖലയിലെ വിദ്യാർത്ഥിക്കോ അല്ലെങ്കിൽ വികസ്വര വിപണിയിലെ തൊഴിലാളിക്കോ ഒരു ടെക് ഹബ്ബിലുള്ള വ്യക്തിക്ക് ലഭിക്കുന്ന അതേ സഹായം ലഭിക്കുന്നു. ഇത് വലിയ സ്കെയിലിംഗിന് ഒരിക്കലും സാധിക്കാത്ത രീതിയിൽ അവസരങ്ങൾ തുല്യമാക്കുന്നു. ഇന്റലിജൻസിന്റെ ചെലവ് പൂജ്യത്തിലേക്ക് താഴുകയാണ്. സ്വകാര്യതയ്ക്കും സുരക്ഷയ്ക്കും ഇത് വളരെ പ്രധാനമാണ്. ഡാറ്റ ഒരു ഉപകരണത്തിൽ നിന്ന് പുറത്തുപോകേണ്ടതില്ലെങ്കിൽ, വിവരങ്ങൾ ചോരാനുള്ള സാധ്യത വളരെ കുറവാണ്. പൗരന്മാരുടെ ഡാറ്റ സുരക്ഷിതമായി നിലനിർത്തിക്കൊണ്ടുതന്നെ സേവനങ്ങൾ നൽകാൻ സർക്കാരുകളും ആരോഗ്യ സേവന ദാതാക്കളും ഈ കാര്യക്ഷമമായ മോഡലുകളെയാണ് ആശ്രയിക്കുന്നത്.

ഈ മാറ്റം പരിസ്ഥിതിയെയും ബാധിക്കുന്നു. വലിയ തോതിലുള്ള പരിശീലനങ്ങൾക്ക് വലിയ അളവിൽ വൈദ്യുതിയും തണുപ്പിക്കാനായി വെള്ളവും ആവശ്യമാണ്. കാര്യക്ഷമതയിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നതിലൂടെ, മികച്ച ഉൽപ്പന്നങ്ങൾ നൽകുന്നതിനൊപ്പം തന്നെ കാർബൺ ഫുട്പ്രിന്റ് കുറയ്ക്കാനും വ്യവസായത്തിന് സാധിക്കും. Nature പോലുള്ള ശാസ്ത്ര ജേണലുകൾ കാര്യക്ഷമമായ AI വ്യവസായത്തിന്റെ പാരിസ്ഥിതിക ആഘാതം എങ്ങനെ കുറയ്ക്കാമെന്ന് വ്യക്തമാക്കിയിട്ടുണ്ട്. ഈ ആഗോള മാറ്റം പ്രകടമാകുന്ന ചില വഴികൾ താഴെ നൽകുന്നു:

• ഇന്റർനെറ്റ് കണക്ഷൻ ഇല്ലാതെ പ്രവർത്തിക്കുന്ന ലോക്കൽ ട്രാൻസ്ലേഷൻ സേവനങ്ങൾ.
• വിദൂര ക്ലിനിക്കുകളിൽ പോർട്ടബിൾ ടാബ്‌ലെറ്റുകളിൽ പ്രവർത്തിക്കുന്ന മെഡിക്കൽ ഡയഗ്നോസ്റ്റിക് ടൂളുകൾ.
• കുറഞ്ഞ ചെലവിലുള്ള ഹാർഡ്‌വെയറിൽ വിദ്യാർത്ഥിയുടെ ആവശ്യങ്ങൾക്കനുസരിച്ച് മാറുന്ന വിദ്യാഭ്യാസ സോഫ്റ്റ്‌വെയർ.
• വീഡിയോ കോളുകൾക്കായി ഉപകരണത്തിൽ തന്നെ നടക്കുന്ന തത്സമയ പ്രൈവസി ഫിൽട്ടറിംഗ്.
• വിലകുറഞ്ഞ ഡ്രോണുകളും ലോക്കൽ പ്രോസസ്സിംഗും ഉപയോഗിച്ച് കർഷകർക്കായി ഓട്ടോമേറ്റഡ് വിള നിരീക്ഷണം.

ഇത് കാര്യങ്ങൾ വേഗത്തിലാക്കുന്നതിനെക്കുറിച്ച് മാത്രമല്ല, അവയെ സാർവത്രികമാക്കുന്നതിനെക്കുറിച്ചാണ്. ഹാർഡ്‌വെയർ ആവശ്യകതകൾ കുറയുമ്പോൾ, ഉപയോക്താക്കളുടെ എണ്ണം കോടിക്കണക്കിന് വർദ്ധിക്കുന്നു. ഈ ട്രെൻഡ് AI വികസനത്തിലെ ഏറ്റവും പുതിയ ട്രെൻഡുകളുമായി അടുത്ത ബന്ധമുള്ളതാണ്, ഇത് അസംസ്കൃത ശക്തിയേക്കാൾ പ്രവേശനക്ഷമതയ്ക്ക് മുൻഗണന നൽകുന്നു.

ഓഫ്‌ലൈൻ അസിസ്റ്റന്റിനൊപ്പമുള്ള ഒരു ചൊവ്വാഴ്ച

മാർക്കസ് എന്ന ഫീൽഡ് എഞ്ചിനീയറുടെ ഒരു ദിവസം പരിഗണിക്കുക. ഇന്റർനെറ്റ് ലഭ്യമല്ലാത്ത ഓഫ്‌ഷോർ വിൻഡ് ടർബൈനുകളിലാണ് അദ്ദേഹം ജോലി ചെയ്യുന്നത്. മുൻകാലങ്ങളിൽ, തനിക്ക് മനസ്സിലാകാത്ത ഒരു മെക്കാനിക്കൽ തകരാർ ഉണ്ടായാൽ, അദ്ദേഹം ഫോട്ടോ എടുത്ത് തീരത്ത് തിരിച്ചെത്തിയ ശേഷം മാനുവലോ അല്ലെങ്കിൽ മുതിർന്ന സഹപ്രവർത്തകരോട് ചോദിക്കണമായിരുന്നു. ഇത് ദിവസങ്ങളോളം അറ്റകുറ്റപ്പണികൾ വൈകിപ്പിക്കാറുണ്ട്. ഇപ്പോൾ, അദ്ദേഹം ഉയർന്ന ഒപ്റ്റിമൈസ് ചെയ്ത ലോക്കൽ മോഡലുള്ള ഒരു ടാബ്‌ലെറ്റ് കൈവശം വെക്കുന്നു. അദ്ദേഹം ക്യാമറ ടർബൈൻ ഭാഗങ്ങൾക്ക് നേരെ പിടിക്കുമ്പോൾ, മോഡൽ തത്സമയം പ്രശ്നം തിരിച്ചറിയുന്നു. മെഷീന്റെ പ്രത്യേക സീരിയൽ നമ്പറിനെ അടിസ്ഥാനമാക്കി അത് ഘട്ടം ഘട്ടമായുള്ള റിപ്പയർ ഗൈഡ് നൽകുന്നു. മാർക്കസ് ഉപയോഗിക്കുന്ന മോഡൽ ഒരു ട്രില്യൺ പാരാമീറ്റർ ഭീമനല്ല. മെക്കാനിക്കൽ എഞ്ചിനീയറിംഗ് മനസ്സിലാക്കാൻ പരിഷ്കരിച്ച ചെറിയ, പ്രത്യേക പതിപ്പാണിത്. മോഡൽ കാര്യക്ഷമതയിലെ ചെറിയ മാറ്റം ഉൽപ്പാദനക്ഷമതയിൽ വലിയ മാറ്റമുണ്ടാക്കുന്നതിന്റെ വ്യക്തമായ ഉദാഹരണമാണിത്.

അന്ന് വൈകുന്നേരം, വിദേശ വിതരണക്കാരനിൽ നിന്നുള്ള ഒരു സാങ്കേതിക രേഖ വിവർത്തനം ചെയ്യാൻ മാർക്കസ് അതേ ഉപകരണം ഉപയോഗിക്കുന്നു. ചെറിയതും എന്നാൽ ഉയർന്ന നിലവാരമുള്ളതുമായ എഞ്ചിനീയറിംഗ് ടെക്സ്റ്റുകളിൽ പരിശീലിപ്പിച്ചതിനാൽ വിവർത്തനം ഏതാണ്ട് കൃത്യമാണ്. ഒരു ഫയൽ പോലും ക്ലൗഡിലേക്ക് അപ്‌ലോഡ് ചെയ്യേണ്ടി വന്നില്ല. ഈ വിശ്വാസ്യതയാണ് സാങ്കേതികവിദ്യയെ യഥാർത്ഥ ലോകത്ത് ഉപയോഗപ്രദമാക്കുന്നത്. AI സഹായകരമാകണമെങ്കിൽ അത് ഒരു ജനറലിസ്റ്റ് ആയിരിക്കണം എന്ന് പലരും കരുതുന്നു, എന്നാൽ പ്രത്യേകമായ ചെറിയ സിസ്റ്റങ്ങൾ പലപ്പോഴും പ്രൊഫഷണൽ ജോലികൾക്ക് മികച്ചതാണെന്ന് മാർക്കസ് തെളിയിക്കുന്നു. മോഡലിന്റെ ചെറിയ വലിപ്പം ഒരു ഫീച്ചറാണ്, ബഗ് അല്ല. ഇതിനർത്ഥം സിസ്റ്റം വേഗതയുള്ളതും കൂടുതൽ സ്വകാര്യവും പ്രവർത്തിപ്പിക്കാൻ ചെലവ് കുറഞ്ഞതുമാണ്. മാർക്കസിന് കഴിഞ്ഞ ആഴ്ചയാണ് ഏറ്റവും പുതിയ അപ്‌ഡേറ്റ് ലഭിച്ചത്, വേഗതയിലുണ്ടായ വ്യത്യാസം ഉടൻ തന്നെ ശ്രദ്ധയിൽപ്പെട്ടു.

ഇവിടെയുള്ള വൈരുദ്ധ്യം എന്തെന്നാൽ, മോഡലുകൾ ചെറുതാകുമ്പോൾ അവ ചെയ്യുന്ന ജോലി വലുതാകുന്നു എന്നതാണ്. ഒരു ബോട്ടുമായി ചാറ്റ് ചെയ്യുന്നതിൽ നിന്ന് മാറി, ഒരു വർക്ക്ഫ്ലോയിലേക്ക് ഒരു ടൂൾ സംയോജിപ്പിക്കുന്നതിലേക്കാണ് നമ്മൾ നീങ്ങുന്നത്. ഒരു മോഡലിന് കവിത എഴുതാൻ കഴിയുന്നതിന്റെ പ്രാധാന്യം ആളുകൾ അമിതമായി വിലയിരുത്തുന്നു. എന്നാൽ മങ്ങിയ ഇൻവോയ്സിൽ നിന്ന് കൃത്യമായി ഡാറ്റ വേർതിരിച്ചെടുക്കാനോ സ്റ്റീൽ ബീമിലെ നേർത്ത വിള്ളൽ തിരിച്ചറിയാനോ കഴിയുന്ന ഒരു മോഡലിന്റെ മൂല്യം അവർ കുറച്ചുകാണുന്നു. ആഗോള സമ്പദ്‌വ്യവസ്ഥയെ നയിക്കുന്നത് ഇത്തരം ജോലികളാണ്. ഈ ചെറിയ മാറ്റങ്ങൾ തുടരുമ്പോൾ, സ്മാർട്ട് സോഫ്റ്റ്‌വെയറും സാധാരണ സോഫ്റ്റ്‌വെയറും തമ്മിലുള്ള വ്യത്യാസം ഇല്ലാതാകും. എല്ലാം കൂടുതൽ നന്നായി പ്രവർത്തിക്കും. ഇതാണ് നിലവിലെ സാങ്കേതിക സാഹചര്യത്തിന്റെ യാഥാർത്ഥ്യം.

കാര്യക്ഷമതയെക്കുറിച്ചുള്ള കഠിനമായ ചോദ്യങ്ങൾ

എങ്കിലും, ഈ ട്രെൻഡിനോട് നമ്മൾ കുറച്ച് സംശയം പുലർത്തണം. നമ്മൾ ചെറിയ, കൂടുതൽ ഒപ്റ്റിമൈസ് ചെയ്ത മോഡലുകളിലേക്ക് നീങ്ങുകയാണെങ്കിൽ, നമ്മൾ എന്താണ് ഉപേക്ഷിക്കുന്നത്? കാര്യക്ഷമതയിലുള്ള ശ്രദ്ധ ഒരു ‘മതിയായ’ അവസ്ഥയിലേക്ക് നയിക്കുന്നുണ്ടോ എന്നതാണ് ഒരു ബുദ്ധിമുട്ടുള്ള ചോദ്യം. ഒരു മോഡൽ വേഗതയ്ക്കായി ഒപ്റ്റിമൈസ് ചെയ്താൽ, വലിയ മോഡലുകൾക്ക് കൈകാര്യം ചെയ്യാൻ കഴിയുന്ന സങ്കീർണ്ണമായ സാഹചര്യങ്ങൾ കൈകാര്യം ചെയ്യാനുള്ള കഴിവ് അതിന് നഷ്ടപ്പെടുമോ? മോഡലുകളെ ചെറുതാക്കാനുള്ള തിരക്ക് പുതിയൊരു തരം പക്ഷപാതം സൃഷ്ടിക്കുന്നുണ്ടോ എന്ന് നമ്മൾ ചോദിക്കണം. ഈ സിസ്റ്റങ്ങളെ പരിശീലിപ്പിക്കാൻ ഉയർന്ന നിലവാരമുള്ള ഡാറ്റ മാത്രം ഉപയോഗിക്കുകയാണെങ്കിൽ, ഗുണനിലവാരം എന്താണെന്ന് നിർവചിക്കുന്നത് ആരാണ്? പാർശ്വവൽക്കരിക്കപ്പെട്ട ഗ്രൂപ്പുകളുടെ ഡാറ്റ ടെക്സ്റ്റ്ബുക്ക് നിലവാരത്തിന് അനുയോജ്യമല്ലാത്തതിനാൽ നമ്മൾ അറിയാതെ തന്നെ അവരുടെ ശബ്ദങ്ങളും കാഴ്ചപ്പാടുകളും ഒഴിവാക്കിയേക്കാം.

ഞങ്ങൾ ഉൾപ്പെടുത്തണമെന്ന് നിങ്ങൾ കരുതുന്ന ഒരു AI സ്റ്റോറിയോ, ടൂളോ, ട്രെൻഡോ, ചോദ്യമോ നിങ്ങളുടെ പക്കലുണ്ടോ? നിങ്ങളുടെ ലേഖന ആശയം ഞങ്ങൾക്ക് അയയ്ക്കുക — അത് കേൾക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു.

മറഞ്ഞിരിക്കുന്ന ചെലവുകളെക്കുറിച്ചുള്ള ചോദ്യവുമുണ്ട്. ഒരു ചെറിയ മോഡൽ പ്രവർത്തിപ്പിക്കുന്നത് വിലകുറഞ്ഞതാണെങ്കിലും, ഒരു വലിയ മോഡലിനെ ചെറുതാക്കാൻ ആവശ്യമായ ഗവേഷണവും വികസനവും അവിശ്വസനീയമാംവിധം ചെലവേറിയതാണ്. നമ്മൾ ഊർജ്ജ ഉപഭോഗം ഇൻഫറൻസ് ഘട്ടത്തിൽ നിന്ന് പരിശീലന, ഒപ്റ്റിമൈസേഷൻ ഘട്ടത്തിലേക്ക് മാറ്റുകയാണോ? കൂടാതെ, ഈ മോഡലുകൾ വ്യക്തിഗത ഉപകരണങ്ങളിൽ കൂടുതൽ സാധാരണമാകുമ്പോൾ, നമ്മുടെ സ്വകാര്യതയ്ക്ക് എന്ത് സംഭവിക്കും? മോഡൽ ലോക്കലായി പ്രവർത്തിച്ചാലും, നമ്മൾ അത് എങ്ങനെ ഉപയോഗിക്കുന്നു എന്നതിനെക്കുറിച്ചുള്ള മെറ്റാഡാറ്റ ശേഖരിക്കപ്പെടാം. ലോക്കൽ ഇന്റലിജൻസിന്റെ സൗകര്യം കൂടുതൽ കടന്നുകയറ്റമുള്ള ട്രാക്കിംഗിന് വഴിയൊരുക്കുമോ എന്ന് നമ്മൾ ചോദിക്കേണ്ടതുണ്ട്. നിങ്ങളുടെ ഫോണിലെ ഓരോ ആപ്പിനും സ്വന്തമായി ചെറിയ തലച്ചോറുണ്ടെങ്കിൽ, ആ തലച്ചോറുകൾ നിങ്ങളെക്കുറിച്ച് എന്താണ് പഠിക്കുന്നതെന്ന് നിരീക്ഷിക്കുന്നത് ആരാണ്? ഹാർഡ്‌വെയറിന്റെ ആയുസ്സിനെക്കുറിച്ചും നമ്മൾ ചിന്തിക്കണം. സോഫ്റ്റ്‌വെയർ കൂടുതൽ കാര്യക്ഷമമായിക്കൊണ്ടിരിക്കുകയാണെങ്കിൽ, കമ്പനികൾ നമ്മളെ എല്ലാ വർഷവും ഉപകരണങ്ങൾ അപ്‌ഗ്രേഡ് ചെയ്യാൻ പ്രേരിപ്പിക്കുമോ? അതോ അഞ്ച് വർഷം പഴക്കമുള്ള ഫോണിലും ഏറ്റവും പുതിയ ടൂളുകൾ പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്ന സുസ്ഥിരമായ ഒരു കാലഘട്ടത്തിലേക്ക് ഇത് നയിക്കുമോ? സാങ്കേതികവിദ്യ വികസിക്കുമ്പോൾ നമ്മൾ നേരിടേണ്ടി വരുന്ന വൈരുദ്ധ്യങ്ങളാണിവ.

കംപ്രഷന് പിന്നിലെ എഞ്ചിനീയറിംഗ്

പവർ യൂസർമാർക്കും ഡെവലപ്പർമാർക്കും, ചെറിയ മോഡലുകളിലേക്കുള്ള മാറ്റം സാങ്കേതികമായ കാര്യമാണ്. ഏറ്റവും പ്രധാനപ്പെട്ട അളവുകോൽ ഇനി പാരാമീറ്റർ എണ്ണം മാത്രമല്ല. അത് ബിറ്റ്സ് പെർ പാരാമീറ്റർ ആണ്. 16-ബിറ്റ് ഫ്ലോട്ടിംഗ് പോയിന്റ് വെയിറ്റുകളിൽ നിന്ന് 8-ബിറ്റ്, 4-ബിറ്റ് ക്വാണ്ടൈസേഷനിലേക്കുള്ള മാറ്റം നമ്മൾ കാണുന്നു. സാധാരണയായി 40 ജിബി VRAM ആവശ്യമുള്ള ഒരു മോഡലിനെ 10 ജിബിയിൽ താഴെ ഉൾക്കൊള്ളാൻ ഇത് അനുവദിക്കുന്നു. ലോക്കൽ സ്റ്റോറേജിനും GPU ആവശ്യകതകൾക്കും ഇതൊരു വലിയ മാറ്റമാണ്. സിസ്റ്റം മുഴുവൻ വീണ്ടും പരിശീലിപ്പിക്കാതെ തന്നെ പ്രത്യേക ജോലികളിൽ ഈ മോഡലുകളെ ഫൈൻ-ട്യൂൺ ചെയ്യാൻ ഡെവലപ്പർമാർ ഇപ്പോൾ LoRA, അല്ലെങ്കിൽ ലോ-റാങ്ക് അഡാപ്റ്റേഷൻ ഉപയോഗിക്കുന്നു. ഇത് വർക്ക്ഫ്ലോ സംയോജനം വളരെ എളുപ്പമാക്കുന്നു. ഈ രീതികളെക്കുറിച്ചുള്ള സാങ്കേതിക ഡോക്യുമെന്റേഷൻ MIT ടെക്നോളജി റിവ്യൂവിൽ കണ്ടെത്താം.

ആപ്ലിക്കേഷനുകൾ നിർമ്മിക്കുമ്പോൾ, താഴെ പറയുന്ന സാങ്കേതിക പരിമിതികൾ നിങ്ങൾ പരിഗണിക്കണം:

• ലോക്കൽ ഇൻഫറൻസിനായി അസംസ്കൃത കമ്പ്യൂട്ട് പവറിനേക്കാൾ വലിയ തടസ്സം പലപ്പോഴും മെമ്മറി ബാൻഡ്‌വിഡ്ത്ത് ആണ്.
• ലോക്കൽ ഹോസ്റ്റിംഗ് പ്രൊഡക്ഷന് സാധ്യമാകുന്നതോടെ ക്ലൗഡ് മോഡലുകൾക്കായുള്ള API പരിധികൾ കുറഞ്ഞുവരുന്നു.
• ചെറിയ മോഡലുകൾക്ക് നീണ്ട സംഭാഷണങ്ങളുടെ ട്രാക്ക് നഷ്ടപ്പെടാൻ സാധ്യതയുള്ളതിനാൽ കോൺടെക്സ്റ്റ് വിൻഡോ മാനേജ്മെന്റ് ഇപ്പോഴും ഒരു വെല്ലുവിളിയാണ്.
• FP8, INT4 പ്രിസിഷൻ തമ്മിലുള്ള തിരഞ്ഞെടുപ്പ് ക്രിയേറ്റീവ് ജോലികളിലെ ഹാലൂസിനേഷൻ നിരക്കിനെ കാര്യമായി ബാധിക്കാം.
• ലോക്കൽ സ്റ്റോറേജ് ആവശ്യകതകൾ കുറയുന്നുണ്ടെങ്കിലും, മോഡൽ വേഗത്തിൽ ലോഡ് ചെയ്യാൻ ഹൈ-സ്പീഡ് NVMe ഡ്രൈവുകളുടെ ആവശ്യം നിലനിൽക്കുന്നു.

ഒരു ചെറിയ മോഡൽ അടുത്ത കുറച്ച് ടോക്കണുകൾ പ്രവചിക്കുകയും വലിയൊരു മോഡൽ അവ പരിശോധിക്കുകയും ചെയ്യുന്ന സ്പെക്കുലേറ്റീവ് ഡീകോഡിംഗിന്റെ ഉയർച്ചയും നമ്മൾ കാണുന്നു. ഈ ഹൈബ്രിഡ് സമീപനം ചെറിയ മോഡലിന്റെ വേഗതയും വലിയ മോഡലിന്റെ കൃത്യതയും നൽകുന്നു. മോഡൽ വലിപ്പത്തിന്റെ പരമ്പരാഗത ട്രേഡ്-ഓഫുകളെ മറികടക്കാനുള്ള മികച്ച വഴിയാണിത്. ഈ മേഖലയിൽ മുന്നേറാൻ ആഗ്രഹിക്കുന്ന ആർക്കും, മോഡലുകൾ എങ്ങനെ നിർമ്മിക്കാമെന്ന് അറിയുന്നതിനേക്കാൾ പ്രധാനം ഈ കംപ്രഷൻ സാങ്കേതികതകൾ മനസ്സിലാക്കുക എന്നതാണ്. കുറഞ്ഞ വിഭവങ്ങൾ ഉപയോഗിച്ച് കൂടുതൽ ചെയ്യാൻ കഴിയുന്ന ഒപ്റ്റിമൈസർമാരുടേതാണ് ഭാവി. അസംസ്കൃത ശക്തിയിൽ നിന്ന് മികച്ച എഞ്ചിനീയറിംഗിലേക്കാണ് ശ്രദ്ധ മാറുന്നത്.

ഒപ്റ്റിമൽ പെർഫോമൻസിന്റെ മാറുന്ന ലക്ഷ്യം

ചുരുക്കത്തിൽ, ‘വലുതാണ് എപ്പോഴും നല്ലത്’ എന്ന കാലഘട്ടം അവസാനിക്കുകയാണ്. ഏറ്റവും പ്രധാനപ്പെട്ട മുന്നേറ്റങ്ങൾ ഇനി കൂടുതൽ ലെയറുകൾ അല്ലെങ്കിൽ കൂടുതൽ ഡാറ്റ ചേർക്കുന്നതിനെക്കുറിച്ചല്ല. അവ പരിഷ്കരണം, കാര്യക്ഷമത, പ്രവേശനക്ഷമത എന്നിവയെക്കുറിച്ചാണ്. അഡ്വാൻസ്ഡ് കമ്പ്യൂട്ടേഷനെ ഒരു കാൽക്കുലേറ്റർ പോലെ സാധാരണമാക്കുന്ന ഒരു മാറ്റമാണ് നമ്മൾ കാണുന്നത്. ഈ പുരോഗതി ഒരു സാങ്കേതിക നേട്ടം മാത്രമല്ല, അതൊരു സാമൂഹിക നേട്ടം കൂടിയാണ്. ഹാർഡ്‌വെയറോ ഇന്റർനെറ്റ് കണക്ഷനോ പരിഗണിക്കാതെ, ഏറ്റവും മികച്ച ഗവേഷണത്തിന്റെ ശക്തി ഇത് എല്ലാവരിലേക്കും എത്തിക്കുന്നു. ഒപ്റ്റിമൈസേഷൻ എന്ന പിൻവാതിലിലൂടെയുള്ള ഇന്റലിജൻസിന്റെ ജനാധിപത്യവൽക്കരണമാണിത്.

Editor’s note: We created this site as a multilingual AI news and guides hub for people who are not computer geeks, but still want to understand artificial intelligence, use it with more confidence, and follow the future that is already arriving.

അടുത്ത കാലത്തേക്ക് നോക്കുമ്പോൾ, ഉത്തരം ലഭിക്കാത്ത ചോദ്യം ഇതാണ്: ഇന്റലിജൻസിനെ ചെറുതാക്കാനുള്ള വഴികൾ നമ്മൾ കണ്ടെത്തുന്നത് തുടരുമോ, അതോ നമ്മളെ വീണ്ടും ക്ലൗഡിലേക്ക് മടങ്ങാൻ നിർബന്ധിതരാക്കുന്ന ഒരു ഭൗതിക പരിധിയിൽ നമ്മൾ എത്തിച്ചേരുമോ? ഇപ്പോൾ, ട്രെൻഡ് വ്യക്തമാണ്. ചെറുതാണ് പുതിയ വലുത്. നാളെ നമ്മൾ ഉപയോഗിക്കുന്ന സിസ്റ്റങ്ങളെ നിർവചിക്കുന്നത് അവയ്ക്ക് എത്രത്തോളം അറിയാം എന്നതിനേക്കാൾ, കൈവശമുള്ളവയെ അവ എത്ര നന്നായി ഉപയോഗിക്കുന്നു എന്നതിലായിരിക്കും.