Valóban számítanak az AI PC-k, vagy csak marketing az egész?

A techipar jelenleg megszállottan használ egy kétbetűs előtagot, ami minden új laptop matricáján és marketingdiáján ott virít. A hardvergyártók azt állítják, eljött az AI PC-k korszaka, és alapvető változást ígérnek abban, hogyan lépünk interakcióba a szilíciummal. Az AI PC lényegében nem más, mint egy olyan számítógép, amely dedikált neurális feldolgozóegységgel, azaz NPU-val rendelkezik, amelyet a gépi tanulási modellekhez szükséges komplex matematikai feladatok kezelésére terveztek. Míg a jelenlegi laptopod ezeket a feladatokat a központi processzorra és a grafikus kártyára bízza, az új generációs hardverek ezt a speciális motort használják. Ez az átállás nem arról szól, hogy a géped gondolkodni kezdjen, hanem arról, hogy hatékonyabbá váljon. Azzal, hogy az olyan feladatokat, mint a háttérzaj-szűrés vagy a képgenerálás, a felhőből a helyi gépedre helyezik, ezek a masinák a késleltetés és az adatvédelem kettős problémáját igyekeznek megoldani. A rövid válasz a legtöbb vásárló számára az, hogy bár a hardver már készen áll, a szoftverek még felzárkózóban vannak. Inkább egy olyan alapozást vásárolsz meg olyan eszközökhöz, amelyek a következő években válnak majd szabvánnyá, mintsem egy olyan cuccot, ami már ma délután megváltoztatja az életedet.

Ahhoz, hogy megértsük, mitől mások ezek a gépek, a modern számítástechnika három pillérét kell megvizsgálnunk. Évtizedek óta a CPU kezelte a logikát, a GPU pedig a vizuális megjelenítést. Az NPU a harmadik pillér. Arra építették, hogy egyszerre több milliárd alacsony precizitású műveletet hajtson végre, amire pontosan egy nagy nyelvi modellnek vagy egy diffúzió alapú képgenerátornak van szüksége. Amikor megkérsz egy hagyományos számítógépet, hogy homályosítsa el a hátteredet egy videóhívás közben, a CPU-nak keményen meg kell dolgoznia, ami hőt termel és meríti az akkumulátort. Egy NPU ugyanezt a feladatot az energia töredékével végzi el. Ezt hívják eszközön belüli (on-device) következtetésnek. Ahelyett, hogy az adataidat egy másik államban lévő szerverparkba küldenéd feldolgozásra, a matek közvetlenül az alaplapodon történik. Ez a váltás csökkenti az adatok oda-vissza utaztatási idejét, és biztosítja, hogy az érzékeny információid soha ne hagyják el a fizikai irányításodat. Ez egy elmozdulás a teljes felhőfüggőségtől, amely az elmúlt évtized számítástechnikáját jellemezte.

A marketingcímkék gyakran elfedik a valóságot, ami a burkolat alatt zajlik. Az olyan cégek, mint az Intel, az AMD és a Qualcomm, versenyt futnak azért, hogy meghatározzák, hogyan néz ki egy szabványos AI PC. A Microsoft 40 TOPS-os, azaz másodpercenkénti billiónyi műveletre vonatkozó alapszintet határozott meg a Copilot+ PC márkája számára. Ez a szám azt méri, hány billió műveletet képes az NPU elvégezni másodpercenként. Ha egy laptop ez alatt a küszöb alatt marad, még futtathat AI-eszközöket, de nem fog megfelelni az operációs rendszerbe integrált legfejlettebb helyi funkcióknak. Ez világos választóvonalat húz a régi hardverek és az új szabvány között. Olyan irányba mozdulunk, ahol a speciális szilícium a hatékonyságot helyezi előtérbe a nyers órajellel szemben. A cél egy olyan gép létrehozása, amely akkor is reszponzív marad, ha a háttérben komplex modelleket futtat. Ez nem csak a sebességről szól. Hanem egy kiszámítható környezet megteremtéséről, ahol a szoftver támaszkodhat a dedikált hardveres erőforrásokra anélkül, hogy a webböngésződdel vagy a táblázatkezelőddel kellene versenyeznie a figyelemért.

A szilícium váltása a helyi intelligencia felé

Ennek a hardveres átállásnak a globális hatása hatalmas, mindent érint a vállalati beszerzésektől a nemzetközi energiafogyasztásig. A nagy szervezetek az AI PC-ket a felhőalapú számítástechnikai számláik csökkentésének módjaként látják. Amikor alkalmazottak ezrei használják az AI-asszisztenseket dokumentumok összefoglalására vagy e-mailek megírására, a külső szolgáltatók felé irányuló API-hívások költsége gyorsan összeadódik. Azzal, hogy ezt a munkaterhelést a helyi NPU-ra helyezi, egy vállalat jelentősen csökkentheti működési költségeit. A váltásnak jelentős biztonsági összetevője is van. A kormányok és a pénzintézetek gyakran vonakodnak a felhőalapú AI használatától az adatvédelmi kockázatok miatt. A helyi következtetés olyan utat kínál, amely a vállalati tűzfalon belül tartja a bizalmas adatokat. Ez hatalmas frissítési ciklust indít el a vállalati piacon, ahogy az IT-részlegek felkészülnek egy olyan jövőre, ahol az AI-integráció kötelező a produktivitási szoftvereknél. Ez a digitális munkaterület globális átalakítása.

A vállalati irodákon túl a helyi AI-ra való átállás hatással van a globális konnektivitásra és a digitális egyenlőségre is. Azokon a területeken, ahol instabil az internetkapcsolat, a felhőalapú AI gyakran használhatatlan. Egy olyan laptop, amely nagy sebességű kapcsolat nélkül is képes fordításra vagy képfelismerésre, sokkal erősebb eszközzé válik a fejlődő piacokon. Az intelligencia decentralizációját látjuk. Ahelyett, hogy néhány hatalmas adatközpont szolgálná ki az egész világot, egy olyan modell felé haladunk, ahol minden eszköz rendelkezik egy alapszintű kognitív képességgel. Ez csökkenti a globális adathálózatok terhelését és ellenállóbbá teszi a fejlett technológiát.

Ugyanakkor ez egy új digitális szakadékot is létrehoz. Azok, akik megengedhetik maguknak a legújabb, NPU-val felszerelt hardvert, olyan eszközökhöz férhetnek hozzá, amelyekhez mások nem. A globális ellátási lánc már most ehhez az igényhez igazodik, a chipgyártók az NPU-fejlesztést részesítik előnyben a hagyományos CPU-fejlesztésekkel szemben. Ez a legjelentősebb változás a PC-architektúrában az integrált grafikus processzor bevezetése óta.

Hogyan néz ki ez a gyakorlatban? Képzeljünk el egy átlagos munkanapot Sarah, egy marketingmenedzser életében. A reggelét egy videókonferenciával kezdi. Régebben a laptopja ventilátorai hangosan felpörögtek, ahogy a rendszer küzdött a videófolyam és a háttérelmosás kezelésével. Ma az NPU-ja csendben kezeli a videóeffekteket, szabadon hagyva a CPU-t a megnyitott fülek és a prezentációs szoftver kezelésére. A megbeszélés során egy helyi modell figyeli a hangot és valós idejű átiratot készít. Mivel ez helyben történik, nem kell aggódnia a megvitatott bizalmas stratégia adatvédelme miatt. A megbeszélés után meg kell találnia egy konkrét fotót egy két évvel ezelőtti kampányból. Ahelyett, hogy több ezer fájl között görgetne, beír egy természetes nyelvű leírást a fájlkezelőjébe. A helyi AI, amely az eszközön belüli látásmodellek segítségével indexelte a képeit, másodpercek alatt megtalálja a pontos fájlt. Ez egy olyan szintű integráció, amely láthatatlannak tűnik, de percekkel rövidíti meg a súrlódást a nap folyamán.

Később délután Sarah-nak el kell távolítania egy zavaró tárgyat egy termékfotóról. Ahelyett, hogy egy nehéz, felhőalapú szerkesztőt nyitna meg, egy olyan helyi eszközt használ, amely az NPU segítségével azonnal kitölti a pixeleket. Amikor vázlatot kell írnia, a helyi asszisztense a korábbi írásstílusa alapján javasol fejlesztéseket, anélkül, hogy a vázlatait egy központi szerverre küldené. Ez az AI PC ígérete. Nem egyetlen látványos funkcióról van szó, ami mindent megváltoztat. Hanem száz apró fejlesztésről, amelyek eltüntetik a késleltetést a gondolat és a végrehajtás között. A nap végére az akkumulátora még mindig ötven százalékon áll, mert a speciális NPU sokkal hatékonyabb, mint a múlt általános célú processzorai. A gép inkább egy partnernek tűnik, amely megérti a munkája kontextusát, nem pedig csak egy buta terminálnak a felhőszolgáltatásokhoz. Ez az a valós alkalmazás, amely túlmutat a marketinghájpon.

Azonban némi szkepticizmussal kell viszonyulnunk ezekhez a csillogó új ígéretekhez. Az első kérdés, amit fel kell tennünk, hogy ki profitál valójában ebből a hardverből. Az NPU azért van ott, hogy a felhasználót szolgálja, vagy azért, hogy segítse a szoftvergyártókat több telemetriai adat gyűjtésében a helyi feldolgozás álcája alatt? Bár a helyi következtetés privátabb, mint a felhőalapú, az operációs rendszer továbbra is nyilvántartást vezet arról, mit csinál az AI. Figyelembe kell vennünk ezeknek a gépeknek a rejtett költségeit is. Egy AI PC-nek több RAM-ra és gyorsabb tárhelyre van szüksége ahhoz, hogy a modellek betöltve és reszponzívan maradjanak. Ez felnyomja a fogyasztói belépőárakat. Kényszerítve vagyunk egy drága frissítési ciklusra olyan funkciókért, amelyeket optimalizálni lehetett volna a meglévő hardverekre? Ott van a tartósság kérdése is. Az AI-modellek olyan ütemben fejlődnek, amely messze meghaladja a hardverciklusokat. Egy ma vásárolt, 40 TOPS-os laptop két év múlva elavult lehet, ha a következő generációs modellek 100 TOPS-ot igényelnek. A gyors hardveres értékcsökkenés olyan időszakába lépünk, amely frusztráló lehet a vásárlók számára.

Meg kell vizsgálnunk a környezeti hatásokat is. Bár az eszközön belüli AI hatékonyabb, mint a felhőalapú AI az egyéni felhasználó számára, ezeknek a speciális chipeknek a gyártása ritka anyagokat és energiaigényes folyamatokat igényel. Ha az iparág több milliárd PC globális frissítését szorgalmazza, az e-hulladék és a szénlábnyom jelentős lesz. Ott van a modellek „fekete doboz” jellege is. Még ha a feldolgozás helyi is, sok modell zárt forráskódú. A felhasználók nem feltétlenül tudják, hogyan hoz döntéseket az AI, vagy milyen torzítások vannak beépítve a helyi súlyokba. Az egyszerű szoftverek átláthatóságát cseréljük le a neurális hálózatok komplexitására. Megéri-e a gyorsabb keresés vagy a jobb videóhívás kényelme az eszközeink kiszámíthatóságának elvesztését? Ezek azok a nehéz kérdések, amelyekre az Intel és a Microsoft marketingosztályai nem szívesen válaszolnak. Az új képességek izgalmát egy tisztán látó szemlélettel kell egyensúlyba hoznunk az átállással járó kompromisszumok tekintetében.

Van egy AI-történet, eszköz, trend vagy kérdés, amiről úgy gondolja, hogy foglalkoznunk kellene vele? Küldje el nekünk cikkötletét — szívesen meghallgatnánk.

Az erőművészek és a kockák számára az AI PC valósága a technikai specifikációkban és a fejlesztői ökoszisztémákban él. A jelenlegi szabvány az ONNX Runtime és a DirectML köré épül, amelyek lehetővé teszik a fejlesztők számára, hogy különböző hardverszállítóknál célozzák meg az NPU-t. Azonban még mindig sok a töredezettség. Egy Qualcomm Snapdragon X Elite-re optimalizált eszköz nem biztos, hogy ugyanúgy fut egy Intel Core Ultra vagy egy AMD Ryzen AI chipen. Ez fejfájást okoz azoknak a fejlesztőknek, akik integrálni szeretnék a helyi AI-t a munkafolyamataikba. Az API-korlátok szintén aggodalomra adnak okot. Bár a hardver képes lehet 40 TOPS-ra, az operációs rendszer gyakran visszafogja ezt a teljesítményt a hő és az akkumulátor élettartamának kezelése érdekében. Azok számára, akik saját modelleket, például Llama 3-at vagy Mistralt szeretnének futtatni, a szűk keresztmetszet gyakran az egységes memória. A helyi LLM-ek hihetetlenül éhesek a memória sávszélességére. Ha zökkenőmentesen szeretnél futtatni egy 7 milliárd paraméteres modellt, akkor valóban 32 GB RAM-ra vagy többre van szükséged, függetlenül attól, hogy az NPU-d hány TOPS-ot ígér.

A helyi tárhely egy másik kritikus tényező az erőművészek számára. A kiváló minőségű AI-modellek gigabájtokat foglalhatnak el. Ha több modellt futtatsz képgeneráláshoz, szövegfeldolgozáshoz és hangfelismeréshez, az SSD-d gyorsan megtelik. Látjuk a jelenlegi NPU-architektúrák korlátait a betanítás terén is. Ezeket a chipeket következtetésre tervezték, nem pedig saját modellek finomhangolására vagy betanítására. Ha fejlesztő vagy, aki saját AI-t szeretne építeni, továbbra is szükséged van egy erős NVIDIA GPU-ra CUDA-támogatással. Az NPU egy fogyasztói eszköz, nem munkaállomás-helyettesítő. A driverek stabilitásának terén is a korai szakaszban vagyunk. Sok felhasználó jelenti, hogy az NPU-gyorsított funkciók hibásak lehetnek vagy rendszerinstabilitást okozhatnak. Ez egy új hardverkategória növekedési fájdalma. Részletesebb technikai elemzéseket találhatsz a The Verge oldalán, vagy ellenőrizheted a legfrissebb benchmarkokat az AnandTech-en a specifikus chip-teljesítmények mélyebb vizsgálatához. Követheted a legfrissebb frissítéseket a Microsoft hivatalos fejlesztői blogján a Windows 11 AI-integrációjával kapcsolatban.

A lényeg az, hogy az AI PC egy valós technológiai váltás, de jelenleg a kínos tinédzserkorát éli. A hardver lenyűgöző és a hatékonyságnövekedés kézzelfogható, de a „kötelező” szoftveralkalmazás még várat magára. A legtöbb ember számára a legjobb ok arra, hogy ma AI PC-t vásároljon, a befektetés jövőbiztossá tétele. Ahogy egyre több szoftverfejlesztő kezdi kihasználni az NPU-t, a szakadék a régi és az új hardver között szélesedni fog. Ha kreatív szakember vagy, vagy valaki, aki órákat tölt videókonferenciákon, az előnyök már most láthatóak. Mindenki más számára ez egy várakozási játék. Egy olyan számítástechnikai jövőképbe fektetsz be, amely helyibb, privátabb és hatékonyabb. Csak légy tisztában azzal, hogy korai alkalmazó vagy egy gyorsan mozgó kísérletben. Ha naprakész szeretnél maradni arról, hogyan fejlődnek ezek az eszközök, nézd meg ezt az útmutatót a helyi mesterséges intelligencia legújabb trendjeiről és arról, hogyan befolyásolják a napi munkafolyamatodat. Az NPU korszaka elkezdődött, de a történetnek még koránt sincs vége.

A szerkesztő megjegyzése: Ezt az oldalt többnyelvű AI hírek és útmutatók központjaként hoztuk létre olyan emberek számára, akik nem számítógépes zsenik, de mégis szeretnék megérteni a mesterséges intelligenciát, magabiztosabban használni, és követni a már megérkező jövőt.

Hibát talált, vagy valami javításra szorul? Tudassa velünk.