A következő nagy AI chip-forradalom: gyorsabb, kisebb vagy hatékonyabb?

A gyorsabb AI-ért folytatott verseny az egyszerű órajelsebességektől a komplex rendszerarchitektúrák csataterére terelődött. Már nem elég több tranzisztort bezsúfolni egy darab szilíciumba. Az iparág falba ütközött, ahol a processzor és a memória közötti adatátvitel sebessége fontosabb, mint maga a processzor. Ez a váltás határozza meg a hardverek jelenlegi korszakát. Azok a cégek, amelyek korábban csak a chiptervezésre fókuszáltak, most globális ellátási láncokat és fejlett csomagolási technikákat menedzselnek, hogy versenyben maradjanak. A közelmúltbeli változás a holisztikus rendszerek felé mutat, ahol a hálózat és a memória ugyanolyan létfontosságú, mint a logikai kapuk. Ez az evolúció megváltoztatja a szoftverfejlesztést és azt is, ahogyan a kormányok a nemzetbiztonságra tekintenek. Ha meg akarod érteni, merre tart a technológia, ne a chipeket, hanem a köztük lévő kapcsolatokat vizsgáld. Egy platform ereje ma már azon múlik, képes-e ezeket az eltérő részeket egyetlen koherens egésszé integrálni. Aki figyelmen kívül hagyja a hardver fizikai korlátait, az a szoftveres álmait a latency és a hőképződés miatt zátonyra futtatja.

Szilícium-halmozás a „memória-fal” áttöréséhez

A jelenlegi váltás megértéséhez nézzük meg, hogyan épülnek fel fizikailag a chipek. Évtizedekig az iparág a lapos kialakítást követte: volt egy processzor és egy memória, amelyek külön helyezkedtek el az áramköri lapon. Ma ez a távolság a teljesítmény első számú ellensége. Ennek megoldására a gyártók a fejlett csomagolás (advanced packaging) felé fordulnak. Ez magában foglalja az alkatrészek egymásra vagy egymás mellé helyezését egy speciális alapon, az úgynevezett interposer-en. Ez a technika, amelyet gyakran Chip on Wafer on Substrate-ként emlegetnek, lehetővé teszi, hogy hatalmas mennyiségű adat mozogjon korábban elképzelhetetlen sebességgel. Ez nem csak egy apró fejlesztés, hanem a számítógép-építés alapvető megváltozása. Amikor a **High Bandwidth Memory**-t közvetlenül a processzormagok mellé helyezed, megszünteted azokat a dugókat, amelyek lelassítják a nagy nyelvi modelleket. Ezért dominálnak az olyan cégek, mint az NVIDIA. Ők nem csak egy chipet adnak el, hanem egy szorosan integrált csomagot, amely tartalmazza a memóriát és a nagy sebességű interconnecteket is.

Maga a memória is megváltozott. A hagyományos RAM már nem tud lépést tartani a modern AI igényeivel. Az iparág a sokkal nagyobb áteresztőképességű, speciális memória felé mozdult el. Ez a memória drága és nehezen gyártható, ami ellátási szűk keresztmetszetet okoz. Ha egy cég nem tud elegendő ilyen speciális memóriát beszerezni, a fejlett processzoraik lényegében használhatatlanok. Ez a függőség mutatja, hogy a hardver története ma már rendszertörténet. Nem beszélhetsz az agyról anélkül, hogy ne említenéd az ereket, amelyek a vért szállítják. A 2D-ről 3D-s struktúrákra való átállás a legfontosabb technikai jelzés a mai piacon. Ez választja el a komoly szereplőket azoktól, akik csak a régi terveket iterálják. Ez az átmenet hatalmas beruházásokat igényel olyan gyártóüzemekben, amelyek képesek ilyen precizitással dolgozni. A világon csak néhány cég, például a TSMC, képes erre nagyüzemi méretekben.

Az AI geopolitikai valósága ahhoz kötődik, hol készülnek ezek a chipek. A fejlett gyártás nagy része Tajvan néhány négyzetmérföldjén koncentrálódik. Ez a koncentráció egyetlen meghibásodási pontot jelent a globális gazdaság számára. Ha ott leáll a termelés, az egész tech szektor megáll. A kormányok most milliárdokat költenek hazai gyárak építésére, de ezek a projektek évekig tartanak. Az exportkorlátozások is fontos tényezővé váltak. Az amerikai kormány korlátozta a csúcskategóriás AI chipek értékesítését bizonyos országokba, hogy megőrizze technológiai előnyét. Ez arra kényszerítette a cégeket, hogy hardverük olyan verzióit tervezzék, amelyek megfelelnek ezeknek a szabályoknak. A globális piac ilyen széttöredezettsége azt jelenti, hogy a tartózkodási helyed határozza meg, milyen AI-t építhetsz. Visszatértünk egy olyan világba, ahol a fizikai határok határozzák meg a digitális lehetőségeket. A hardver és a platform ereje közötti kapcsolat ma már nemzetpolitikai kérdés. Az az ország, amely nem fér hozzá a legújabb szilíciumhoz, nem tud versenyezni a szoftverek korszakában. Ezért látunk ilyen agresszív lépéseket az ellátási lánc ellenőrzésére az alapanyagoktól a kész rendszerekig.

Egy fejlesztő vagy egy kisvállalkozás számára ezeknek a hardveres változásoknak azonnali következményei vannak. Képzeld el Sarah-t, aki egy kis stúdiót vezet. Egy éve még teljesen a cloud szolgáltatókra támaszkodott az AI eszközei futtatásához. Magas havidíjakat fizetett, és aggódott, hogy az adatait tréningezésre használják. Ma, a hatékonyabb chipkialakításoknak és a jobb helyi memória-integrációnak köszönhetően, egyetlen munkaállomáson is futtathat egy erős modellt. A napja azzal indul, hogy a helyi gépe nagy felbontású eszközöket generál, miközben ő kávézik. Nem kell arra várnia, hogy egy másik államban lévő szerver válaszoljon. Mivel a hardver hatékonyabb, az irodája nem melegszik túl, és a villanyszámlája is kezelhető marad. Ez a helyi számítások (local compute) felé mutató elmozdulás a jobb chipcsomagolás és memóriamenedzsment közvetlen eredménye. Több autonómiát és jobb adatvédelmet ad az alkotóknak. Ugyanakkor ez egy szakadékot is teremt: azok, akik megengedhetik maguknak a legújabb hardvert, hatalmas termelékenységi előnyben vannak azokkal szemben, akik a régebbi rendszereken ragadtak.

A hatás kiterjed arra is, hogyan tervezik a cégek a költségvetésüket. Egy közepes méretű cégnek választania kell egy hatalmas cloud szerződés vagy a saját hardverklaszterbe való befektetés között. Ez a döntés már nem csak a költségekről szól. Az irányításról van szó. Ha tiéd a hardver, tiéd a stack. Nem vagy kitéve az API korlátoknak vagy egy óriási tech szolgáltató változó felhasználási feltételeinek. Optimalizálhatod a szoftveredet, hogy kifejezetten a te hardvereden fusson, kihozva belőle a maximális teljesítményt. Ez a chip-váltás gyakorlati oldala. Az AI-t távoli szolgáltatásból helyi közművé alakítja. De ez a közmű speciális tudást igényel. Egy nagy teljesítményű chipklaszter kezelése nem ugyanaz, mint egy hagyományos szerverteremé. Komplex hálózati protokollokkal és folyadékhűtő rendszerekkel kell foglalkoznod. A valós hatás az, hogy új igény jelentkezik a hardveres műveltségre a szoftvercsapatok körében. A két terület olyan módon olvad össze, ahogy a számítástechnika korai napjai óta nem.

• A nagy modellek helyi futtatása csökkenti a latency-t a valós idejű alkalmazásoknál.
• A fejlett hűtési követelmények megváltoztatják a modern adatközpontok fizikai elrendezését.
• A hardver szintű titkosítás új biztonsági réteget biztosít az érzékeny adatok számára.
• A zárt (proprietary) interconnectek arra kényszerítik a cégeket, hogy egyetlen hardver-ökoszisztémán belül maradjanak.
• Az energiahatékonyság lesz a mobil AI teljesítményének elsődleges mérőszáma.

Meg kell kérdeznünk magunktól, mik a rejtett költségei ennek a hardver-mániának. Miközben nagyobb teljesítményre törekszünk, figyelmen kívül hagyjuk-e ezen komplex rendszerek gyártásának környezeti hatásait? A modern gyárak (fab) működtetéséhez szükséges víz és energia mennyisége megdöbbentő. Ott van az adatvédelem kérdése is hardver szinten. Ha magában a szilíciumban van beépített telemetria, biztosak lehetünk-e abban, hogy az adataink privátak? Gyakran feltételezzük, hogy a több számítási teljesítmény mindig jobb, de ritkán kérdezzük meg, hogy a megoldandó problémáink igényelnek-e ekkora erőt. Olyan digitális világot építünk, amelyet csak a leggazdagabb nemzetek és cégek engedhetnek meg maguknak? A gyártási hatalom koncentrációja néhány kézben olyan kockázat, amelyet többnyire figyelmen kívül hagyunk a másodpercenkénti gyorsabb tokenek hajszolásában. El kell gondolkodnunk azon, hogy nem egy olyan hardveres monokultúrát hozunk-e létre, amely sebezhető a rendszerszintű hibákkal szemben. A hardver a sors a jelenlegi tech klímában, de ezt a sorsot egy nagyon szűk csoport írja.

Meg kell kérdőjeleznünk, hogy a teljesítmény és az átláthatóság közötti kompromisszum olyan-e, amit hajlandóak vagyunk megkötni. A zárt hardver-ökoszisztémák felé mutató jelenlegi trend megnehezíti a független kutatók számára annak ellenőrzését, hogyan működnek valójában ezek a rendszerek.

A power user-ek számára a technikai részletek jelentik az igazi történetet. A szoftver és hardver integrációja olyan speciális könyvtárakon keresztül történik, mint a CUDA vagy a ROCm. Ezek nem csak driverek; ők azok a hidak, amelyek lehetővé teszik a kód számára, hogy beszéljen a chipen lévő több ezer apró maggal. A jelenlegi szűk keresztmetszet sok munkafolyamatnál a cloud szolgáltatók által kirótt API korlát. A helyi hardverre való átállással a felhasználók megkerülhetik ezeket a korlátokat, de meg kell küzdeniük a helyi tárhely és a memória sávszélesség korlátaival. Az interconnect sebessége, mint például az NVLink, meghatározza, mennyire tud több chip együttműködni egyetlen egységként. Ha az interconnect lassú, több chip hozzáadása csökkenő hozamot eredményez. Ezért mutatják a legújabb AI hardver trendek, hogy a hálózatépítésre ugyanakkora hangsúlyt fektetnek, mint a feldolgozásra. Figyelembe kell venni a thermal design power-t is. Egy chip, amely túl forró, visszafogja a saját teljesítményét, így az elméleti csúcssebessége irrelevánssá válik. A helyi tárhely sebessége is számít, mivel a modell súlyait gyorsan be kell tölteni a memóriába az indulási késleltetések elkerülése érdekében. A piac geek szekciója távolodik az egyszerű benchmarkoktól a rendszerszintű áteresztőképességi mutatók felé.

• Az interconnect sávszélesség ma már meghaladja a több terabájt/másodpercet a csúcskategóriás klaszterekben.
• A kvantálási technikák lehetővé teszik, hogy nagy modellek kisebb memóriaterületen is elférjenek.
• Az egységes memóriaarchitektúrák lehetővé teszik, hogy a CPU és a GPU ugyanazt az adatbázist használja.
• A specifikus matematikai műveletekre tervezett hardveres gyorsítók szabványossá válnak a fogyasztói CPU-kban.
• A helyi API végpontok lehetővé teszik a zökkenőmentes integrációt a különböző szoftveres eszközök között.

A következő év érdemi fejlődését nem a magasabb órajelekkel fogják mérni. Ehelyett az energiahatékonyság javulását és a fejlett csomagolás demokratizálódását kell figyelnünk. Ha nyitottabb interconnect szabványok felé mozdulunk el, az jelentős jelzés lenne. Ez azt jelentené, hogy a felhasználók már nincsenek egyetlen gyártó stack-jéhez kötve. Figyelnünk kell az on-chip hálózatépítés fejlődésére is, amely csökkenti az adatok mozgatásához szükséges energiát. Az igazi siker az lesz, ha a nagy teljesítményű AI elérhetővé válik többek számára, mint csak a cégek felső egy százaléka. A gyakorlati tét nagy. A hardver az alapja mindennek, amit a digitális térben építünk. Ha ez az alap koncentrált, drága és átláthatatlan, a technológia jövője is ilyen lesz. Olyan világ felé kell haladnunk, ahol a szilícium erejét valódi problémák megoldására használják mindenki számára, nem csak azért, hogy több zajt generáljanak a piacon. A váltás most történik, és a következményeit évtizedekig érezni fogjuk.

A szerkesztő megjegyzése: Ezt az oldalt többnyelvű AI hírek és útmutatók központjaként hoztuk létre olyan emberek számára, akik nem számítógépes zsenik, de mégis szeretnék megérteni a mesterséges intelligenciát, magabiztosabban használni, és követni a már megérkező jövőt.

Hibát talált, vagy valami javításra szorul? Tudassa velünk.