Novi centri moći AI: Modeli, čipovi, cloud i podaci

Kraj virtuelne ere

Era veštačke inteligencije kao isključivo softverskog fenomena je završena. Godinama je tehnološki svet bio fokusiran na eleganciju algoritama i novitete u interfejsima za ćaskanje. Taj fokus se sada pomerio ka surovoj realnosti fizičkih resursa. Svedoci smo masovnog prenosa uticaja sa onih koji pišu kod na one koji kontrolišu struju, vodu i zemljište. Sposobnost izgradnje pametnijeg modela više ne zavisi samo od talenta istraživača. Ona zavisi od sposobnosti da se obezbede hiljade hektara zemlje i direktna veza sa visokonaponskom električnom mrežom. Ovo je povratak u industrijsko doba, gde su najveći igrači oni sa najtežom infrastrukturom. Usko grlo više nije ljudska kreativnost. To je kapacitet transformatora u trafostanici ili protok sistema za hlađenje. Ako ne možete da dobijete struju, ne možete da pokrenete compute. Ako ne možete da pokrenete compute, vaš softver ne postoji. Ova fizička realnost preuređuje globalnu hijerarhiju tehnoloških kompanija i samih nacija. Pobednici su oni koji mogu da pretvore fizičku materiju u digitalnu inteligenciju u masovnim razmerama.

Fizički stek inteligencije

Infrastruktura potrebna za modernu AI je daleko složenija od jednostavne kolekcije servera. Sve počinje od električne mreže. Data centri sada zahtevaju stotine megavata snage za rad. Ova potražnja primorava tehnološke kompanije da direktno pregovaraju sa dobavljačima komunalnih usluga, pa čak i da ulažu u sopstvenu proizvodnju energije. Fizičko zemljište sa odgovarajućim zoniranjem i blizinom magistralnih optičkih kablova postalo je vrednije od samog softvera. Voda je sledeći kritični resurs. Ovi masivni klasteri čipova generišu ogromnu toplotu. Tradicionalno vazdušno hlađenje je često nedovoljno za najnoviji hardver. Kompanije prelaze na sisteme tečnog hlađenja koji zahtevaju milione litara vode svakog dana kako bi sprečili topljenje procesora. Izvan samog objekta, lanac snabdevanja hardverom je neverovatno koncentrisan. Ne radi se samo o dizajnu čipova. Radi se o naprednim tehnikama pakovanja kao što je CoWoS, koje omogućavaju povezivanje više čipova. Radi se o High Bandwidth Memory memoriji koja obezbeđuje brzine prenosa podataka neophodne za trening. Proizvodnja ovih komponenti se odvija u svega nekoliko fabrika širom sveta. Ova koncentracija stvara krhki sistem gde jedan poremećaj može zaustaviti napredak čitave industrije. Ograničenja nisu apstraktna. To su opipljive granice onoga koliko inteligencije možemo da proizvedemo u .

• Kapacitet priključka na mrežu i vreme potrebno za nadogradnju infrastrukture.
• Procesi izdavanja dozvola za industrijsko hlađenje velikih razmera i potrošnju vode.
• Lokalni otpor zajednica zabrinutih zbog buke i cena energije.
• Dostupnost specijalizovanih električnih komponenti kao što su visokonaponski transformatori.
• Izvozne kontrole napredne litografije i opreme za pakovanje.

Geopolitika električne mreže

Distribucija AI moći postaje pitanje nacionalne bezbednosti. Vlade shvataju da je sposobnost obrade informacija jednako vitalna kao i sposobnost proizvodnje nafte ili čelika. To je dovelo do porasta izvoznih kontrola dizajniranih da spreče rivale u nabavci najnaprednijih čipova i mašina potrebnih za njihovu izradu. Međutim, fokus se pomera sa čipova na struju. Nacije koje imaju stabilnu, jeftinu i obilnu energiju postaju nova čvorišta za compute. Zato vidimo masovna ulaganja u regione sa neiskorišćenim mrežama ili velikim potencijalom za obnovljive izvore energije. Koncentracija proizvodnje u Istočnoj Aziji ostaje značajna tačka tenzije. Jedna kompanija kao što je TSMC upravlja ogromnom većinom napredne proizvodnje čipova. Ako bi ta proizvodnja bila prekinuta, globalna zaliha AI kapaciteta bi nestala preko noći. Ovo je dovelo do grozničavih napora SAD i Evrope da subvencionišu domaću proizvodnju. Ali izgradnja fabrike je lakši deo. Obezbeđivanje specijalizovane radne snage i ogromnih količina električne energije potrebnih za rad ovih postrojenja je izazov koji traje decenijama. Globalni balans moći je sada vezan za stabilnost električne mreže i bezbednost pomorskih puteva kojima se transportuju memorijski moduli i hardver za umrežavanje. Ovo je igra sa visokim ulozima gde se ulazna cena meri desetinama milijardi dolara. Detaljnije podatke o globalnim trendovima električne energije možete pronaći u nedavnim izveštajima Međunarodne agencije za energetiku.

Kada serveri sretnu komšiluk

Uticaj ovog infrastrukturnog buma se najviše oseća na lokalnom nivou. Zamislite gradskog zvaničnika u gradu srednje veličine. Velika tehnološka kompanija dolazi sa predlogom za data centar. Na papiru, to izgleda kao pobeda za poresku osnovicu. U stvarnosti, to su složeni pregovori o budućnosti grada. Zvaničnik mora da utvrdi da li lokalna mreža može da podnese iznenadno opterećenje od 200 megavata bez izazivanja nestanka struje za stanovnike. Moraju da odmere koristi od poreskih prihoda u odnosu na buku hiljada ventilatora za hlađenje koji rade 24 sata dnevno. Za stanovnika koji živi u blizini jedne od ovih lokacija, svakodnevno iskustvo se menja. Tiha periferija grada postaje industrijska zona. Lokalni nivo podzemnih voda može opasti jer postrojenje povlači milione litara za svoje rashladne tornjeve. Ovde se apstraktna ideja AI susreće sa realnošću lokalnog otpora. U mestima kao što su Severna Virdžinija ili delovi Irske, zajednice pružaju otpor. Pitaju se zašto njihove cene struje rastu da bi subvencionisale poslovanje globalnog tehnološkog giganta. Preispituju uticaj ovih masivnih betonskih blokova na životnu sredinu. Za startup koji pokušava da izgradi novu aplikaciju, izazov je drugačiji. Oni nemaju kapital da grade sopstvene elektrane. Oni su na milost i nemilost velikih cloud provajdera koji kontrolišu pristup compute-u. Ako cloud provajder ostane bez kapaciteta ili podigne cene zbog troškova energije, startup je gotov. Ovo stvara sistem u kojem samo najbogatije kompanije mogu sebi da priušte inovacije. Vidljivost proizvoda na tržištu nije isto što i trajna poluga. Prava poluga dolazi od posedovanja fizičke imovine na koju se softver oslanja. Ovaj zaokret ka nuklearnoj energiji od strane tehnoloških kompanija je jasan znak koliko su očajne za stabilnom energijom.

Skriveni troškovi obima

Moramo postaviti teška pitanja o dugoročnoj održivosti ovog rasta. Ko zapravo plaća skrivene troškove AI infrastrukture? Kada data centar potroši značajan deo gradskih zaliha vode tokom suše, trošak nije samo finansijski. To je društveni trošak koji snosi zajednica. Da li su poreske olakšice date ovim kompanijama vredne pritiska na javne resurse? Takođe moramo razmotriti koncentraciju moći u rukama nekoliko kompanija koje kontrolišu odnos sa korisnicima i compute. Ako tri ili četiri kompanije poseduju većinu svetskih AI kapaciteta, šta to znači za konkurenciju? Da li je moguće da se pojavi novi igrač kada su kapitalni zahtevi toliko visoki? Gradimo sistem koji je neverovatno efikasan, ali i neverovatno krhak. Jedan kvar u fabrici specijalizovanih transformatora ili suša u ključnom čvorištu za hlađenje mogli bi da izazovu kaskadni neuspeh u celom ekosistemu. Šta se dešava sa kreatorima i kompanijama koje su izgradile čitave radne procese na ovim modelima ako fizička infrastruktura zakaže? Takođe moramo sagledati uticaj na životnu sredinu. Iako kompanije tvrde da su karbonski neutralne, ogromna količina potrebne energije primorava mnoge da zadrže starije, prljavije elektrane u radu duže nego što je planirano. Da li je korist od malo boljeg chatbota vredna odlaganja naše tranzicije na čistu energiju? Ovo nisu samo tehnička pitanja. To su etička i politička pitanja koja će definisati narednu deceniju tehnološkog razvoja. Naša trenutna analiza AI infrastrukture pokazuje da se jaz između onih koji imaju i onih koji nemaju produbljuje na osnovu fizičkog pristupa.

Имате причу о вештачкој интелигенцији, алат, тренд или питање које мислите да бисмо требали да покријемо? Пошаљите нам своју идеју за чланак — волели бисмо да је чујемо.

Ispod haube visokih performansi

Za one koji treba da razumeju tehnička ograničenja ove nove ere, fokus se mora pomeriti izvan parametara modela. Prava uska grla su sada u umrežavanju i memoriji. Obuka modela velikih razmera zahteva hiljade GPU-ova koji rade u savršenoj sinhronizaciji. Ovo je moguće samo kroz tehnologije umrežavanja velike brzine kao što su InfiniBand ili specijalizovane Ethernet konfiguracije. Latencija između ovih čipova može biti razlika između modela koji se trenira nedeljama i onog kojem su potrebni meseci. Zatim postoji pitanje memorije. High Bandwidth Memory (HBM) je deficitarna jer je njen proces proizvodnje znatno teži od standardnog DRAM-a. Ovo ograničava broj vrhunskih čipova koji se mogu proizvesti čak i ako su logički vaferi dostupni. Na strani softvera, programeri dostižu granice onoga što API-ji mogu da pruže. Ograničenja stope više nisu samo sprečavanje zloupotrebe. Ona su odraz fizičkog kapaciteta osnovnog hardvera. Za napredne korisnike, prelazak na lokalno skladištenje i lokalno izvršavanje je odgovor na ova ograničenja. Ako možete da pokrenete manji, optimizovan model na sopstvenom hardveru, zaobilazite red u data centru. Međutim, lokalni hardver ima svoja ograničenja u pogledu termičkog upravljanja i potrošnje energije. Integraciju ovih modela u postojeće radne procese takođe ometa nedostatak standardizovanih interfejsa. Svaki provajder ima svoj vlasnički stek, što otežava prebacivanje ako jedan provajder naiđe na fizički prekid rada. Koncentracija proizvodnje je takođe vidljiva na tržištu naprednog pakovanja. TSMC-ov napredak u pakovanju čipova je jedini razlog zašto možemo nastaviti da skaliramo performanse dok dostižemo granice tradicionalnog silicijuma. Ovo je štreberska realnost industrije.

• Ograničenja protoka InfiniBand i NVLink za klastere za obuku sa više čvorova.
• Ograničenja snabdevanja HBM3e i njihov uticaj na ukupne količine proizvodnje GPU-ova.
• Skokovi API latencije uzrokovani fluktuacijama regionalne električne mreže.
• Brzine lokalnog NVMe skladištenja kao usko grlo za unos podataka pri finom podešavanju.
• Ograničenja termičkog prigušivanja za konfiguracije rekova visoke gustine u starijim objektima.

Nova realnost za programere

Prelazak iz sveta u kojem je softver na prvom mestu u svet u kojem je hardver na prvom mestu je završen. Kompanije koje će predvoditi sledeću fazu razvoja su one koje su osigurale svoje lance snabdevanja i izvore energije. Za ostatak industrije, izazov je inovirati unutar ograničenja koje postavlja fizički svet. To znači pisanje efikasnijeg koda koji zahteva manje compute-a. To znači pronalaženje načina za korišćenje manjih modela koji mogu da rade na manje specijalizovanom hardveru. Dani beskonačnog, jeftinog skaliranja su iza nas. Ulazimo u period u kojem je dostupnost mrežnog priključka važniji pokazatelj od broja napisanih linija koda. Razumevanje ovih fizičkih centara moći je jedini način da razumemo kuda tehnologija ide u . Budućnost nije samo u cloud-u. Ona je u zemlji, žicama i vodi koja čini cloud mogućim.

Napomena urednika: Kreirali smo ovaj sajt kao višejezični centar za vesti i vodiče o veštačkoj inteligenciji za ljude koji nisu kompjuterski genijalci, ali ipak žele da razumeju veštačku inteligenciju, koriste je sa više samopouzdanja i prate budućnost koja već stiže.