Tekoälyn uudet valtakeskukset: mallit, sirut, pilvi ja data

Virtuaaliajan loppu

Tekoälyn aika puhtaasti ohjelmistopohjaisena ilmiönä on ohi. Vuosien ajan teknologia-ala keskittyi algoritmien eleganssiin ja chat-käyttöliittymien uutuusarvoon. Nyt painopiste on siirtynyt fyysisten resurssien karuun todellisuuteen. Näemme valtavan vaikutusvallan siirtymän koodin kirjoittajilta niille, jotka hallitsevat sähköä, vettä ja maata. Älykkäämmän mallin rakentaminen ei riipu enää vain tutkijoiden lahjakkuudesta. Se riippuu kyvystä hankkia tuhansia hehtaareja maata ja suora yhteys suurjänniteverkkoon. Tämä on paluu teolliseen aikakauteen, jossa suurimmat toimijat ovat niitä, joilla on raskain infrastruktuuri. Pullonkaula ei ole enää ihmisen luovuus, vaan sähköaseman muuntajan kapasiteetti tai jäähdytysjärjestelmän virtausnopeus. Jos et saa sähköä, et voi käyttää laskentatehoa. Jos et voi käyttää laskentatehoa, ohjelmistosi ei ole olemassa. Tämä fyysinen todellisuus järjestelee uudelleen teknologia-alan yritysten ja valtioiden globaalia hierarkiaa. Voittajia ovat ne, jotka pystyvät muuttamaan fyysisen aineen digitaaliseksi älyksi valtavassa mittakaavassa.

Älykkyyden fyysinen kerros

Modernin tekoälyn vaatima infrastruktuuri on paljon monimutkaisempi kuin pelkkä palvelinkokoelma. Se alkaa sähköverkosta. Konesalit vaativat nykyään satoja megawatteja tehoa toimiakseen. Tämä kysyntä pakottaa teknologiayritykset neuvottelemaan suoraan sähköyhtiöiden kanssa ja jopa investoimaan omaan energiantuotantoon. Fyysinen maa, jolla on oikea kaavoitus ja läheisyys valokuiturunkoverkkoihin, on muuttunut arvokkaammaksi kuin itse ohjelmisto. Vesi on seuraava kriittinen resurssi. Nämä massiiviset siruklusterit tuottavat valtavasti lämpöä. Perinteinen ilmajäähdytys on usein riittämätön uusimmalle laitteistolle. Yritykset siirtyvät kohti nestejäähdytysjärjestelmiä, jotka vaativat miljoonia litroja vettä päivittäin estääkseen prosessoreita sulamasta. Laitteiston toimitusketju on uskomattoman keskittynyt. Kyse ei ole vain sirujen suunnittelusta, vaan edistyneistä pakkaustekniikoista, kuten CoWoS, joiden avulla useita siruja voidaan yhdistää. Kyse on High Bandwidth Memory -muistista, joka tarjoaa koulutukseen tarvittavat tiedonsiirtonopeudet. Näiden komponenttien valmistus tapahtuu kourallisessa laitoksia maailmanlaajuisesti. Tämä keskittyminen luo hauraan järjestelmän, jossa yksittäinen häiriö voi pysäyttää koko alan kehityksen. Rajoitteet eivät ole abstrakteja, vaan ne ovat konkreettisia rajoja sille, kuinka paljon älykkyyttä voimme tuottaa vuonna .

• Verkkoyhteyden kapasiteetti ja sähköverkon päivityksiin tarvittava aika.
• Suuren mittakaavan teollisen jäähdytyksen ja vedenkäytön lupaprosessit.
• Paikallinen vastustus yhteisöiltä, jotka ovat huolissaan melusta ja energian hinnoista.
• Erikoistuneiden sähkökomponenttien, kuten suurjännitemuuntajien, saatavuus.
• Edistyneiden litografia- ja pakkauslaitteiden vientirajoitukset.

Sähköverkon geopolitiikka

Tekoälykapasiteetin jakautumisesta on tulossa kansallisen turvallisuuden kysymys. Hallitukset ymmärtävät, että kyky käsitellä tietoa on yhtä elintärkeää kuin kyky tuottaa öljyä tai terästä. Tämä on johtanut vientirajoitusten aaltoon, joiden tarkoituksena on estää kilpailijoita hankkimasta edistyneimpiä siruja ja niiden valmistukseen tarvittavia koneita. Huomio on kuitenkin siirtymässä siruista sähköön. Valtioista, joilla on vakaata, halpaa ja runsasta energiaa, on tulossa uusia laskennan keskuksia. Siksi näemme massiivisia investointeja alueille, joilla on vajaakäytössä olevia sähköverkkoja tai suurta uusiutuvan energian potentiaalia. Valmistuksen keskittyminen Itä-Aasiaan on edelleen merkittävä jännitepiste. Yksi yritys, kuten TSMC, hoitaa valtaosan edistyneestä sirutuotannosta. Jos tuotanto keskeytyy, globaali tekoälykapasiteetin tarjonta katoaisi yhdessä yössä. Tämä on johtanut Yhdysvaltojen ja Euroopan kiihkeisiin pyrkimyksiin tukea kotimaista valmistusta. Mutta tehtaan rakentaminen on helppo osuus. Erikoistuneen työvoiman ja näiden laitosten pyörittämiseen tarvittavan valtavan sähkömäärän varmistaminen on vuosikymmenten haaste. Globaali voimatasapaino on nyt sidottu sähköverkon vakauteen ja niiden merireittien turvallisuuteen, joita pitkin muistimoduulit ja verkkolaitteistot kulkevat. Tämä on korkean panoksen peli, jossa sisäänpääsyhinta mitataan kymmenissä miljardeissa dollareissa. Löydät tarkempaa tietoa globaaleista sähkötrendeistä Kansainvälisen energiajärjestön tuoreista raporteista.

Kun palvelimet kohtaavat naapuruston

Tämän infrastruktuuribuumin vaikutukset tuntuvat voimakkaimmin paikallistasolla. Ajatellaanpa keskikokoisen kaupungin virkamiestä. Suuri teknologiayritys saapuu ehdotuksella konesalista. Paperilla se näyttää voitolta veropohjalle. Todellisuudessa se on monimutkainen neuvottelu kaupungin tulevaisuudesta. Virkamiehen on selvitettävä, kestääkö paikallinen verkko äkillisen 200 megawatin kuorman aiheuttamatta sähkökatkoja asukkaille. Heidän on punnittava verotulojen hyötyjä suhteessa tuhansien, 24 tuntia vuorokaudessa käyvien jäähdytystuulettimien meluun. Yhden tällaisen kohteen lähellä asuvalle asukkaalle päivittäinen kokemus muuttuu. Kaupungin hiljaisista laidoista tulee teollisuusaluetta. Paikallinen pohjavesi saattaa laskea, kun laitos imee miljoonia litroja vettä jäähdytystorneihinsa. Tässä tekoälyn abstrakti idea kohtaa paikallisen vastustuksen todellisuuden. Paikoissa, kuten Pohjois-Virginiassa tai osissa Irlantia, yhteisöt tekevät vastarintaa. He kysyvät, miksi heidän sähkölaskunsa nousevat tukeakseen globaalin teknologiayhtiön toimintaa. He kyseenalaistavat näiden massiivisten betonimöhkäleiden ympäristövaikutukset. Startupille, joka yrittää rakentaa uutta sovellusta, haaste on erilainen. Heillä ei ole pääomaa omien voimalaitosten rakentamiseen. He ovat suurten pilvipalveluntarjoajien armoilla, jotka hallitsevat pääsyä laskentatehoon. Jos pilvipalveluntarjoajalta loppuu kapasiteetti tai se nostaa hintoja energiakustannusten vuoksi, startup on konkurssissa. Tämä luo porrastetun järjestelmän, jossa vain varakkaimmilla yrityksillä on varaa innovoida. Tuotteen näkyvyys markkinoilla ei ole sama asia kuin kestävä vipuvoima. Todellinen vipuvoima tulee niiden fyysisten resurssien omistamisesta, joihin ohjelmisto nojaa. Tämä teknologiayritysten siirtyminen kohti ydinvoimaa on selvä merkki siitä, kuinka epätoivoisia ne ovat vakaan energian suhteen.

Mittakaavan piilokustannukset

Meidän on kysyttävä vaikeita kysymyksiä tämän kasvun pitkän aikavälin kestävyydestä. Kuka todella maksaa tekoälyinfrastruktuurin piilokustannukset? Kun konesali kuluttaa merkittävän osan kaupungin vesivarannoista kuivuuden aikana, kustannus ei ole vain taloudellinen. Se on yhteisön kantama sosiaalinen kustannus. Ovatko näille yrityksille annetut verohelpotukset julkisten resurssien rasituksen arvoisia? Meidän on myös harkittava vallan keskittymistä niiden muutaman yrityksen käsiin, jotka hallitsevat käyttäjäsuhdetta ja laskentatehoa. Jos kolme tai neljä yritystä omistaa suurimman osan maailman tekoälykapasiteetista, mitä se tarkoittaa kilpailulle? Onko uuden toimijan mahdollista nousta, kun pääomavaatimukset ovat näin korkeat? Rakennamme järjestelmää, joka on uskomattoman tehokas, mutta myös uskomattoman hauras. Yksittäinen vika erikoistuneessa muuntajatehtaassa tai kuivuus keskeisessä jäähdytyskeskuksessa voisi laukaista ketjureaktion koko ekosysteemissä. Mitä tapahtuu luojille ja yrityksille, jotka ovat rakentaneet koko työnkulkunsa näiden mallien päälle, jos fyysinen infrastruktuuri pettää? Meidän on myös tarkasteltava ympäristövaikutuksia. Vaikka yritykset väittävät olevansa hiilineutraaleja, vaadittavan energian valtava määrä pakottaa monet pitämään vanhempia, likaisempia voimalaitoksia käynnissä suunniteltua pidempään. Onko hieman paremman chatbotin hyöty viivästyksen arvoinen siirtymisessämme puhtaaseen energiaan? Nämä eivät ole vain teknisiä kysymyksiä. Ne ovat eettisiä ja poliittisia kysymyksiä, jotka määrittelevät seuraavan vuosikymmenen teknologisen kehityksen. Nykyinen tekoälyinfrastruktuurianalyysimme osoittaa, että kuilu rikkaiden ja köyhien välillä kasvaa fyysisen pääsyn perusteella.

Onko sinulla tekoälytarinaa, -työkalua, -trendiä tai kysymystä, jonka mielestäsi meidän pitäisi käsitellä? Lähetä meille artikkeli-ideasi — kuulisimme sen mielellämme.

Korkean suorituskyvyn konepellin alla

Niille, joiden on ymmärrettävä tämän uuden ajan tekniset rajoitteet, painopisteen on siirryttävä malliparametrien ulkopuolelle. Todelliset pullonkaulat ovat nyt verkottumisessa ja muistissa. Laajamittaisen mallin kouluttaminen vaatii tuhansia GPU-yksiköitä toimimaan täydellisessä synkronoinnissa. Tämä on mahdollista vain nopeiden verkkoteknologioiden, kuten InfiniBand tai erikoistuneiden Ethernet-konfiguraatioiden, avulla. Näiden sirujen välinen latenssi voi olla ero mallin välillä, joka koulutetaan viikoissa, ja sellaisen, joka vie kuukausia. Sitten on muistikysymys. High Bandwidth Memory (HBM) -muistista on pulaa, koska sen valmistusprosessi on huomattavasti vaikeampi kuin tavallisen DRAM-muistin. Tämä rajoittaa niiden huippusirujen määrää, joita voidaan tuottaa, vaikka logiikkakiekkoja olisikin saatavilla. Ohjelmistopuolella kehittäjät törmäävät siihen, mitä API-rajapinnat voivat tarjota. Nopeusrajoitukset eivät enää koske vain väärinkäytösten estämistä. Ne heijastavat taustalla olevan laitteiston fyysistä kapasiteettia. Tehokäyttäjille siirtyminen kohti paikallista tallennusta ja paikallista suoritusta on vastaus näihin rajoitteisiin. Jos voit ajaa pienemmän, optimoidun mallin omalla laitteistollasi, ohitat konesalin jonon. Paikallisella laitteistolla on kuitenkin omat rajansa lämmönhallinnan ja virrankulutuksen suhteen. Näiden mallien integrointia olemassa oleviin työnkulkuihin haittaa myös standardoitujen rajapintojen puute. Jokaisella palveluntarjoajalla on oma suljettu pino, mikä tekee vaihtamisesta vaikeaa, jos yksi palveluntarjoaja kohtaa fyysisen katkoksen. Valmistuksen keskittyminen näkyy myös edistyneiden pakkausten markkinoilla. TSMC:n edistysaskeleet sirujen pakkaamisessa ovat ainoa syy, miksi voimme jatkaa suorituskyvyn skaalaamista, kun saavutamme perinteisen piin rajat. Tämä on alan nörttitodellisuutta.

• InfiniBand- ja NVLink-läpimenorajoitukset monisolmuisille koulutusklustereille.
• HBM3e-tarjonnan rajoitteet ja niiden vaikutus GPU-tuotannon kokonaismääriin.
• Alueellisten sähköverkon vaihteluiden aiheuttamat API-latenssipiikit.
• Paikalliset NVMe-tallennusnopeudet pullonkaulana datan syötössä hienosäädössä.
• Lämpökuristusrajat tiheille räkkikonfiguraatioille vanhemmissa tiloissa.

Uusi todellisuus kehittäjille

Siirtymä ohjelmistopainotteisesta laitteistopainotteiseen maailmaan on valmis. Yritykset, jotka johtavat seuraavaa kehitysvaihetta, ovat niitä, jotka ovat varmistaneet toimitusketjunsa ja energialähteensä. Muulle alalle haasteena on innovoida fyysisen maailman asettamien rajoitteiden puitteissa. Tämä tarkoittaa tehokkaamman koodin kirjoittamista, joka vaatii vähemmän laskentatehoa. Se tarkoittaa tapojen löytämistä käyttää pienempiä malleja, jotka voivat toimia vähemmän erikoistuneella laitteistolla. Äärettömän ja halvan skaalautumisen päivät ovat takanamme. Olemme siirtymässä ajanjaksoon, jolloin verkkoyhteyden saatavuus on tärkeämpi mittari kuin kirjoitettujen koodirivien määrä. Näiden fyysisten valtakeskusten ymmärtäminen on ainoa tapa ymmärtää, mihin teknologia on menossa vuonna . Tulevaisuus ei ole vain pilvessä. Se on maassa, johdoissa ja vedessä, joka tekee pilvestä mahdollisen.

Toimittajan huomautus: Loimme tämän sivuston monikieliseksi tekoälyuutisten ja -oppaiden keskukseksi ihmisille, jotka eivät ole tietokonenörttejä, mutta haluavat silti ymmärtää tekoälyä, käyttää sitä luottavaisemmin ja seurata jo saapuvaa tulevaisuutta.