Τα νέα κέντρα ισχύος της AI: Μοντέλα, Chips, Cloud και Δεδομένα

Το τέλος της εικονικής εποχής

Η εποχή όπου η τεχνητή νοημοσύνη ήταν ένα φαινόμενο αποκλειστικά λογισμικού έχει τελειώσει. Για χρόνια, ο κόσμος της τεχνολογίας εστίαζε στην κομψότητα των αλγορίθμων και την καινοτομία των chat interfaces. Αυτή η εστίαση έχει μετατοπιστεί στη σκληρή πραγματικότητα των φυσικών πόρων. Βλέπουμε πλέον μια μαζική μεταφορά επιρροής από εκείνους που γράφουν κώδικα σε εκείνους που ελέγχουν την ηλεκτρική ενέργεια, το νερό και τη γη. Η ικανότητα δημιουργίας ενός πιο έξυπνου μοντέλου δεν εξαρτάται πλέον μόνο από το ταλέντο των ερευνητών. Εξαρτάται από την ικανότητα εξασφάλισης χιλιάδων στρεμμάτων γης και άμεσης σύνδεσης με ένα δίκτυο ηλεκτρικής ενέργειας υψηλής τάσης. Πρόκειται για μια επιστροφή στη βιομηχανική εποχή, όπου οι μεγαλύτεροι παίκτες είναι εκείνοι με τις πιο βαριές υποδομές. Το bottleneck δεν είναι πλέον η ανθρώπινη δημιουργικότητα. Είναι η χωρητικότητα ενός μετασχηματιστή σε έναν υποσταθμό ή ο ρυθμός ροής ενός συστήματος ψύξης. Αν δεν μπορείς να έχεις ενέργεια, δεν μπορείς να τρέξεις το compute. Αν δεν μπορείς να τρέξεις το compute, το λογισμικό σου δεν υπάρχει. Αυτή η φυσική πραγματικότητα αναδιατάσσει την παγκόσμια ιεραρχία των εταιρειών τεχνολογίας και των εθνών. Οι νικητές είναι εκείνοι που μπορούν να μετατρέψουν τη φυσική ύλη σε ψηφιακή νοημοσύνη σε τεράστια κλίμακα.

Το φυσικό stack της νοημοσύνης

Οι υποδομές που απαιτούνται για τη σύγχρονη AI είναι πολύ πιο περίπλοκες από μια απλή συλλογή servers. Ξεκινούν από το ηλεκτρικό δίκτυο. Τα data centers απαιτούν πλέον εκατοντάδες megawatts ενέργειας για να λειτουργήσουν. Αυτή η ζήτηση αναγκάζει τις εταιρείες τεχνολογίας να διαπραγματεύονται απευθείας με παρόχους ενέργειας και να επενδύουν ακόμη και στη δική τους παραγωγή. Η φυσική γη με τη σωστή πολεοδομική ζώνη και εγγύτητα σε κορμούς οπτικών ινών έχει γίνει πιο πολύτιμη από το ίδιο το λογισμικό. Το νερό είναι ο επόμενος κρίσιμος πόρος. Αυτά τα τεράστια clusters από chips παράγουν τρομερή θερμότητα. Η παραδοσιακή ψύξη με αέρα είναι συχνά ανεπαρκής για το τελευταίο hardware. Οι εταιρείες στρέφονται προς συστήματα υδρόψυξης που απαιτούν εκατομμύρια γαλόνια νερού κάθε μέρα για να μην λιώσουν οι επεξεργαστές. Πέρα από τις εγκαταστάσεις, η εφοδιαστική αλυσίδα για το hardware είναι απίστευτα συγκεντρωμένη. Δεν πρόκειται μόνο για τον σχεδιασμό των chips. Πρόκειται για προηγμένες τεχνικές packaging όπως το CoWoS που επιτρέπουν τη σύνδεση πολλαπλών chips μεταξύ τους. Πρόκειται για High Bandwidth Memory που παρέχει τις ταχύτητες δεδομένων που απαιτούνται για το training. Η κατασκευή αυτών των εξαρτημάτων γίνεται σε ελάχιστες εγκαταστάσεις παγκοσμίως. Αυτή η συγκέντρωση δημιουργεί ένα εύθραυστο σύστημα όπου μια μόνο διακοπή μπορεί να σταματήσει την πρόοδο για ολόκληρο τον κλάδο. Οι περιορισμοί δεν είναι αφηρημένοι. Είναι απτά όρια στο πόση νοημοσύνη μπορούμε να παράγουμε το .

• Χωρητικότητα σύνδεσης στο δίκτυο και χρόνος που απαιτείται για αναβαθμίσεις.
• Διαδικασίες αδειοδότησης για βιομηχανική ψύξη μεγάλης κλίμακας και χρήση νερού.
• Τοπικές αντιδράσεις από κοινότητες που ανησυχούν για τον θόρυβο και τις τιμές ενέργειας.
• Διαθεσιμότητα εξειδικευμένων ηλεκτρικών εξαρτημάτων όπως μετασχηματιστές υψηλής τάσης.
• Ελέγχους εξαγωγών σε προηγμένο εξοπλισμό λιθογραφίας και packaging.

Η γεωπολιτική του ηλεκτρικού δικτύου

Η κατανομή της ισχύος της AI γίνεται ζήτημα εθνικής ασφάλειας. Οι κυβερνήσεις συνειδητοποιούν ότι η ικανότητα επεξεργασίας πληροφοριών είναι εξίσου ζωτική με την ικανότητα παραγωγής πετρελαίου ή χάλυβα. Αυτό οδήγησε σε αύξηση των ελέγχων εξαγωγών για να εμποδιστούν οι ανταγωνιστές από το να αποκτήσουν τα πιο προηγμένα chips και τα μηχανήματα που χρειάζονται για την κατασκευή τους. Ωστόσο, η εστίαση μετατοπίζεται από τα chips στην ενέργεια. Τα έθνη που έχουν σταθερή, φθηνή και άφθονη ενέργεια γίνονται οι νέοι κόμβοι για το compute. Γι’ αυτό βλέπουμε τεράστιες επενδύσεις σε περιοχές με υποαξιοποιημένα δίκτυα ή μεγάλες δυνατότητες ανανεώσιμων πηγών ενέργειας. Η συγκέντρωση της κατασκευής στην Ανατολική Ασία παραμένει ένα σημαντικό σημείο έντασης. Μια μόνο εταιρεία όπως η TSMC διαχειρίζεται τη συντριπτική πλειοψηφία της προηγμένης παραγωγής chips. Αν αυτή η παραγωγή διακοπεί, η παγκόσμια προσφορά χωρητικότητας AI θα εξαφανιζόταν εν μία νυκτί. Αυτό οδήγησε σε μια ξέφρενη προσπάθεια των ΗΠΑ και της Ευρώπης να επιδοτήσουν την εγχώρια παραγωγή. Αλλά το χτίσιμο ενός εργοστασίου είναι το εύκολο κομμάτι. Η εξασφάλιση του εξειδικευμένου εργατικού δυναμικού και των τεράστιων ποσοτήτων ηλεκτρικής ενέργειας που απαιτούνται για τη λειτουργία αυτών των μονάδων είναι μια πρόκληση δεκαετιών. Η παγκόσμια ισορροπία δυνάμεων είναι πλέον συνδεδεμένη με τη σταθερότητα του ηλεκτρικού δικτύου και την ασφάλεια των θαλάσσιων οδών που μεταφέρουν memory modules και hardware δικτύωσης. Αυτό είναι ένα παιχνίδι υψηλού ρίσκου όπου το κόστος εισόδου μετριέται σε δεκάδες δισεκατομμύρια δολάρια. Μπορείτε να βρείτε πιο αναλυτικά δεδομένα για τις παγκόσμιες τάσεις ηλεκτρικής ενέργειας σε πρόσφατες εκθέσεις του Διεθνούς Οργανισμού Ενέργειας.

Όταν οι servers συναντούν τη γειτονιά

Ο αντίκτυπος αυτής της έκρηξης υποδομών γίνεται πιο αισθητός σε τοπικό επίπεδο. Σκεφτείτε έναν δημοτικό υπάλληλο σε μια μεσαίου μεγέθους πόλη. Μια μεγάλη εταιρεία τεχνολογίας φτάνει με μια πρόταση για ένα data center. Στα χαρτιά, φαίνεται σαν νίκη για τα φορολογικά έσοδα. Στην πραγματικότητα, είναι μια περίπλοκη διαπραγμάτευση για το μέλλον της πόλης. Ο υπάλληλος πρέπει να υπολογίσει αν το τοπικό δίκτυο μπορεί να αντέξει ένα ξαφνικό φορτίο 200 megawatt χωρίς να προκαλέσει blackouts στους κατοίκους. Πρέπει να ζυγίσει τα οφέλη των φορολογικών εσόδων έναντι του θορύβου χιλιάδων ανεμιστήρων ψύξης που λειτουργούν 24 ώρες το 24ωρο. Για έναν κάτοικο που ζει κοντά σε μια τέτοια τοποθεσία, η καθημερινή εμπειρία αλλάζει. Τα ήσυχα προάστια μιας πόλης γίνονται βιομηχανική ζώνη. Ο τοπικός υδροφόρος ορίζοντας μπορεί να πέσει καθώς η εγκατάσταση αντλεί εκατομμύρια γαλόνια για τους πύργους ψύξης της. Εδώ είναι που η αφηρημένη ιδέα της AI συναντά την πραγματικότητα της τοπικής αντίστασης. Σε μέρη όπως η Βόρεια Βιρτζίνια ή τμήματα της Ιρλανδίας, οι κοινότητες αντιδρούν. Αναρωτιούνται γιατί οι τιμές του ηλεκτρικού ρεύματος αυξάνονται για να επιδοτήσουν τις λειτουργίες ενός παγκόσμιου τεχνολογικού κολοσσού. Αμφισβητούν το περιβαλλοντικό αποτύπωμα αυτών των τεράστιων τσιμεντένιων όγκων. Για ένα startup που προσπαθεί να χτίσει μια νέα εφαρμογή, η πρόκληση είναι διαφορετική. Δεν έχουν το κεφάλαιο να χτίσουν δικούς τους σταθμούς παραγωγής ενέργειας. Είναι στο έλεος των μεγάλων cloud providers που ελέγχουν την πρόσβαση στο compute. Αν ο cloud provider ξεμείνει από χωρητικότητα ή αυξήσει τις τιμές λόγω ενεργειακού κόστους, το startup κλείνει. Αυτό δημιουργεί ένα σύστημα δύο ταχυτήτων όπου μόνο οι πλουσιότερες εταιρείες μπορούν να αντέξουν οικονομικά την καινοτομία. Η προβολή ενός προϊόντος στην αγορά δεν είναι το ίδιο με τη βιώσιμη ισχύ. Η πραγματική ισχύς προέρχεται από την κατοχή των φυσικών assets στα οποία βασίζεται το λογισμικό. Αυτή η στροφή προς την πυρηνική ενέργεια από τις εταιρείες τεχνολογίας είναι ένα ξεκάθαρο σημάδι του πόσο απελπισμένες είναι για σταθερή ενέργεια.

Το κρυφό κόστος της κλίμακας

Πρέπει να θέσουμε δύσκολα ερωτήματα σχετικά με τη μακροπρόθεσμη βιωσιμότητα αυτής της ανάπτυξης. Ποιος πληρώνει πραγματικά για το κρυφό κόστος των υποδομών AI; Όταν ένα data center καταναλώνει ένα σημαντικό μέρος της παροχής νερού μιας πόλης κατά τη διάρκεια μιας ξηρασίας, το κόστος δεν είναι μόνο οικονομικό. Είναι ένα κοινωνικό κόστος που επωμίζεται η κοινότητα. Αξίζουν τα φορολογικά κίνητρα που δίνονται σε αυτές τις εταιρείες την πίεση στους δημόσιους πόρους; Πρέπει επίσης να εξετάσουμε τη συγκέντρωση ισχύος στα χέρια λίγων εταιρειών που ελέγχουν τη σχέση με τον χρήστη και το compute. Αν τρεις ή τέσσερις εταιρείες κατέχουν το μεγαλύτερο μέρος της παγκόσμιας χωρητικότητας AI, τι σημαίνει αυτό για τον ανταγωνισμό; Είναι δυνατόν να αναδυθεί ένας νέος παίκτης όταν οι κεφαλαιακές απαιτήσεις είναι τόσο υψηλές; Χτίζουμε ένα σύστημα που είναι απίστευτα αποδοτικό αλλά και απίστευτα εύθραυστο. Μια αποτυχία σε ένα εργοστάσιο εξειδικευμένων μετασχηματιστών ή μια ξηρασία σε έναν κρίσιμο κόμβο ψύξης θα μπορούσε να προκαλέσει μια αλυσιδωτή αντίδραση αποτυχιών σε ολόκληρο το οικοσύστημα. Τι θα συμβεί στους δημιουργούς και τις εταιρείες που έχουν χτίσει ολόκληρα τα workflows τους πάνω σε αυτά τα μοντέλα αν η φυσική υποδομή καταρρεύσει; Πρέπει επίσης να δούμε το περιβαλλοντικό αποτύπωμα. Ενώ οι εταιρείες ισχυρίζονται ότι είναι carbon neutral, ο τεράστιος όγκος ενέργειας που απαιτείται αναγκάζει πολλές να διατηρούν παλαιότερα, πιο ρυπογόνα εργοστάσια ενέργειας σε λειτουργία περισσότερο από ό,τι είχε προγραμματιστεί. Αξίζει το όφελος ενός ελαφρώς καλύτερου chatbot την καθυστέρηση στη μετάβασή μας στην καθαρή ενέργεια; Αυτά δεν είναι μόνο τεχνικά ερωτήματα. Είναι ηθικά και πολιτικά ζητήματα που θα καθορίσουν την επόμενη δεκαετία της τεχνολογικής ανάπτυξης. Η τρέχουσα ανάλυση υποδομών AI δείχνει ότι το χάσμα μεταξύ των εχόντων και των μη εχόντων διευρύνεται με βάση τη φυσική πρόσβαση.

Έχετε μια ιστορία, εργαλείο, τάση ή ερώτηση σχετικά με την τεχνητή νοημοσύνη που πιστεύετε ότι πρέπει να καλύψουμε; Στείλτε μας την ιδέα σας για άρθρο — θα χαρούμε να την ακούσουμε.

Κάτω από το καπό των υψηλών επιδόσεων

Για όσους πρέπει να κατανοήσουν τους τεχνικούς περιορισμούς αυτής της νέας εποχής, η εστίαση πρέπει να ξεπεράσει τις παραμέτρους του μοντέλου. Τα πραγματικά bottlenecks βρίσκονται πλέον στο networking και τη μνήμη. Το training ενός μοντέλου μεγάλης κλίμακας απαιτεί χιλιάδες GPUs να εργάζονται σε τέλειο συγχρονισμό. Αυτό είναι δυνατό μόνο μέσω τεχνολογιών δικτύωσης υψηλής ταχύτητας όπως το InfiniBand ή εξειδικευμένων ρυθμίσεων Ethernet. Το latency μεταξύ αυτών των chips μπορεί να είναι η διαφορά ανάμεσα σε ένα μοντέλο που ολοκληρώνει το training σε εβδομάδες και ένα που παίρνει μήνες. Μετά υπάρχει το ζήτημα της μνήμης. Η High Bandwidth Memory (HBM) είναι σε έλλειψη επειδή η διαδικασία κατασκευής της είναι σημαντικά πιο δύσκολη από την τυπική DRAM. Αυτό περιορίζει τον αριθμό των high end chips που μπορούν να παραχθούν ακόμη και αν είναι διαθέσιμα τα logic wafers. Στο κομμάτι του λογισμικού, οι developers χτυπούν τα όρια του τι μπορούν να προσφέρουν τα APIs. Τα rate limits δεν αφορούν πλέον μόνο την πρόληψη της κατάχρησης. Είναι μια αντανάκλαση της φυσικής χωρητικότητας του υποκείμενου hardware. Για τους power users, η στροφή προς το local storage και το local execution είναι μια απάντηση σε αυτούς τους περιορισμούς. Αν μπορείς να τρέξεις ένα μικρότερο, βελτιστοποιημένο μοντέλο στο δικό σου hardware, παρακάμπτεις την ουρά στο data center. Ωστόσο, το τοπικό hardware έχει τα δικά του όρια όσον αφορά τη διαχείριση θερμότητας και την κατανάλωση ενέργειας. Η ενσωμάτωση αυτών των μοντέλων σε υπάρχοντα workflows παρεμποδίζεται επίσης από την έλλειψη τυποποιημένων interfaces. Κάθε πάροχος έχει το δικό του proprietary stack, καθιστώντας δύσκολη την αλλαγή αν ένας πάροχος αντιμετωπίσει μια φυσική διακοπή. Η συγκέντρωση της κατασκευής είναι επίσης ορατή στην αγορά του προηγμένου packaging. Οι εξελίξεις της TSMC στο chip packaging είναι ο μόνος λόγος που μπορούμε να συνεχίσουμε να κλιμακώνουμε τις επιδόσεις καθώς φτάνουμε στα όρια του παραδοσιακού πυριτίου. Αυτή είναι η geek πραγματικότητα του κλάδου.

• Όρια throughput InfiniBand και NVLink για multi node training clusters.
• Περιορισμοί προσφοράς HBM3e και ο αντίκτυπός τους στους συνολικούς όγκους παραγωγής GPU.
• Αιχμές API latency που προκαλούνται από διακυμάνσεις του περιφερειακού ηλεκτρικού δικτύου.
• Ταχύτητες τοπικού NVMe storage ως bottleneck για το data ingestion στο fine tuning.
• Όρια thermal throttling για rack configurations υψηλής πυκνότητας σε παλαιότερες εγκαταστάσεις.

Η νέα πραγματικότητα για τους developers

Η μετάβαση από έναν κόσμο software-first σε έναν hardware-first έχει ολοκληρωθεί. Οι εταιρείες που θα ηγηθούν της επόμενης φάσης ανάπτυξης είναι εκείνες που έχουν εξασφαλίσει τις εφοδιαστικές τους αλυσίδες και τις πηγές ενέργειάς τους. Για τον υπόλοιπο κλάδο, η πρόκληση είναι να καινοτομήσει εντός των περιορισμών που θέτει ο φυσικός κόσμος. Αυτό σημαίνει συγγραφή πιο αποδοτικού κώδικα που απαιτεί λιγότερο compute. Σημαίνει εύρεση τρόπων χρήσης μικρότερων μοντέλων που μπορούν να τρέξουν σε λιγότερο εξειδικευμένο hardware. Οι μέρες της άπειρης, φθηνής κλιμάκωσης είναι πίσω μας. Μπαίνουμε σε μια περίοδο όπου η διαθεσιμότητα μιας σύνδεσης στο δίκτυο είναι πιο σημαντική μέτρηση από τον αριθμό των γραμμών κώδικα που γράφτηκαν. Η κατανόηση αυτών των φυσικών κέντρων ισχύος είναι ο μόνος τρόπος για να καταλάβουμε πού πηγαίνει η τεχνολογία το . Το μέλλον δεν είναι μόνο στο cloud. Είναι στο έδαφος, στα καλώδια και στο νερό που καθιστά το cloud δυνατό.

Σημείωση συντάκτη: Δημιουργήσαμε αυτόν τον ιστότοπο ως έναν πολύγλωσσο κόμβο ειδήσεων και οδηγών τεχνητής νοημοσύνης για άτομα που δεν είναι φανατικοί των υπολογιστών, αλλά εξακολουθούν να θέλουν να κατανοήσουν την τεχνητή νοημοσύνη, να τη χρησιμοποιούν με μεγαλύτερη αυτοπεποίθηση και να παρακολουθούν το μέλλον που ήδη έρχεται.