Nvidia, AMD και η νέα κούρσα της υπολογιστικής ισχύος

Η παγκόσμια τεχνολογική βιομηχανία βρίσκεται στη δίνη μιας τεράστιας αλλαγής σχετικά με τον τρόπο που ορίζεται και κατανέμεται η ισχύς. Για δεκαετίες, η κεντρική μονάδα επεξεργασίας (CPU) ήταν η καρδιά κάθε μηχανής, αλλά αυτή η εποχή πέρασε ανεπιστρεπτί. Σήμερα, η προσοχή έχει στραφεί στο εξειδικευμένο πυρίτιο, σχεδιασμένο να διαχειρίζεται τους τεράστιους μαθηματικούς φόρτους εργασίας που απαιτεί η σύγχρονη τεχνητή νοημοσύνη. Δεν πρόκειται απλώς για έναν αγώνα δρόμου για το ποιος θα φτιάξει το ταχύτερο εξάρτημα, αλλά για μια μάχη για την κυριαρχία στην υπολογιστική ισχύ. Η Nvidia και η AMD είναι οι πρωταγωνιστές σε μια ιστορία που ξεπερνά το hardware. Αφορά τον έλεγχο της υποδομής που θα καθορίσει την επόμενη δεκαετία της ανάπτυξης λογισμικού. Τα διακυβεύματα είναι τεράστια, γιατί ο νικητής δεν πουλάει απλώς ένα προϊόν, αλλά καθιερώνει μια πλατφόρμα που όλοι οι άλλοι πρέπει να χρησιμοποιούν για να παραμείνουν στο παιχνίδι. Αυτή η μετάβαση από τη γενική υπολογιστική στην επιταχυνόμενη υπολογιστική αποτελεί μια θεμελιώδη αλλαγή στην ιεραρχία του τεχνολογικού κόσμου.

Ο αόρατος κώδικας που δεσμεύει το cloud

Για να καταλάβει κανείς γιατί μια εταιρεία κυριαρχεί σήμερα σε αυτόν τον τομέα, πρέπει να κοιτάξει πέρα από το φυσικό chip. Οι περισσότεροι εστιάζουν στον αριθμό των τρανζίστορ ή την ταχύτητα ρολογιού μιας GPU. Ωστόσο, η πραγματική δύναμη κρύβεται στο επίπεδο λογισμικού που μεσολαβεί μεταξύ του hardware και του προγραμματιστή. Η Nvidia πέρασε σχεδόν δύο δεκαετίες χτίζοντας ένα ιδιοταγές περιβάλλον που ονομάζεται CUDA. Αυτό το περιβάλλον επιτρέπει στους προγραμματιστές να αξιοποιούν την παράλληλη επεξεργαστική ισχύ μιας GPU για εργασίες που δεν έχουν καμία σχέση με τα γραφικά. Επειδή τόσο μεγάλο μέρος του υπάρχοντος κώδικα είναι γραμμένο ειδικά για αυτό το περιβάλλον, η μετάβαση σε έναν ανταγωνιστή δεν είναι τόσο απλή όσο η αλλαγή μιας κάρτας. Απαιτεί την αναγραφή χιλιάδων γραμμών πολύπλοκων οδηγιών. Αυτή είναι η software moat (τάφρος λογισμικού) που εμποδίζει ακόμα και τους πιο καλά χρηματοδοτούμενους ανταγωνιστές να κερδίσουν άμεσο έδαφος. Δημιουργεί μια κατάσταση όπου το hardware είναι ουσιαστικά το εισιτήριο εισόδου σε ένα συγκεκριμένο οικοσύστημα λογισμικού.

Η AMD προσπαθεί να αντιμετωπίσει αυτή την κατάσταση με μια open source προσέγγιση που ονομάζεται ROCm. Η στρατηγική τους είναι να παρέχουν μια βιώσιμη εναλλακτική λύση που δεν εγκλωβίζει τους προγραμματιστές σε έναν μόνο προμηθευτή. Αν και το πιο πρόσφατο hardware τους, όπως η σειρά MI300, δείχνει σημαντικές υποσχέσεις σε ωμή απόδοση, το χάσμα στο λογισμικό παραμένει ένα σημαντικό εμπόδιο. Πολλοί προγραμματιστές διαπιστώνουν ότι τα πιο πρόσφατα εργαλεία και βιβλιοθήκες είναι βελτιστοποιημένα πρώτα για την Nvidia, αφήνοντας τις άλλες πλατφόρμες να ακολουθούν. Αυτή η δυναμική ενισχύει την κυριαρχία του κατεστημένου. Αν είστε μηχανικός και προσπαθείτε να τρέξετε ένα μοντέλο σήμερα, πηγαίνετε εκεί όπου η τεκμηρίωση είναι πιο πλήρης και τα bugs έχουν ήδη εντοπιστεί. Μπορείτε να βρείτε περισσότερες λεπτομέρειες για τις τελευταίες εξελίξεις στην αρχιτεκτονική GPU μέσω της επίσημης τεχνικής τεκμηρίωσης. Η κατανόηση της υποδομής για την τεχνητή νοημοσύνη είναι απαραίτητη για όποιον προσπαθεί να προβλέψει από πού θα προέλθει το επόμενο κύμα καινοτομίας. Ο ανταγωνισμός πλέον αφορά τόσο την εμπειρία του προγραμματιστή όσο και το ίδιο το πυρίτιο.

Ένα γεωπολιτικό μονοπώλιο στη νοημοσύνη

Οι επιπτώσεις αυτής της κούρσας υπολογιστικής ισχύος εκτείνονται πολύ πέρα από τους ισολογισμούς της Silicon Valley. Βλέπουμε μια συγκέντρωση ισχύος που ανταγωνίζεται τα μονοπώλια πετρελαίου του εικοστού αιώνα. Μια χούφτα hyperscalers, συμπεριλαμβανομένων της Microsoft, της Amazon και της Google, είναι οι κύριοι αγοραστές αυτών των high-end chips. Αυτό δημιουργεί έναν βρόχο ανάδρασης όπου οι μεγαλύτερες εταιρείες αποκτούν πρώτες το καλύτερο hardware, επιτρέποντάς τους να χτίζουν πιο ισχυρά μοντέλα, γεγονός που με τη σειρά του παράγει περισσότερα έσοδα για να αγοράσουν ακόμα περισσότερο hardware. Αυτή η συγκέντρωση πόρων σημαίνει ότι οι μικρότεροι παίκτες, ακόμα και ολόκληρα έθνη, βρίσκονται στη λάθος πλευρά ενός αυξανόμενου χάσματος. Όσοι έχουν πρόσβαση σε τεράστια υπολογιστικά clusters μπορούν να καινοτομούν με ρυθμό αδύνατο για τους υπόλοιπους. Αυτό οδήγησε στην άνοδο ενός συστήματος δύο ταχυτήτων στην τεχνολογική βιομηχανία: τους πλούσιους σε υπολογιστική ισχύ και τους φτωχούς.

Οι κυβερνήσεις έχουν αντιληφθεί αυτή την ανισορροπία. Το πυρίτιο θεωρείται πλέον στρατηγικό περιουσιακό στοιχείο εθνικής σημασίας. Έχουν εφαρμοστεί περιορισμοί στις εξαγωγές για να αποτραπεί η πρόσβαση προηγμένων chips σε ορισμένες περιοχές, χρησιμοποιώντας ουσιαστικά το hardware ως εργαλείο εξωτερικής πολιτικής. Αυτοί οι περιορισμοί δεν αφορούν μόνο την αποτροπή στρατιωτικής χρήσης. Αφορούν τη διασφάλιση ότι τα οικονομικά οφέλη της επόμενης γενιάς λογισμικού θα παραμείνουν εντός συγκεκριμένων συνόρων. Η εφοδιαστική αλυσίδα για αυτά τα chips είναι επίσης απίστευτα εύθραυστη. Το μεγαλύτερο μέρος της προηγμένης κατασκευής γίνεται σε μια μοναδική τοποθεσία στην Ταϊβάν, δημιουργώντας ένα μοναδικό σημείο αποτυχίας για ολόκληρη την παγκόσμια οικονομία. Στο παρελθόν, είδαμε πώς οι περιορισμοί στην προσφορά θα μπορούσαν να σταματήσουν την παραγωγή σε πολλούς κλάδους. Αν η ροή των high-end GPUs σταματούσε, η ανάπτυξη του σύγχρονου λογισμικού θα πάγωνε ουσιαστικά. Αυτή η εξάρτηση από λίγες εταιρείες και έναν μόνο κατασκευαστικό συνεργάτη είναι ένας κίνδυνος που πολλοί αναλυτές πιστεύουν ότι δεν έχει αποτιμηθεί πλήρως στην αγορά. Σύμφωνα με αναφορές από το Reuters, αυτές οι ευπάθειες της εφοδιαστικής αλυσίδας αποτελούν κορυφαία προτεραιότητα για τους ρυθμιστές του παγκόσμιου εμπορίου.

Το υψηλό κόστος της πείνας για υπολογιστική ισχύ

Σκεφτείτε την καθημερινή πραγματικότητα για έναν ιδρυτή startup στο τρέχον περιβάλλον. Η κύρια ανησυχία τους δεν είναι πλέον μόνο η πρόσληψη των καλύτερων ταλέντων ή η εύρεση product-market fit. Αντίθετα, ξοδεύουν ένα σημαντικό μέρος του χρόνου τους διαπραγματευόμενοι για χρόνο σε διακομιστές. Σε μια τυπική μέρα, αυτός ο ιδρυτής μπορεί να ξεκινήσει εξετάζοντας το burn rate του, μόνο και μόνο για να διαπιστώσει ότι το μεγαλύτερο μέρος του κεφαλαίου τους πηγαίνει απευθείας σε έναν cloud provider για να νοικιάσουν πρόσβαση σε clusters H100. Δεν μπορούν να αγοράσουν τα chips απευθείας γιατί οι χρόνοι παράδοσης είναι μήνες, και τους λείπει η υποδομή ψύξης για να τα λειτουργήσουν τοπικά. Αναγκάζονται να περιμένουν σε μια ψηφιακή ουρά, ελπίζοντας ότι ένας μεγαλύτερος πελάτης δεν θα τους ξεπεράσει σε προσφορά για προτεραιότητα πρόσβασης. Αυτό απέχει πολύ από τις πρώτες μέρες του διαδικτύου, όπου λίγοι φθηνοί διακομιστές μπορούσαν να υποστηρίξουν μια παγκόσμια πλατφόρμα. Η τιμή εισόδου για σοβαρή ανάπτυξη έχει μετακινηθεί από χιλιάδες δολάρια σε εκατομμύρια.

Η μέρα συνεχίζεται με έναν αγώνα ενάντια στο τεχνικό χρέος. Επειδή χρησιμοποιούν νοικιασμένο hardware, πρέπει να βελτιστοποιούν κάθε δευτερόλεπτο του χρόνου εκπαίδευσης. Αν μια εργασία αποτύχει λόγω ενός μικρού σφάλματος στον κώδικα, μπορεί να κοστίσει χιλιάδες δολάρια σε χαμένη υπολογιστική ισχύ. Αυτή η πίεση καταπνίγει τον πειραματισμό. Οι προγραμματιστές είναι λιγότερο πιθανό να δοκιμάσουν ριζοσπαστικές νέες ιδέες όταν το κόστος της αποτυχίας είναι τόσο υψηλό.

Υπάρχει επίσης το ζήτημα του *ecosystem lock-in* που γίνεται εμφανές όταν προσπαθούν να μεταφέρουν τον φόρτο εργασίας τους. Μπορεί να διαπιστώσουν ότι μια συγκεκριμένη βιβλιοθήκη που χρησιμοποίησαν λειτουργεί αποτελεσματικά μόνο σε έναν τύπο hardware, καθιστώντας τους αιχμάλωτους πελάτες ενός συγκεκριμένου cloud provider. Ο ιδρυτής συνειδητοποιεί ότι δεν χτίζει απλώς ένα προϊόν: λειτουργεί ως δίαυλος για κεφάλαια που ρέουν από τους επενδυτές τους απευθείας στους κατασκευαστές των chips. Αυτή η πραγματικότητα αλλάζει τα είδη των εταιρειών που λαμβάνουν χρηματοδότηση. Οι επενδυτές αναζητούν όλο και περισσότερο ομάδες που έχουν εγγυημένη πρόσβαση σε υπολογιστική ισχύ, αντί για καλές ιδέες. Αυτή η μετατόπιση τεκμηριώνεται σε πρόσφατες έρευνες του κλάδου από την Gartner, οι οποίες υπογραμμίζουν το αυξανόμενο κόστος της υποδομής ως το κύριο εμπόδιο εισόδου.

Έχετε μια ιστορία, εργαλείο, τάση ή ερώτηση σχετικά με την τεχνητή νοημοσύνη που πιστεύετε ότι πρέπει να καλύψουμε; Στείλτε μας την ιδέα σας για άρθρο — θα χαρούμε να την ακούσουμε.

Ο κρυφός φόρος του ιδιοταγούς πυριτίου

Καθώς προχωράμε βαθύτερα σε αυτή την εποχή της επιταχυνόμενης υπολογιστικής, πρέπει να θέσουμε δύσκολα ερωτήματα σχετικά με τις μακροπρόθεσμες συνέπειες. Είναι υγιές για τα θεμέλια της σύγχρονης τεχνολογίας να ελέγχονται από τόσο μικρό αριθμό οντοτήτων; Όταν μια εταιρεία παρέχει το hardware, το περιβάλλον λογισμικού και τις δικτυακές διασυνδέσεις, κατέχει ουσιαστικά ολόκληρο το stack. Αυτό δημιουργεί έναν κρυφό φόρο στην καινοτομία. Κάθε προγραμματιστής που γράφει κώδικα για ένα ιδιοταγές σύστημα συμβάλλει σε ένα μονοπώλιο που γίνεται πιο δύσκολο να σπάσει κάθε μέρα. Τι συμβαίνει με την ιδιωτικότητα των δεδομένων όταν πρέπει να περάσουν μέσα από αυτά τα εξειδικευμένα chips σε ένα κοινόχρηστο περιβάλλον cloud; Αν και οι πάροχοι ισχυρίζονται ότι τα δεδομένα είναι απομονωμένα, η φυσική πραγματικότητα του κοινόχρηστου πυριτίου υποδηλώνει ότι θα μπορούσαν να είναι δυνατοί νέοι τύποι επιθέσεων side-channel. Ανταλλάσσουμε τη διαφάνεια με την απόδοση, και το πλήρες κόστος αυτής της ανταλλαγής δεν είναι ακόμα γνωστό.

Υπάρχει επίσης το ζήτημα της περιβαλλοντικής βιωσιμότητας. Οι ενεργειακές απαιτήσεις για αυτά τα νέα κέντρα δεδομένων είναι συγκλονιστικές. Χτίζουμε τεράστιες εγκαταστάσεις που απαιτούν τόση ηλεκτρική ενέργεια όση μικρές πόλεις μόνο και μόνο για να εκτελέσουν πολλαπλασιασμούς πινάκων. Είναι αυτό ένα βιώσιμο μονοπάτι για τον πλανήτη; Αν η ζήτηση για αυτά τα μοντέλα συνεχίσει να αυξάνεται με τον τρέχοντα ρυθμό, τελικά θα φτάσουμε σε ένα φυσικό όριο του πόση ενέργεια μπορούμε να παρέχουμε. Επιπλέον, τι θα συμβεί αν ο τρέχων ενθουσιασμός γύρω από αυτές τις τεχνολογίες φτάσει σε ένα οροπέδιο; Βρισκόμαστε επί του παρόντος σε μια τεράστια φάση οικοδόμησης, αλλά αν οι οικονομικές αποδόσεις δεν υλοποιηθούν για τις εταιρείες που αγοράζουν αυτά τα chips, θα μπορούσαμε να δούμε μια ξαφνική και βίαιη διόρθωση. Το χρέος που αναλήφθηκε για την οικοδόμηση αυτής της υποδομής θα πρέπει ακόμα να αποπληρωθεί, ανεξάρτητα από το αν το λογισμικό που τρέχει είναι κερδοφόρο. Πρέπει να αναρωτηθούμε αν χτίζουμε θεμέλια στην άμμο ή μια μόνιμη αλλαγή στον τρόπο που λειτουργεί ο κόσμος.

Κάτω από το καπό της μηχανής AI

Για όσους πρέπει να κατανοήσουν τους τεχνικούς περιορισμούς, η ιστορία αφορά κάτι περισσότερο από την GPU. Το σημείο συμφόρησης στη σύγχρονη υπολογιστική έχει μετατοπιστεί από τον επεξεργαστή στη μνήμη και τη διασύνδεση. Η μνήμη υψηλού εύρους ζώνης (High Bandwidth Memory), συγκεκριμένα η HBM3e, είναι επί του παρόντος το πιο περιζήτητο εξάρτημα στον κόσμο. Επιτρέπει στον επεξεργαστή να έχει πρόσβαση σε δεδομένα με ταχύτητες που ήταν προηγουμένως αδύνατες. Χωρίς αυτή τη μνήμη, η ταχύτερη GPU θα έμενε αδρανής, περιμένοντας την άφιξη δεδομένων. Αυτός είναι ο λόγος για τον οποίο οι περιορισμοί στην προσφορά είναι τόσο επίμονοι. Δεν πρόκειται μόνο για την κατασκευή περισσότερων chips: πρόκειται για τον συντονισμό της παραγωγής πολλαπλών πολύπλοκων εξαρτημάτων από διαφορετικούς προμηθευτές. Στο μέλλον, η διαθεσιμότητα αυτής της μνήμης πιθανότατα θα υπαγορεύσει τη συνολική παραγωγή ολόκληρου του κλάδου. Αυτό είναι ένα φυσικό όριο που το λογισμικό δεν μπορεί εύκολα να ξεπεράσει.

Η δικτύωση είναι το άλλο κρίσιμο κομμάτι του παζλ. Όταν εκπαιδεύετε ένα μοντέλο σε χιλιάδες GPUs, η ταχύτητα με την οποία αυτά τα chips μπορούν να επικοινωνούν μεταξύ τους γίνεται ο καθοριστικός παράγοντας της απόδοσης. Η Nvidia χρησιμοποιεί μια ιδιοταγή διασύνδεση που ονομάζεται NVLink, η οποία παρέχει πολύ υψηλότερη απόδοση από το τυπικό Ethernet. Αυτό είναι ένα ακόμα επίπεδο της τάφρου. Ακόμα κι αν ένας ανταγωνιστής φτιάξει ένα chip που είναι ταχύτερο μεμονωμένα, δεν μπορεί να ταιριάξει την απόδοση ενός cluster αν η δικτύωσή τους είναι πιο αργή. Οι power users πρέπει επίσης να αντιμετωπίσουν αυστηρά όρια API και την πραγματικότητα των σημείων συμφόρησης στην τοπική αποθήκευση. Ακόμα και με την ταχύτερη υπολογιστική ισχύ, η μεταφορά terabytes δεδομένων στο cluster παραμένει μια αργή και ακριβή διαδικασία. Οι ακόλουθοι παράγοντες αποτελούν επί του παρόντος τους κύριους τεχνικούς περιορισμούς για τους high-end χρήστες:

• Κορεσμός εύρους ζώνης μνήμης κατά τη διάρκεια εργασιών inference μεγάλης κλίμακας.
• Θερμικός περιορισμός (thermal throttling) σε διαμορφώσεις rack υψηλής πυκνότητας.
• Καθυστέρηση διασύνδεσης κατά την κλιμάκωση πέρα από ένα μεμονωμένο pod.
• Το υψηλό κόστος της μόνιμης αποθήκευσης κοντά στους υπολογιστικούς κόμβους.

Οι περισσότεροι οργανισμοί διαπιστώνουν ότι δεν μπορούν να εκτελέσουν αυτούς τους φόρτους εργασίας τοπικά. Οι εξειδικευμένες απαιτήσεις ισχύος και ψύξης υπερβαίνουν τις δυνατότητες ενός τυπικού κέντρου δεδομένων. Αυτό επιβάλλει την εξάρτηση από λίγους συγκεκριμένους παρόχους που έχουν το κεφάλαιο για να χτίσουν αυτά τα bespoke περιβάλλοντα. Το geek τμήμα της αγοράς δεν αφορά πλέον το χτίσιμο του δικού σας rig: αφορά την κατανόηση των επιλογών διαμόρφωσης μιας εικονικής μηχανής σε μια απομακρυσμένη εγκατάσταση. Η μετάβαση από το τοπικό hardware στην αφηρημένη υπολογιστική cloud έχει σχεδόν ολοκληρωθεί για τους high-end φόρτους εργασίας.

Η ετυμηγορία για τον πόλεμο του πυριτίου

Ο αγώνας μεταξύ Nvidia και AMD δεν είναι ένας απλός διαγωνισμός ταχύτητας. Είναι μια μάχη για το μέλλον της υπολογιστικής πλατφόρμας. Η Nvidia έχει ένα τεράστιο προβάδισμα, όχι μόνο λόγω του hardware της, αλλά επειδή έχει καταφέρει να εγκλωβίσει την κοινότητα των προγραμματιστών στο οικοσύστημα λογισμικού της. Η AMD δίνει μια άνιση μάχη προωθώντας ανοιχτά πρότυπα, αλλά αντιμετωπίζει μια σημαντική πρόκληση στο να ξεπεράσει την αδράνεια των υπαρχόντων κωδικοβάσεων. Οι πραγματικοί νικητές μέχρι στιγμής είναι οι hyperscalers που έχουν το κεφάλαιο να αγοράζουν αυτό το πυρίτιο χύμα, συγκεντρώνοντας περαιτέρω την ισχύ στην τεχνολογική βιομηχανία. Για τον μέσο χρήστη ή προγραμματιστή, τα διακυβεύματα είναι πρακτικά. Βλέπουμε το κόστος της καινοτομίας να αυξάνεται και την εμφάνιση ενός νέου τύπου gatekeeper. Ο πόλεμος του πυριτίου ξαναγράφει τους κανόνες της παγκόσμιας οικονομίας και βρισκόμαστε μόνο στα πρώτα στάδια της διαπίστωσης του πραγματικού του αντίκτυπου. Η προσοχή πρέπει να παραμείνει στο αν αυτή η συγκέντρωση ισχύος εξυπηρετεί τα ευρύτερα συμφέροντα της κοινωνίας ή απλώς τα συμφέροντα εκείνων που κατέχουν τα chips.

Σημείωση συντάκτη: Δημιουργήσαμε αυτόν τον ιστότοπο ως έναν πολύγλωσσο κόμβο ειδήσεων και οδηγών τεχνητής νοημοσύνης για άτομα που δεν είναι φανατικοί των υπολογιστών, αλλά εξακολουθούν να θέλουν να κατανοήσουν την τεχνητή νοημοσύνη, να τη χρησιμοποιούν με μεγαλύτερη αυτοπεποίθηση και να παρακολουθούν το μέλλον που ήδη έρχεται.

Βρήκατε κάποιο λάθος ή κάτι που χρειάζεται διόρθωση; Ενημερώστε μας.