מפת ה-AI החדשה: מי שולט בצ'יפים, במודלים ובתשתיות?

האשליה ש-AI הוא ענן תוכנה ערפילי וקסום הולכת ומתפוגגת. במקומה מגיעה מציאות מחוספסת של סיליקון, זיכרון ברוחב פס גבוה ומפעלים ייעודיים. הכוח האמיתי בעידן הנוכחי לא שייך לאלו שכותבים את ה-prompts הכי טובים, אלא לאלו ששולטים בשרשרת האספקה הפיזית. ממכונות הליתוגרפיה בקרני UV קיצוניות בהולנד ועד למתקני האריזה בטייוואן, מפת ההשפעה משורטטת מחדש. זהו סיפור על צווארי בקבוק בחומרה ורשתות חשמל. בזמן שהציבור מתמקד בצ'אטבוטים, התעשייה אובססיבית לגבי התפוקה של צ'יפים לוגיים מתקדמים והזמינות של שנאי חשמל. הריכוזיות של הייצור יוצרת היררכיה חדשה של מדינות ותאגידים. מי שמחזיק ב-compute, מחזיק בעתיד של הבינה המלאכותית. אנחנו עדים למעבר מעולם של שפע נתונים לעולם של מחסור בחומרה. השינוי הזה מגדיר כל החלטה אסטרטגית של ענקיות הטכנולוגיה היום. הבנת הטרנדים האחרונים בתשתיות AI היא קריטית לכל מי שרוצה לראות מעבר להייפ של מחזור הטכנולוגיה הנוכחי.

מעבר לקוד: ה-Hardware Stack

כדי להבין את ה-stack המודרני של ה-AI, חייבים להסתכל מעבר למעבד. אקסלרטור (accelerator) ברמה גבוהה הוא הרכבה מורכבת של רכיבים שונים. קודם כל, יש את הצ'יפ הלוגי, שמבצע את החישובים בפועל. אלו מעוצבים כיום על ידי חברות כמו Nvidia או AMD ומיוצרים בטכנולוגיות המתקדמות ביותר. אבל הצ'יפ הלוגי לא יכול לעבוד לבד. הוא זקוק לזיכרון ברוחב פס גבוה, המכונה HBM, כדי להזין נתונים למעבד מספיק מהר כדי להעסיק אותו. בלי הזיכרון הייעודי הזה, הצ'יפ המהיר בעולם פשוט יעמוד בחוסר מעש. אחר כך מגיע שלב האריזה (packaging). טכניקות אריזה מתקדמות, כמו Chip on Wafer on Substrate, מאפשרות לחבר את הרכיבים השונים בצפיפות גבוהה. התהליך הזה הוא כרגע צוואר בקבוק מרכזי בתעשייה. מעבר לצ'יפ הבודד, יש את תשתית הנטוורקינג. אלפי צ'יפים כאלו חייבים לתקשר זה עם זה במהירויות מטורפות כדי לאמן מודל גדול אחד. זה דורש סוויצ'ים (switches) ייעודיים וכבלי סיבים אופטיים שיכולים להתמודד עם תעבורת נתונים מאסיבית ללא שיהוי (latency). לבסוף, יש את מערכת אספקת החשמל. דאטה סנטרים דורשים כיום ג'יגה-וואטים של חשמל, מה שמוביל לזינוק בביקוש לתשתיות חשמל שערים רבות מתקשות לספק. המציאות הפיזית הזו מכתיבה את קצב ההתקדמות יותר מכל פריצת דרך אלגוריתמית.

• צ'יפים לוגיים לכוח עיבוד גולמי
• זיכרון ברוחב פס גבוה (HBM) לגישה מהירה לנתונים
• אריזה (packaging) מתקדמת לשילוב רכיבים
• נטוורקינג במהירות גבוהה לתקשורת בין קלאסטרים
• תשתית אנרגיה מאסיבית לעבודה רציפה

הגיאוגרפיה החדשה של הכוח

הריכוזיות של הטכנולוגיות הקריטיות האלו יצרה שדה מוקשים גיאופוליטי. רוב הצ'יפים המתקדמים בעולם מיוצרים במדינת אי אחת, מה שהופך את הכלכלה העולמית כולה לפגיעה לחוסר יציבות אזורי. זה הוביל לגל של בקרות ייצוא וסנקציות שמטרתן לשמור על יתרון טכנולוגי. ממשלת ארה"ב הגבילה מכירה של צ'יפי AI מתקדמים לאזורים מסוימים, תוך ציון חששות לביטחון לאומי. הכללים האלו לא משפיעים רק על הצ'יפים עצמם אלא גם על המכונות הדרושות לייצור שלהם. לדוגמה, מכונות הליתוגרפיה המתקדמות ביותר מיוצרות על ידי חברה אחת בלבד בהולנד, והייצוא שלהן נמצא תחת פיקוח הדוק. זה יוצר מצב שבו קומץ חברות ומדינות מחזיקות במפתחות לדור הבא של הצמיחה הכלכלית. מדינות רצות עכשיו להקים תעשיות צ'יפים מקומיות משלהן, אבל זה תהליך שלוקח עשורים ומאות מיליארדי דולרים. התוצאה היא עולם מפוצל שבו הגישה לבינה מלאכותית נקבעת לפי גיאוגרפיה ובריתות דיפלומטיות. אנחנו עוברים משוק טכנולוגי גלובלי לסדרה של סילוס (silos) דיגיטליים מוגנים. השינוי הזה הוא לא רק כלכלי. הוא עוסק בשאלה מי קובע את הסטנדרטים לעתיד האינטראקציה בין אדם למכונה. דיווחים ברויטרס מצביעים על כך שחסמי הסחר האלו רק ילכו ויתהדקו ככל שהטכנולוגיה תהפוך למרכזית יותר בביטחון הלאומי.

לחיות תחת מגבלות ה-Compute

עבור טק-ליד בסטארטאפ צומח, השינויים הגיאופוליטיים המופשטים האלו הופכים לכאבי ראש תפעוליים יומיומיים. דמיינו את שרה, מפתחת בלונדון שמנסה להרחיב כלי חדש להדמיה רפואית. היום שלה מתחיל לא בקוד, אלא בגיליון אקסל של עלויות ענן. היא מבינה שספק הענן שלה שוב העלה את המחיר של אינסטנסים של GPU בגלל מחסור בדאטה סנטר המקומי. היא שוקלת להעביר את העבודה לאזור אחר, אבל אז היא צריכה לדאוג לחוקי אחסון נתונים ולשיהוי שמגיע עם עיבוד נתונים מעבר לאוקיינוס. אם היא רוצה לאמן מודל משלה, היא ניצבת בפני המתנה של שישה חודשים לחומרה ייעודית. המחסור הזה מאלץ אותה להתפשר. היא משתמשת במודלים קטנים ופחות מדויקים כי המודלים המתקדמים יקרים מדי להרצה בקנה מידה רחב. הצוות שלה מבזבז יותר זמן על אופטימיזציה של קוד כדי שייכנס לזיכרון מוגבל מאשר על חדשנות במוצר עצמו. בסביבה הזו, המנצחים הם לא בהכרח אלו עם הרעיונות הכי טובים, אלא אלו עם הכיסים הכי עמוקים או הקשרים הכי טובים עם ספקי הענן. זו המציאות של אלפי יוצרים וחברות. הם בונים על בסיס שהוא גם יקר וגם רעוע. שינוי בודד בכללי הייצוא או עיכוב בייצור במפעל במרחק אלפי קילומטרים יכולים להרוס להם את כל תוכנית העבודה. התלות במספר מצומצם של מרכזי מחשוב אומרת שכל שיבוש משפיע מיידית ובאופן גלובלי על היכולת של אנשים לבנות ולהשתמש בכלים חדשים. זה יוצר חסם כניסה גבוה שמעדיף שחקנים מבוססים וחונק את התחרות שמניעה קדימה. ניתוח של בלומברג מראה שעלות ה-compute היא כיום סעיף ההוצאה הגדול ביותר עבור סטארטאפי AI, ולעיתים קרובות עולה על עלויות השכר. הלחץ הפיננסי הזה מאלץ קונסולידציה של התעשייה עוד לפני שהיא הגיעה לבשלות. שרה מבלה את אחר הצהריים בהסברים למשקיעים למה המרווחים שלה מצטמצמים, ומצביעה על העלות העולה של אנרגיה וחומרה. החלום על בינה פתוחה ונגישה עומד למבחן מול הגבולות הקשיחים של העולם הפיזי.

העלויות הנסתרות של בינה ריכוזית

אנחנו חייבים לשאול את עצמנו מהן העלויות הנסתרות של הריכוזיות הזו. אם רק ישויות בודדות שולטות בחומרה, האם הן גם שולטות בגבולות של מה שניתן לחשוב או לומר באמצעות AI? כשכוח מחשוב הוא משאב במחסור, מי מחליט אילו פרויקטים ראויים לו? אנחנו מדברים הרבה על הדמוקרטיזציה של ה-AI, אבל המציאות הפיזית מרמזת על ההפך. יש גם את שאלת ההשפעה הסביבתית. האנרגיה הנדרשת להרצת הקלאסטרים המאסיביים האלו היא מדהימה, ולעיתים קרובות מתחרה בצרכים של אוכלוסיות מקומיות. האם התועלת של צ'אטבוט קצת יותר טוב שווה את טביעת הרגל הפחמנית של מדינה קטנה? כדאי גם לשקול את השלכות הפרטיות של compute ריכוזי. אם כל חברה חייבת לשלוח את הנתונים שלה לאותם ספקי ענן בודדים כדי לעבד אותם, הפוטנציאל למעקב המוני או דליפות נתונים גדל אקספוננציאלית. מה קורה כשנקודת כשל בודדת בתשתית הנטוורקינג מפילה חצי משירותי ה-AI בעולם? אנחנו בונים מערכת שהיא עוצמתית להפליא אבל גם שבירה להפליא. המסלול הנוכחי מרמז על עתיד שבו בינה היא שירות תשתיתי, כמו חשמל או מים, אבל כזה שמנוהל על ידי אוליגרכיה פרטית ולא על ידי גוף ציבורי. אנחנו צריכים לחשוב אם זה העולם שבו אנחנו רוצים לחיות. לפי הניו יורק טיימס, המרוץ לאנרגיה מוביל את ענקיות הטכנולוגיה להשקיע בכורים גרעיניים משלהן, מה שמרכז עוד יותר כוח בידי חברות בודדות. אלו לא רק שאלות טכניות. אלו שאלות פוליטיות וחברתיות עמוקות שיגדירו את העשור הקרוב.

יש לכם סיפור, כלי, טרנד או שאלה הקשורים ל-AI שלדעתכם כדאי לנו לסקר? שלחו לנו את רעיון המאמר שלכם — נשמח לשמוע.

ארכיטקטורות טכניות וזרימת נתונים

עבור אלו שבוחנים את המימוש הטכני, המגבלות ספציפיות אפילו יותר. מגבלות ה-API (rate limits) הן כבר לא רק דרך למנוע ספאם. הן השתקפות ישירה של הקיבולת הפיזית של החומרה שמתחת. כשספק מגביל אתכם למספר מסוים של טוקנים לדקה, הוא מנהל את צריכת החום והחשמל של ארון שרתים ספציפי בדאטה סנטר. אחסון מקומי ו-edge computing הופכים לאטרקטיביים יותר כדרך לעקוף את המגבלות האלו, אבל הם מגיעים עם אתגרים משלהם. הרצת מודל גדול באופן מקומי דורשת כמות משמעותית של VRAM, שעדיין נחשב לתכונת פרימיום בחומרת צרכנים. רוב המשתמשים תקועים עם 8 או 16 גיגה-בייט, בעוד שהמודלים הכי חזקים דורשים מאות. זה הוביל לזינוק בעניין בקוונטיזציה (quantization), טכניקה שמפחיתה את הדיוק של משקולות המודל כדי להתאים אותן לנפחי זיכרון קטנים יותר. זה מאפשר למודלים לרוץ על חומרה צנועה יותר בלי לאבד את כל הדיוק.

• קוונטיזציה (quantization) להפחתת השימוש בזיכרון
• זיקוק מודלים (distillation) לאינפרנס (inference) מהיר יותר
• התאמה בדרגה נמוכה (LoRA) ל-fine-tuning יעיל
• פריסת Edge להפחתת שיהוי (latency)
• אסטרטגיות ענן היברידי לאיזון עלויות

גם צד הנטוורקינג מתפתח. המעבר מ-Ethernet סטנדרטי לחיבורים ייעודיים (interconnects) הכרחי כדי לעמוד בדרישות הנתונים של אימון מודרני. כשאנחנו מסתכלים לעבר העתיד, הפוקוס עובר מ-FLOPs גולמיים לרוחב פס של זיכרון ומהירות חיבור. שם יימצאו שיפורי הביצועים האמיתיים בשנים הקרובות. התעשייה מתמודדת גם עם מגבלות הצפיפות בדאטה סנטרים. ככל שהצ'יפים מתחממים יותר, קירור אוויר מסורתי כבר לא מספיק, מה שמוביל למעבר למערכות קירור נוזלי. זה מוסיף עוד שכבה של מורכבות ועלות לתשתית. Power users חייבים עכשיו להכיר את ה-TDP (צריכת חשמל תרמית) וג'יגה-ביטים לשנייה בדיוק כפי שהם מכירים את Python ו-PyTorch. נוף החומרה הוא מקום שבו המגבלות הפיזיות הן המניע העיקרי של ארכיטקטורת התוכנה.

השאלה הלא פתורה של ריבונות

מפת ה-AI משורטטת מחדש בזמן אמת. בעוד ששכבת התוכנה ממשיכה לנוע מהר, היא קשורה יותר ויותר לעולם האיטי והיקר של ייצור חומרה. המינוף נמצא כעת אצל החברות שיכולות להשיג את הכי הרבה צ'יפים, הכי הרבה אנרגיה ומערכות הקירור היעילות ביותר. זה יצר מעמד חדש של שחקנים "עשירי compute" ו"עניי compute". ככל שנתקדם, השאלה הלא פתורה היא האם מדינות ריבוניות יצליחו לבנות תשתיות AI עצמאיות משלהן או שהן יישארו תלויות במספר ספקים גלובליים. התשובה לשאלה הזו תקבע את מאזן הכוחות בעשורים הקרובים. אנחנו רק בתחילת השינוי הזה, וההשלכות על משתמשים ויוצרים יורגשו עוד זמן רב. הגיאוגרפיה של הבינה היא כבר לא שטוחה. היא שטח הררי ומחוספס של גבולות מבוקרים וגישה בלעדית.

הערת העורך: יצרנו אתר זה כמרכז חדשות ומדריכים רב-לשוני בנושא בינה מלאכותית עבור אנשים שאינם "גיקים" של מחשבים, אך עדיין רוצים להבין בינה מלאכותית, להשתמש בה בביטחון רב יותר, ולעקוב אחר העתיד שכבר מגיע.