מחשבי AI מוסברים: מה הם באמת עושים?

המציאות מאחורי הבאזז השיווקי

תעשיית הטכנולוגיה נעה במחזורים של הגדרות חומרה. ראינו את עידן ה-multimedia PC ואת עידן ה-ultrabook. עכשיו כל יצרנית גדולה מדברת על ה-AI PC. בליבת העניין, AI PC הוא פשוט מחשב המצויד ברכיב סיליקון ייעודי שנקרא Neural Processing Unit. השבב הזה מתוכנן במיוחד כדי לטפל בחישובים מתמטיים מורכבים הנדרשים למשימות machine learning. בעוד שהמחשב הנוכחי שלכם כנראה יכול להריץ תוכנות בינה מלאכותית בסיסיות באמצעות ה-CPU או ה-GPU, הוא עושה זאת תוך יצירת חום רב ובזבוז סוללה. ה-AI PC משנה זאת על ידי העברת עומסי העבודה הללו למנוע מיוחד שהוא הרבה יותר יעיל. זה אומר שהלפטופ שלכם יכול לבצע משימות מתקדמות כמו תרגום שפות בזמן אמת או עריכת תמונות מורכבת מבלי להפעיל את המאווררים בעוצמה או לחסל את הסוללה תוך שעה.

התועלת המיידית למשתמש הממוצע היא לא מחשב שחושב בעצמו. במקום זאת, זו מכונה שמטפלת במשימות רקע בצורה חכמה יותר. תראו זאת באיכות טובה יותר בשיחות וידאו, שבהן החומרה מסירה רעשי רקע ושומרת עליכם במרכז הפריים מבלי להאט את האפליקציות האחרות שלכם. מדובר בהעברת העבודה הקשה של בינה מלאכותית ממרכזי נתונים ענקיים ב-cloud ישירות למכשיר שעל הברכיים שלכם. המעבר הזה מבטיח זמני תגובה מהירים יותר ואבטחה טובה יותר, כי הנתונים שלכם לעולם לא צריכים לעזוב את ה-hard drive כדי לעבור עיבוד. זהו שינוי מהותי באופן שבו תוכנה מתקשרת עם חומרה. לראשונה מזה עשור, הרכיבים הפיזיים של המחשבים שלנו מתוכננים מחדש כדי לענות על הצרכים הספציפיים של generative software ומודלים של local inference.

המנוע שמתחת למכסה המנוע

כדי להבין מה הופך את המכונות האלו לשונות, צריך להסתכל על שלושת עמודי התווך של המחשוב המודרני. ה-CPU הוא הכללי שמטפל ב-operating system ובהוראות בסיסיות. ה-GPU הוא המומחה שמנהל פיקסלים וגרפיקה מורכבת. ה-NPU הוא התוספת החדשה שמצטיינת ב-parallel processing בצריכת חשמל נמוכה. השבב השלישי הזה מותאם לסוג הספציפי של מתמטיקה המשמשת רשתות עצביות, הכוללת מיליארדי כפל וחיבור פשוטים. על ידי העברת המשימות הללו ל-NPU, שאר המערכת נשארת קרירה ומגיבה. זה לא רק שדרוג קטן. זהו שינוי מבני באופן שבו הסיליקון מסודר. אינטל, קוואלקום ו-AMD כולן מתחרות כדי לראות מי יכולה לדחוס את ה-NPU היעיל ביותר למעבדים הניידים החדשים שלהן.

רוב האנשים מעריכים יתר על המידה מה החומרה הזו תעשה ביום הראשון. הם מצפים לעוזר דיגיטלי שינהל את כל חייהם. במציאות, התועלת הנוכחית עדינה יותר. מפתחי תוכנה רק מתחילים לכתוב אפליקציות שיכולות לדבר עם השבבים החדשים האלה. כרגע, ה-NPU משמש בעיקר עבור "Windows Studio Effects" או תכונות מיוחדות ב-creative suites כמו Adobe Premiere. הערך האמיתי טמון ב-on-device inference. זה אומר להריץ large language model באופן מקומי. במקום לשלוח מסמך פרטי לשרת כדי שיסוכם, אתם יכולים לעשות זאת במכונה שלכם. זה מבטל את ה-latency של המתנה לתגובת שרת ומבטיח שהמידע הרגיש שלכם יישאר פרטי. ככל שיותר מפתחים יאמצו את הסטנדרטים האלה, רשימת התכונות הנתמכות תגדל מטשטוש רקע פשוט לאוטומציה מקומית מורכבת וכלים גנרטיביים שעובדים ללא חיבור לאינטרנט.

תוויות השיווק יכולות להיות מבלבלות. אולי תראו מונחים כמו Copilot Plus או חומרת AI-native. אלו בעיקר תרגילי מיתוג כדי לומר לכם שהמכונה עומדת בסף מסוים של כוח עיבוד. לדוגמה, מיקרוסופט דורשת כמות ספציפית של ביצועי NPU לפני שלפטופ יכול לשאת את מיתוג ה-AI היוקרתי שלהם. זה מבטיח שהמכונה תוכל להתמודד עם התכונות הקרובות של ה-Windows operating system המסתמכות על עיבוד רקע קבוע. אם אתם קונים מחשב היום, אתם בעצם משקיעים בעתיד שבו תוכנה בנויה סביב היכולות המקומיות האלה. זה ההבדל בין מכונה שבקושי יכולה להריץ את התוכנה העדכנית ביותר לבין כזו שנבנתה כדי לשגשג בעולם של local machine learning.

שינוי בכוח המחשוב העולמי

הדחיפה לבינה מלאכותית מקומית משפיעה רבות על כלכלת הטכנולוגיה העולמית. בשנים האחרונות היינו תלויים מאוד בספקי cloud. זה יוצר צוואר בקבוק שבו רק אנשים עם אינטרנט מהיר ואמין יכולים להשתמש בכלים החזקים ביותר. על ידי העברת הכוח הזה למכשיר, היצרנים עושים דמוקרטיזציה לגישה למחשוב ברמה גבוהה. חוקר באזור מרוחק או נוסע בטיסה ארוכה יכולים כעת לגשת לאותה רמה של סיוע שהייתה נעולה בעבר מאחורי חיבור מהיר. זה מצמצם את הפער הדיגיטלי בין מרכזים עירוניים מחוברים היטב לשאר העולם. זה גם מפחית את עלויות האנרגיה העצומות הקשורות להפעלת חוות שרתים ענקיות עבור כל שאילתה פשוטה.

פרטיות היא המניע העולמי השני. לאזורים שונים יש חוקים שונים לגבי היכן ניתן לאחסן ולעבד נתונים. לאיחוד האירופי יש חוקים נוקשים שלעתים קרובות מתנגשים עם האופן שבו חברות ה-cloud האמריקאיות פועלות. AI PC פותר רבות מהבעיות המשפטיות הללו על ידי שמירת הנתונים בתוך גבולות המכשיר של המשתמש. זה הופך את המכונות הללו לאטרקטיביות במיוחד עבור סוכנויות ממשלתיות וספקי שירותי בריאות שמטפלים ברשומות רגישות. הם יכולים להשתמש בכלים מודרניים מבלי לדאוג מדליפות נתונים או מבעיות תאימות בינלאומיות. המעבר הזה לעבר עיבוד מקומי הוא תגובה ישירה לביקוש העולמי הגובר לריבונות נתונים ולזכויות פרטיות אישיות.

אנחנו רואים גם שינוי באופן שבו חומרה מיוצרת ונמכרת ברחבי העולם. המרוץ לבניית ה-NPU הטוב ביותר הביא שחקנים חדשים לשוק הלפטופים. קוואלקום היא כעת מתחרה מרכזית של אינטל ו-AMD על ידי שימוש ב-mobile-first architecture שמצטיינת במשימות AI. התחרות הזו טובה לצרכן מכיוון שהיא מורידה מחירים ומאלצת חדשנות מהירה יותר. כל אזור מרכזי מאסיה ועד צפון אמריקה נמצא כעת במרוץ להבטחת שרשראות האספקה עבור השבבים המיוחדים הללו. ה-AI PC הוא לא רק מוצר. הוא מרכז של אסטרטגיה עולמית חדשה להפוך את המחשוב לעמיד יותר ופחות תלוי במבני כוח ריכוזיים. המעבר הזה כנראה יגדיר את העשור הבא של תעשיית האלקטרוניקה כאשר כל מכשיר, מטלפונים ועד שרתים, יאמץ סיליקון מיוחד דומה.

חיים עם בינה מקומית

דמיינו יום עבודה טיפוסי עם מכונה שמטפלת ב-inference של עצמה. אתם מתחילים את הבוקר בפתיחת תריסר אימיילים מבולגנים. במקום לקרוא כל אחד, אתם מבקשים מהמערכת המקומית לסכם את פריטי הפעולה המרכזיים. זה קורה באופן מיידי כי המודל כבר טעון בזיכרון המערכת שלכם. במהלך ועידת וידאו, ה-NPU עובד קשה כדי לשמור על העיניים שלכם מביטות במצלמה גם כשאתם מציצים בהערות שלכם. הוא מסנן את קולו של כלב נובח ברקע ומתרגם עמית שמדבר בשפה אחרת בזמן אמת. כל זה קורה מבלי שהלפטופ יתחמם או שרעש המאוורר יטביע את הקול שלכם. זהו הצד הפרקטי של הטכנולוגיה שלעתים קרובות הולך לאיבוד בתוך ההייפ.

אחר הצהריים אולי תצטרכו לערוך תמונה למצגת. בעבר הייתם צריכים לבחור אובייקטים ידנית או להשתמש בכלי מבוסס cloud שלוקח זמן לעבד. עם AI PC, אתם יכולים פשוט להקליד פקודה כדי להסיר את הרקע או לשנות את התאורה. החומרה המקומית מטפלת במתמטיקה הכבדה והשינויים מופיעים בזמן שאתם מקלידים. מאוחר יותר אתם עובדים על דוח פיננסי רגיש. אתם משתמשים בעוזר מקומי כדי לבדוק שגיאות ולהציע ניסוחים טובים יותר. מכיוון שהעיבוד מקומי, אתם לא צריכים לדאוג שהמידע הסודי של החברה שלכם ישמש לאימון מודל ציבורי. המכונה מרגישה כמו הרחבה פרטית של המוח שלכם ולא כפורטל לשרת מרוחק. רמת אינטגרציה זו משנה את קצב העבודה על ידי הסרת החיכוכים הקטנים שבדרך כלל מאטים אותנו.

היום מסתיים בעבודה יצירתית קלה. אתם רוצים לייצר אמנות קונספט לפרויקט אישי. אתם פותחים מחולל תמונות מקומי ומייצרים מספר טיוטות באיכות גבוהה בשניות. אין דמי מנוי ואין המתנה בתור מאחורי משתמשים אחרים. הביצועים עקביים ללא קשר למהירות האינטרנט שלכם. זו ההשפעה בעולם האמיתי של החזקת יכולות חומרה מודרניות בקצות אצבעותיכם. זה לא על תכונה אחת גדולה, אלא על מאה שיפורים קטנים שהופכים את המחשב למרגיש מסוגל יותר. המכונה היא כבר לא רק כלי פסיבי. היא הופכת לשותפה פעילה שצופה מה אתם צריכים ומטפלת בחלקים המייגעים של החיים הדיגיטליים. הנה כמה דרכים נפוצות שבהן משתמשים במכונות אלו כיום:

• הרצת מודלי שפה מקומיים לניתוח וכתיבת מסמכים פרטיים.
• שיפור זרמי וידאו ואודיו עם עיבוד רקע בצריכת חשמל נמוכה.
• אוטומציה של משימות עריכת תמונות ווידאו חוזרות באמצעות תוספים מיוחדים.
• מתן תכונות נגישות בזמן אמת כמו כתוביות חיות ומעקב עיניים.

עד שאתם סוגרים את הלפטופ לערב, עדיין נשאר לכם הרבה סוללה. זה אולי החלק הכי מוערך בחסר של החוויה. מכיוון שה-NPU כל כך יעיל, חיי הסוללה במכונות החדשות האלה לרוב עולים על מה שחשבנו שאפשרי עבור לפטופים חזקים. אתם לא רק מקבלים יותר אינטליגנציה. אתם מקבלים יותר ניידות. היכולת לעשות עבודה ברמה גבוהה בבית קפה או ברכבת מבלי לחפש שקע חשמל היא שיפור עצום באיכות החיים. זה משנה את האופן שבו אנחנו חושבים על איפה ומתי אנחנו יכולים להיות פרודוקטיביים. ה-AI PC הוא בעצם הלפטופ הראשון שלא מכריח אתכם לבחור בין כוח לניידות. הוא מספק חוויה מאוזנת שמתאימה לאורח חיים נייד מודרני ללא הפשרות הרגילות.

שאלות קשות לעידן ה-AI

בעוד שהחומרה מרשימה, עלינו לשאול מהן העלויות הנסתרות. האם הדחיפה ל-AI PCs היא רק דרך של יצרנים לכפות מחזור שדרוג חדש? רוב התכונות שמפורסמות כיום יכלו טכנית לרוץ על חומרה ישנה יותר אם התוכנה הייתה מותאמת אחרת. עלינו לתהות אם אנחנו יוצרים הר של e-waste על ידי שכנוע אנשים שהלפטופים בני השנתיים שלהם פתאום מיושנים. יש גם את שאלת ה-telemetry ואיסוף הנתונים. גם אם העיבוד מקומי, כמה metadata החברות האלה אוספות על האופן שבו אנחנו משתמשים בכלים האלה? מכונה שכל הזמן צופה ומקשיבה כדי לעזור לכם היא גם מכונה שכל הזמן אוספת מידע על ההרגלים שלכם.

דאגה נוספת היא ה-"AI tax" על מחירי החומרה. השבבים החדשים האלה והזיכרון הנוסף הנדרש כדי להריץ מודלים מקומיים ביעילות הופכים לפטופים ליקרים יותר. האם היתרונות שווים את מאות הדולרים הנוספים עבור הסטודנט או עובד המשרד הממוצע? עלינו לשקול גם את ההשפעה הסביבתית של ייצור השבבים המורכבים האלה. האנרגיה שנחסכת במהלך השימוש עשויה להתקזז על ידי ה-carbon footprint של תהליך הייצור. יתרה מכך, עלינו להיות סקפטיים לגבי ה-software lock-in שמגיע עם המכונות האלה. אם תכונה ספציפית עובדת רק על מותג אחד של מעבד, אנחנו נעים לעבר אקו-סיסטם מקוטע שבו בחירת החומרה שלכם מכתיבה באילו תוכנות תוכלו להשתמש. זה עלול להגביל את בחירת הצרכן ולחנק את האופי הפתוח של המחשוב האישי שנהנינו ממנו במשך עשורים.

הארכיטקטורה של On-Device Inference

עבור אלה שרוצים להבין את הצד הטכני, המדד החשוב ביותר הוא TOPS. זה מייצג Trillions of Operations Per Second. בעוד ש-CPU סטנדרטי עשוי לטפל בכמה TOPS, NPU מודרני צפוי לספק 40 או יותר. הכוח הגולמי הזה חסר תועלת ללא שכבות התוכנה הנכונות. מפתחים משתמשים ב-frameworks כמו OpenVINO או Windows ML כדי לדבר עם החומרה. ה-APIs האלה פועלים כגשר המאפשר לאפליקציה בודדת לרוץ על סוגים שונים של סיליקון. האתגר כרגע הוא memory bandwidth. הרצת מודל גדול דורשת העברת הרבה נתונים במהירות בין האחסון למעבד. זו הסיבה שרבים מה-AI PCs נשלחים עם כמויות גדולות ומהירות יותר של RAM כסטנדרט. אתם יכולים למצוא פרטים נוספים על הדרישות האלה ב-מרכז הטכני של אינטל או על ידי עיון ב-סטנדרטים של חומרת מיקרוסופט עבור מכשירים חדשים.

גם לאחסון מקומי יש תפקיד קריטי. large language models יכולים לתפוס מספר gigabytes של שטח. כדי לשמור על המערכת מהירה, יצרנים משתמשים ב-NVMe drives במהירות גבוהה שיכולים להזין נתונים ל-NPU ללא צווארי בקבוק. יש גם את נושא ה-thermal throttling. למרות שה-NPU יעיל, הוא עדיין מייצר חום כשהוא נדחף לקצה גבול היכולת שלו. מהנדסים מתכננים פתרונות קירור חדשים שמתעדפים את האזור סביב ה-NPU כדי להבטיח ביצועים עקביים במהלך משימות ארוכות. אם אתם משתמשי כוח, כדאי לחפש מכונות המציעות לפחות 16GB של unified memory ומעבד שעומד ב-benchmarks העדכניים ביותר של התעשייה. אתם יכולים לבדוק את נתוני הביצועים העדכניים מ-דוחות הארכיטקטורה של קוואלקום כדי לראות איך שבבים שונים משתווים בבדיקות בעולם האמיתי. הדרישות הטכניות עבור AI PC הן כרגע כדלקמן:

• NPU ייעודי המסוגל ללפחות 40 TOPS עבור תכונות מתקדמות.
• מינימום 16GB RAM במהירות גבוהה לתמיכה בטעינת מודלים מקומיים.
• קושחת ניהול צריכת חשמל מתקדמת לאיזון עומסי NPU ו-CPU.
• תמיכת מערכת הפעלה ב-neural processing frameworks ו-APIs.

אינטגרציית זרימת עבודה היא החלק האחרון בפאזל. לא מספיק שתהיה החומרה. התוכנה חייבת לדעת איך להשתמש בה. אנחנו רואים מעבר לעבר "hybrid AI" שבו המערכת מחליטה אם לעבד משימה באופן מקומי או ב-cloud בהתבסס על המורכבות והכוח הזמין. זה דורש שכבת תזמור מתוחכמת ב-operating system. עבור מפתחים, זה אומר ללמוד דרכים חדשות לייעל את הקוד שלהם ל-parallel processing. המעבר דומה לזמן שעברנו ממעבדים בעלי ליבה אחת למעבדים מרובי ליבות. לוקח זמן לאקו-סיסטם של התוכנה להדביק את הפוטנציאל של החומרה. עם זאת, ברגע שהבסיס מונח, נראה מחלקה חדשה של אפליקציות שהיו בלתי אפשריות בעבר במכשיר נייד.

השורה התחתונה

ה-AI PC הוא אבולוציה משמעותית בחומרה אישית. הוא מייצג מעבר מהמודל של "thin client" שבו המחשב הוא רק מסך עבור ה-cloud. על ידי הכנסת אינטליגנציה ייעודית לסיליקון, יצרנים הופכים את המכשירים שלנו ליכולים ופרטיים יותר. בעוד שהשיווק עשוי להקדים את התוכנה, השינוי המהותי הוא אמיתי. אם אתם אנשי מקצוע יצירתיים או מישהו שמעריך פרטיות, מכונה עם NPU היא השקעה חכמה. עבור כל השאר, היתרונות יגיעו לאט ככל שיותר אפליקציות יתחילו לנצל את החומרה. עידן המחשב לשימוש כללי מוחלף בעידן העוזר המיוחד. זהו שינוי שבסופו של דבר יגע בכל חלק בחיינו הדיגיטליים.

הערת העורך: יצרנו אתר זה כמרכז חדשות ומדריכים רב-לשוני בנושא בינה מלאכותית עבור אנשים שאינם "גיקים" של מחשבים, אך עדיין רוצים להבין בינה מלאכותית, להשתמש בה בביטחון רב יותר, ולעקוב אחר העתיד שכבר מגיע.