האם מודלים פתוחים באמת יכולים לאתגר את המעבדות הגדולות?

הביזור הגדול של הבינה

הפער בין מערכות סגורות וקנייניות לבין מודלים ציבוריים מצטמצם מהר יותר ממה שרוב האנליסטים חזו. רק לפני שנה, הקונצנזוס היה שמעבדות ענק עם מיליארדי דולרים במימון ישמרו על יתרון קבוע. כיום, היתרון הזה נמדד בחודשים ולא בשנים. מודלים בעלי משקולות פתוחות (open weights) מציגים כעת ביצועים שמתחרים במערכות הסגורות המתקדמות ביותר בתחומי התכנות, הסקת המסקנות והכתיבה היצירתית. השינוי הזה הוא לא רק סקרנות טכנית; הוא מייצג שינוי מהותי בשאלה מי שולט בעתיד המחשוב. כשמפתח יכול להריץ מודל בעל ביצועים גבוהים על חומרה משלו, מאזן הכוחות עובר הרחק מספקיות ריכוזיות. המגמה הזו מציעה שעידן ה-black box עומד בפני האתגר האמיתי הראשון שלו מצד קהילה גלובלית ומבוזרת.

עלייתן של המערכות הנגישות הללו אילצה אותנו להעריך מחדש מה זה אומר להיות מובילים בתחום. כבר לא מספיק להחזיק באשכול ה-chips הגדול ביותר אם המודל שמתקבל נעול מאחורי ממשק יקר ומגביל. מפתחים מצביעים ברגליים – או ליתר דיוק, בזמן ובכוח העיבוד שלהם. הם בוחרים במודלים שהם יכולים לבחון, לשנות ולהטמיע בלי לבקש רשות. התנועה הזו צוברת תאוצה כי היא עונה על הצרכים הבסיסיים של פרטיות והתאמה אישית שמודלים סגורים לרוב מתעלמים מהם. התוצאה היא סביבה תחרותית יותר שבה המיקוד עבר מקנה מידה גרידא ליעילות ונגישות. זוהי תחילתו של עידן חדש שבו הכלים היכולתיים ביותר הם גם הזמינים ביותר.

שלושת השבטים של הפיתוח

כדי להבין לאן הטכנולוגיה הזו הולכת, צריך להסתכל על שלושת הסוגים השונים של ארגונים שבונים אותה. ראשית, יש את מעבדות החזית (frontier labs). אלו הענקיות כמו OpenAI ו-Google. המטרה שלהן היא להגיע לרמה הגבוהה ביותר האפשרית של בינה כללית. הן מתעדפות קנה מידה וכוח גולמי מעל הכל. עבורן, פתיחות נתפסת לעיתים קרובות כסיכון לבטיחות או כאובדן יתרון תחרותי. הן בונות אקו-סיסטם סגור ועצום שמציע ביצועים גבוהים אך דורש תלות מוחלטת בתשתית ה-cloud שלהן. המודלים שלהן הם ה-gold standard לביצועים, אבל הם מגיעים עם תנאים בדמות מדיניות שימוש ועלויות חוזרות.

שנית, יש לנו את המעבדות האקדמיות. מוסדות כמו Stanford Institute for Human-Centered AI מתמקדים בשקיפות וביכולת שחזור. המטרה שלהן היא לא למכור מוצר אלא להבין איך המערכות האלה עובדות. הן מפרסמות את הממצאים, את מאגרי הנתונים ואת מתודולוגיות האימון שלהן. בעוד שהמודלים שלהן לא תמיד משתווים לכוח הגולמי של מעבדות החזית, הם מספקים את הבסיס לשאר התעשייה. הן שואלות את השאלות שמעבדות מסחריות עשויות להימנע מהן, כמו איך נוצרת הטיה או איך להפוך את האימון ליעיל יותר מבחינה אנרגטית. העבודה שלהן מבטיחה שהמדע בתחום יישאר טובת הציבור ולא סוד תאגידי.

לבסוף, יש את מעבדות המוצר ותומכי ה-open weight התאגידיים. Meta ו-Mistral נופלות לקטגוריה הזו. הן משחררות מודלים לציבור כדי לבנות אקו-סיסטם. על ידי הנגשת המשקולות שלהן, הן מעודדות אלפי מפתחים לייעל את הקוד שלהן ולבנות כלים תואמים. זהו מהלך אסטרטגי כדי לבלום את הדומיננטיות של פלטפורמות סגורות. אם כולם בונים על הארכיטקטורה שלך, את הופכת ל-industry standard. הגישה הזו מגשרת על הפער בין מחקר טהור למוצרים מסחריים. היא מאפשרת רמת הטמעה שמעבדות אקדמיות לא יכולות להגיע אליה, תוך שמירה על רמת חופש שמעבדות החזית לא מאפשרות.

אשליית הפתיחות בתוכנה המודרנית

המונח open source משמש לעיתים קרובות בצורה חופשית בתעשייה הזו, מה שמוביל לבלבול משמעותי. תוכנת open source אמיתית, כפי שמוגדרת על ידי ה-Open Source Initiative, דורשת שקוד המקור, הוראות הבנייה והנתונים יהיו זמינים באופן חופשי. רוב המודלים המודרניים לא עומדים בקריטריונים האלה. במקום זאת, אנחנו רואים עלייה במודלים של open weights. בהגדרה הזו, החברה מספקת את התוצאה הסופית של תהליך האימון אך שומרת על נתוני האימון והמתכון בסוד. זו הבחנה קריטית. אפשר להריץ את המודל ולראות איך הוא מתנהג, אבל אי אפשר לשחזר אותו בקלות מאפס או לדעת בדיוק איזה מידע הוזן אליו במהלך היצירה שלו.

שפת השיווק מסבכת את זה לעיתים קרובות עוד יותר על ידי שימוש במונחים כמו רישיונות permissive או קהילתיים. הרישיונות האלה כוללים לעיתים קרובות סעיפים שמגבילים את אופן השימוש במודל על ידי חברות גדולות מאוד או למשימות ספציפיות. בעוד שהמודלים האלה נגישים הרבה יותר מ-API סגור, הם לא תמיד חופשיים במובן המסורתי. זה יוצר ספקטרום של פתיחות. בקצה אחד, יש מודלים סגורים לחלוטין כמו GPT-4. באמצע, יש מודלים של open weights כמו Llama 3. ובקצה השני, יש פרויקטים שמשחררים הכל, כולל הנתונים. הבנה איפה מודל ממוקם על הספקטרום הזה היא חיונית לכל ארגון או מפתח שתכנן לטווח הארוך.

היתרונות של הגישה החצי-פתוחה הזו עדיין עצומים. היא מאפשרת אירוח מקומי (local hosting), שזו דרישה עבור תעשיות רבות עם חוקי ריבונות נתונים מחמירים. היא גם מאפשרת fine tuning, שבו מודל מאומן על כמות קטנה של נתונים ספציפיים כדי להפוך אותו למומחה בתחום מסוים. רמת שליטה כזו בלתי אפשרית עם API סגור. עם זאת, עלינו להיות מדויקים לגבי מה שבאמת פתוח. אם חברה יכולה לבטל את הרישיון שלך או אם נתוני האימון הם תעלומה, אתם עדיין פועלים בתוך מערכת שתוכננה על ידי מישהו אחר. המגמה הנוכחית היא לכיוון של יותר שקיפות, אבל אנחנו עדיין לא בנקודה שבה המודלים החזקים ביותר הם באמת open source.

שליטה מקומית בעידן ענקיות ה-Cloud

עבור מפתח שעובד בסביבת אבטחה גבוהה, המעבר ל-open weights הוא צורך פרקטי. תארו לעצמכם מהנדס מוביל בחברת פיננסים בינונית. בעבר, הוא היה צריך לשלוח נתוני לקוחות רגישים לשרת צד שלישי כדי לקבל את היתרונות של מודל שפה גדול. זה יצר סיכון פרטיות עצום ותלות בזמינות של ספק חיצוני. כיום, אותו מהנדס יכול להוריד מודל בעל ביצועים גבוהים ולהריץ אותו על שרת פנימי. יש לו שליטה מלאה על זרימת הנתונים. הוא יכול לשנות את המודל כדי להבין את הז'רגון הספציפי של החברה ואת חוקי הציות. זו לא רק נוחות. זהו שינוי מהותי באופן שבו החברה מנהלת את הנכס היקר ביותר שלה – הנתונים שלה.

יום בחייו של המהנדס הזה השתנה משמעותית. במקום לנהל API keys ולדאוג למגבלות קצב (rate limits), הוא מבלה את זמנו באופטימיזציה של local inference. הוא עשוי להשתמש בכלי כמו Hugging Face כדי למצוא גרסה של מודל שעברה דחיסה כדי להתאים לחומרה הזמינה שלו. הוא יכול להריץ בדיקות ב-3 לפנות בוקר בלי לדאוג לעלות של כל token שנוצר. אם המודל עושה טעות, הוא יכול להסתכל על המשקולות ולנסות להבין למה, או להשתמש ב-fine tuning כדי לתקן את זה. רמת אוטונומיה כזו הייתה בלתי נתפסת עבור רוב העסקים רק לפני שנתיים. היא מאפשרת מחזור איטרציה מהיר יותר ומוצר סופי חזק יותר.

החופש הזה מתרחב גם למשתמש הפרטי. כותב או חוקר יכולים להריץ על המחשב הנייד שלהם מודל שאין לו פילטר שתוכנן על ידי ועדה ב-Silicon Valley. הם יכולים לחקור רעיונות ולייצר תוכן בלי מתווך שמחליט מה מתאים. זה ההבדל בין לשכור כלי לבין להיות הבעלים שלו. בעוד שענקיות ה-cloud מציעות חוויה מלוטשת וקלה לשימוש, האקו-סיסטם הפתוח מציע משהו בעל ערך רב יותר: סוכנות (agency). ככל שהחומרה הופכת לחזקה יותר והמודלים ליעילים יותר, מספר האנשים שמריצים את המערכות האלה באופן מקומי רק יגדל. הגישה המבוזרת הזו מבטיחה שהיתרונות של הטכנולוגיה הזו לא יוגבלו רק לאלה שיכולים להרשות לעצמם מנויים חודשיים יקרים.

ארגונים גם מגלים שמודלים פתוחים הם גידור נגד סיכוני פלטפורמה. אם ספק סגור משנה את התמחור או את תנאי השירות שלו, חברה שנבנתה על ה-API הזה נמצאת בצרות. על ידי שימוש ב-open weights, חברה יכולה להחליף ספקי חומרה או להעביר את כל ה-stack שלה ל-cloud אחר בלי לאבד את הבינה המרכזית שלה. הגמישות הזו מניעה הרבה מהאימוץ שאנחנו רואים היום. זה כבר לא עניין של איזה מודל טוב יותר במעט ב-benchmark. זה עניין של איזה מודל נותן לעסק את היציבות ארוכת הטווח הגדולה ביותר. השיפורים האחרונים ב-open source AI ecosystem הפכו את זה לאסטרטגיה בת-קיימא עבור חברות בכל הגדלים.

המחיר הגבוה של מודלים בחינם

למרות ההתלהבות, עלינו לשאול שאלות קשות על העלויות הנסתרות של הפתיחות. הרצת מודל גדול באופן מקומי היא לא בחינם. היא דורשת השקעה משמעותית בחומרה, ובמיוחד ב-GPUs יוקרתיים עם הרבה זיכרון. עבור עסקים קטנים רבים, העלות של רכישה ותחזוקה של החומרה הזו עשויה לעלות על העלות של מנוי API למשך מספר שנים. יש גם את עלות החשמל והצורך בכישרון מיוחד כדי לנהל את ההטמעה. האם אנחנו פשוט מחליפים מנוי תוכנה בחשבון חומרה ואנרגיה? המציאות הכלכלית של AI מקומי מורכבת יותר ממה שהכותרות מציעות.

פרטיות היא תחום נוסף שבו נדרשת סקפטיות. בעוד שהרצת מודל באופן מקומי טובה יותר לאבטחת נתונים, המודלים עצמם מאומנים לרוב על נתונים שנאספו מהאינטרנט ללא הסכמה. האם שימוש במודל פתוח הופך אותך לשותף לפרקטיקה הזו? יתרה מכך, אם מודל הוא פתוח, הוא פתוח גם לשחקנים רעים. אותם כלים שמאפשרים לרופא לסכם הערות רפואיות יכולים לשמש האקר כדי להפוך התקפות phishing לאוטומטיות. איך מאזנים בין היתרונות של דמוקרטיזציה לבין הסיכונים של שימוש לרעה? מעבדות שמשחררות את המשקולות שלהן טוענות לעיתים קרובות שהקהילה תספק את בדיקות הבטיחות הנחוצות, אבל זו טענה שקשה לאמת. עלינו לשקול אם היעדר פיקוח ריכוזי הוא תכונה או פגם.

לבסוף, עלינו להסתכל על הקיימות של המודל הפתוח. אימון המערכות האלה עולה מיליוני דולרים. אם חברות כמו Meta או Mistral יחליטו שזה כבר לא לטובתן לשחרר את המשקולות שלהן, ההתקדמות של הקהילה הפתוחה עלולה להיעצר. אנחנו נהנים כרגע מאסטרטגיה תאגידית שמעדיפה פתיחות כדי להשיג נתח שוק. אם האסטרטגיה הזו תשתנה, הקהילה עלולה למצוא את עצמה שנים מאחורי מעבדות החזית שוב. האם אפשר לבנות מודל עצמאי באמת, בעל ביצועים גבוהים, ללא הגיבוי של תאגיד של מיליארדי דולרים? התלות הנוכחית בנדיבות תאגידית היא נקודת כשל פוטנציאלית עבור כל התנועה.

מתחת למכסה המנוע של ה-Local Inference

עבור ה-power user, העבודה האמיתית קורית באינטגרציה של המודלים האלה לתוך תהליכי עבודה קיימים. אחד האתגרים הגדולים ביותר הוא דרישת החומרה. כדי להריץ מודל עם 70 מיליארד פרמטרים, בדרך כלל צריך לפחות שני GPUs צרכניים יוקרתיים או כרטיס ברמה מקצועית עם 48GB של VRAM. זה הוביל לעלייתן של טכניקות quantization. על ידי הפחתת הדיוק של משקולות המודל מ-16-bit ל-4-bit או אפילו 2-bit, מפתחים יכולים להכניס מודלים גדולים הרבה יותר לחומרה זולה יותר. התהליך הזה כרוך בפשרה קלה בדיוק, אבל עבור רוב המשימות, ההבדל זניח. כלים כמו Llama.cpp הפכו את זה לאפשרי להריץ את המודלים האלה על CPUs סטנדרטיים וחומרת Mac, מה שמוריד משמעותית את חסם הכניסה.

גורם קריטי נוסף הוא מגבלת ה-API. כשמשתמשים בספק סגור, לרוב מוגבלים בכמות הבקשות שאפשר לבצע לדקה. עם מודל מקומי, המגבלה היחידה היא המהירות של החומרה שלך. זה מאפשר תהליכי עבודה מורכבים שבהם המודל נקרא מאות פעמים בתהליך אחד. לדוגמה, מפתח עשוי להשתמש במודל כדי לנתח אלפי שורות קוד או כדי לייצר מאגר נתונים סינתטי שלם לבדיקות. המשימות האלה יהיו יקרות ואיטיות בצורה בלתי סבירה ב-cloud API. אחסון מקומי מאפשר גם שימוש ב-context windows עצומים. אפשר להזין ספרייה שלמה של מסמכים לתוך מודל בלי לדאוג לעלות של ה-input tokens.

אינטגרציית תהליכי עבודה הופכת גם היא למתוחכמת יותר. מפתחים משתמשים ב-frameworks שמאפשרים להם להחליף מודלים פנימה והחוצה עם שורת קוד אחת. זה אומר שמערכת יכולה להשתמש במודל קטן ומהיר למשימות פשוטות ובמודל גדול ואיטי להסקה מורכבת. הגישה ההיברידית הזו מייעלת גם עלות וגם ביצועים. עם זאת, עדיין יש מכשולים. מודלים מקומיים לרוב חסרים את פילטרי הבטיחות המלוטשים ואת התיעוד הנרחב של העמיתים הסגורים שלהם. הגדרת סביבה מקומית חזקה דורשת הבנה עמוקה ב-Linux, Python ודרייברים של GPU. עבור אלה שיכולים לנהל את זה, הפרס הוא רמה של ביצועים ופרטיות ששום ספק cloud לא יכול להשתוות אליה.

הסטנדרט החדש לטכנולוגיה ציבורית

התחרות בין מודלים פתוחים לסגורים היא הסיפור החשוב ביותר בטכנולוגיה כיום. זהו קרב על הארכיטקטורה הבסיסית של האינטרנט. אם מודלים סגורים ינצחו, עתיד ה-AI ייראה כמו חנויות ה-app הנוכחיות, עם שתיים או שלוש ענקיות ששולטות במה שאפשרי. אם מודלים פתוחים ימשיכו במסלול הנוכחי שלהם, העתיד יהיה דומה יותר ל-web עצמו, רשת מבוזרת שבה כל אחד יכול לבנות ולחדש. השינוי האחרון לכיוון של open weights באיכות גבוהה הוא סימן חזק לכך שהאפשרות השנייה הופכת לסבירה יותר. זהו חזון משכנע של עולם שבו בינה היא שירות (utility) ולא מותרות.

ככל שאנחנו נכנסים ל-, המיקוד כנראה יעבור מביצועי מודל גולמיים לאקו-סיסטם שמקיף את המודלים האלה. המנצחת לא תהיה החברה עם הציון הגבוה ביותר ב-benchmark, אלא זו שתקל על אחרים לבנות. המרחק בין מאמר מחקרי למוצר שימושי עדיין גדול, אבל הקהילה הפתוחה בונה את הגשרים הדרושים כדי לחצות אותו. זו תקופה של שינוי מהיר, והבחירות שיעשו מפתחים וארגונים היום יגדירו את הסביבה הטכנולוגית לעשור הבא. עידן ה-closed box מסתיים, ועידן ה-open weight רק מתחיל.

הערת העורך: יצרנו אתר זה כמרכז חדשות ומדריכים רב-לשוני בנושא בינה מלאכותית עבור אנשים שאינם "גיקים" של מחשבים, אך עדיין רוצים להבין בינה מלאכותית, להשתמש בה בביטחון רב יותר, ולעקוב אחר העתיד שכבר מגיע.