למה מודלים פתוחים חשובים גם אם בחיים לא תורידו אחד

מעקה הבטיחות הבלתי נראה של המחשוב המודרני

מודלים פתוחים הם התשתית השקטה של העולם המודרני. אפילו אם בחיים לא תורידו קובץ מ-Hugging Face או תריצו שרת local, המודלים האלה הם אלו שקובעים את המחיר שתשלמו על שירותים סגורים ואת המהירות שבה פיצ'רים חדשים ינחתו אצלכם. הם משמשים כ'רצפה תחרותית'. בלעדיהם, קומץ חברות היו מחזיקות במונופול מוחלט על הטכנולוגיה הכי חשובה של המאה. מודלים פתוחים מספקים קו בסיס של יכולות שמכריח את השחקנים הגדולים להמשיך לחדש ולשמור על מודלים של תמחור הגיוניים יחסית. זה ממש לא רק תחביב למכורים לדבר או נישה לחוקרים. זהו שינוי יסודי באופן שבו הכוח מתחלק בתעשיית ההייטק. כשמודל כמו Llama משוחרר, הוא מציב סטנדרט חדש למה שאפשר לעשות על חומרת קצה. הלחץ הזה מבטיח שהמודלים הסגורים שאתם משתמשים בהם כל יום יישארו חדים ומשתלמים. להבין את הניואנסים של הפתיחות הזו זה הצעד הראשון כדי לראות לאן התעשייה הזו הולכת.

לפענח את ה'שיווקית' של עולם הפתיחות

יש המון בלבול לגבי מה זה בכלל 'פתוח' בהקשר הזה. תוכנת open source אמיתית מאפשרת לכל אחד לראות את הקוד, לשנות אותו ולהפיץ אותו. בעולם של מודלי שפה גדולים, ההגדרה הזו קצת מסתבכת. רוב המודלים שאנשים קוראים להם open source הם בעצם מודלי open weight. זה אומר שהחברה שחררה את הפרמטרים הסופיים של המודל המאומן, אבל היא לא שחררה את ה-datasets העצומים ששימשו לאימון שלו או את הסקריפטים הספציפיים של הניקוי ששימשו לעיבוד הנתונים. בלי הדאטה, אי אפשר באמת לשחזר את המודל מאפס. יש לכם רק את המוצר המוגמר. ואז יש את הרישיונות המתירניים. חלק מהחברות משתמשות ברישיונות מותאמים אישית שנראים פתוחים אבל כוללים הגבלות על שימוש מסחרי או סעיפים שמונעים ממתחרים להשתמש במודל. למשל, מודל יכול להיות חינמי ליחידים אבל לדרוש רישיון בתשלום אם לחברה שלכם יש יותר מ-700 מיליון משתמשים פעילים בחודש. זה רחוק מאוד מרישיונות ה-GPL או ה-MIT המסורתיים שעליהם נבנה האינטרנט. אנחנו רואים גם שפה שיווקית שמשתמשת במילה 'פתוח' כדי לתאר API שנגיש לציבור אבל נשלט לחלוטין על ידי חברה אחת. זה בכלל לא פתוח. זה פשוט מוצר עם דלת כניסה ציבורית. מודלים פתוחים באמת מאפשרים לכם להוריד את הקבצים ולהריץ אותם על החומרה שלכם בלי חיבור לאינטרנט. ההבחנה הזו קריטית כי היא קובעת למי יש את ה-kill switch הסופי. אם אתם מסתמכים על API, הספק יכול לשנות את הכללים או לסגור לכם את השאלטר בכל רגע. אם ה-weights נמצאים על הדיסק הקשיח שלכם, היכולת היא שלכם.

למה מדינות מהמרות על Public Weights

קשה להפריז בהשפעה הגלובלית של המודלים האלה. עבור מדינות רבות, הסתמכות על כמה חברות אמריקאיות לכל תשתית ה-AI שלהן היא סיכון משמעותי לריבונות הדיגיטלית שלהן. ממשלות באירופה ובאסיה מסתכלות יותר ויותר לכיוון של מודלים פתוחים כדי לבנות גרסאות מקומיות משלהן ל-AI. זה מאפשר להן להבטיח שהמודלים משקפים את הערכים התרבותיים והניואנסים הלשוניים שלהן, ולא רק את אלו של עמק הסיליקון. זה גם שומר את הדאטה בתוך הגבולות שלהן, מה שמהווה דאגה מרכזית לפרטיות ואבטחה. גם עסקים קטנים ובינוניים מרוויחים מזה. הם יכולים לבנות כלים ייעודיים בלי הפחד שהטכנולוגיה המרכזית שלהם תיעלם להם מתחת לרגליים. מודלים פתוחים גם מורידים את רף הכניסה למפתחים בשווקים מתעוררים. מישהו בלאגוס או בג'קרטה יכול לגשת לאותה טכנולוגיה מתקדמת כמו מישהו בסן פרנסיסקו, בתנאי שיש לו את החומרה להריץ אותה. זה יוצר שוויון הזדמנויות ש-APIs סגורים בחיים לא יוכלו לייצר. הקיום של המודלים האלה מייצר גם אקו-סיסטם עצום של כלי עזר. מפתחים יוצרים דרכים לגרום למודלים לרוץ מהר יותר או לצרוך פחות זיכרון. החדשנות הקולקטיבית הזו זזה הרבה יותר מהר מכל חברה בודדת. זה יוצר feedback loop שבו שיפורים מהעולם הפתוח מוצאים בסופו של דבר את דרכם חזרה למודלים הסגורים שכולנו משתמשים בהם ב- .

יום בלי ה-Cloud

בואו נראה איך זה נראה ביום רגיל של מפתחת תוכנה בשם שרה. שרה עובדת ב-startup רפואי שמטפל במידע רגיש של מטופלים. החברה שלה לא יכולה להשתמש ב-AI מבוסס cloud כי הסיכון לדליפת מידע גבוה מדי והמכשולים הרגולטוריים קשוחים מדי. במקום זאת, שרה משתמשת במודל open weight שרץ על שרת local מאובטח. בבוקר, היא משתמשת במודל כדי לעזור לה לעשות refactor לקטע קוד מורכב. בגלל שהמודל מקומי, היא לא צריכה לדאוג שהקוד הפרטי שלה ישמש לאימון גרסה עתידית של AI מסחרי. מאוחר יותר, היא משתמשת בגרסת fine tuned של המודל כדי לסכם הערות של מטופלים. המודל הספציפי הזה אומן על טרמינולוגיה רפואית, מה שהופך אותו למדויק יותר עבור הצרכים שלה מאשר מודל כללי. במהלך הפסקת הצהריים, שרה קוראת פוסט בבלוג על ניתוח תעשיית ה-AI לגבי הטרנדים האחרונים ב-local inference. היא מבינה שהיא יכולה לייעל את ה-workflow שלה עוד יותר. אחר הצהריים, היא מתנסה בטכניקת quantization חדשה שמאפשרת לה להריץ מודל גדול יותר על החומרה הקיימת שלה. זה היופי באקו-סיסטם הפתוח. היא לא מחכה שחברת ענק תוציא פיצ'ר חדש. היא יכולה ליישם אותו בעצמה באמצעות כלים שנוצרו על ידי הקהילה. עד סוף היום, היא שיפרה את הדיוק של כלי הסיכום שלה ב-15 אחוזים. התרחיש הזה הופך לנפוץ בתעשיות רבות. ממשרדי עורכי דין ועד סוכנויות קריאייטיב, אנשים מגלים שהשליטה והפרטיות שמציעים מודלים פתוחים שווים את המאמץ הנוסף שבהקמה שלהם. הם בונים כלים שתפורים לצרכים הספציפיים שלהם במקום לנסות להכניס את הבעיות שלהם לקופסה של עוזר AI גנרי. השינוי הזה נראה גם במגזר החינוך. אוניברסיטאות משתמשות במודלים פתוחים כדי ללמד סטודנטים איך AI עובד 'מתחת למכסה המנוע'. הם יכולים לבדוק את ה-weights ולהתנסות בטכניקות אימון שונות. זה מייצר כוח אדם מיומן ומבין יותר לעתיד. היכולת להריץ את המערכות האלו offline אומרת גם שחוקרים באזורים מרוחקים יכולים להמשיך בעבודתם בלי חיבור אינטרנט יציב.

המחיר הגבוה של תוכנה חינמית

למרות שהיתרונות ברורים, אנחנו חייבים לשאול שאלות קשות על העלות האמיתית של הפתיחות הזו. מי בעצם משלם על כוח המחשוב המטורף שצריך כדי לאמן את המודלים האלה? אם חברה כמו Meta מוציאה מאות מיליוני דולרים כדי לאמן מודל ואז מחלקת את ה-weights בחינם, מה המהלך ארוך הטווח שלה? האם זו דרך לחסל מתחרים קטנים יותר שלא יכולים להרשות לעצמם לחלק את המוצרים שלהם בחינם? אנחנו חייבים גם לקחת בחשבון את סיכוני האבטחה. אם מודל הוא באמת פתוח, זה אומר שאפשר להסיר את מעקות הבטיחות שלו. זה עלול לאפשר לגורמים עוינים להשתמש בטכנולוגיה למטרות זדוניות כמו יצירת deepfakes או יצירת קוד מזיק. איך אנחנו מאזנים בין הצורך בחדשנות פתוחה לבין הצורך בביטחון הציבור?

דאגה נוספת היא העלות הנסתרת של החומרה. הרצת המודלים האלה באופן מקומי דורשת GPUs חזקים שהם יקרים וצורכים המון חשמל. האם החופש של מודלים פתוחים זמין רק לאלו שיכולים להרשות לעצמם את החומרה? ומה לגבי הדאטה? אם אנחנו לא יודעים באיזה מידע השתמשו כדי לאמן את המודלים האלה, איך נוכל להיות בטורה שהם לא מוטים או מפרים זכויות יוצרים? ה-Open Source Initiative עובדת על הגדרת הסטנדרטים האלה, אבל התעשייה זזה מהר יותר מהמדיניות. אנחנו חייבים גם לשאול אם המונח 'פתוח' משמש כמגן כדי להתחמק מרגולציה. על ידי טענה שהמודלים שלהן פתוחים, חברות עשויות לנסות להעביר את האחריות על אופן השימוש במודלים האלה אל משתמשי הקצה. אלו לא שאלות קלות למענה, אבל הן חיוניות לכל מי שמנסה להבין את עתיד התעשייה.

מתחת למכסה המנוע של Local Inference

למי שרוצה לשלב את המודלים האלה ב-workflow המקצועי שלו, הפרטים הטכניים חשובים. הדרך הנפוצה ביותר להריץ את המודלים האלה מקומית היא דרך frameworks ייעודיים. הכלים האלה משתמשים ב-quantization כדי לצמצם את גודל המודלים, מה שמאפשר להם להיכנס ל-VRAM של GPUs ביתיים. למשל, מודל שבמקור דורש 40GB של זיכרון יכול להידחס ל-8GB עם אובדן מינימלי באיכות. זה נעשה על ידי שינוי הדיוק של ה-weights מ-16 bit ל-4 bit או אפילו פחות. כשזה מגיע ל-APIs, מודלים פתוחים רבים זמינים דרך ספקים כמו Hugging Face או Together AI. השירותים האלה מציעים rate limits הרבה יותר גבוהים מאשר ספקים סגורים, מה שהופך אותם לאידיאליים לאפליקציות עם נפח עבודה גבוה. עם זאת, הכוח האמיתי מגיע מאחסון מקומי ו-fine tuning. באמצעות טכניקות כמו LoRA, אתם יכולים לאמן מודל על הדאטה שלכם תוך כמה שעות על GPU בודד. זה יוצר כלי מומחה שעוקף מודלים הרבה יותר גדולים במשימות ספציפיות. אתם צריכים גם לקחת בחשבון את ה-context window. מודלים פתוחים רבים תומכים עכשיו ב-context windows של 32k או אפילו 128k tokens, מה שמאפשר לכם לעבד מסמכים שלמים בבת אחת. השילוב של המודלים האלה בתוכנות קיימות הופך לקל יותר הודות ל-APIs סטנדרטיים. זה אומר שלעיתים קרובות תוכלו לעבור ממודל סגור לפתוח על ידי שינוי שורת קוד אחת באפליקציה שלכם. ב- , אנחנו מצפים שהכלים האלה יהיו אפילו יותר נגישים למפתח הממוצע.

• Llama.cpp להרצת inference על CPU ו-GPU במגוון פלטפורמות
• Ollama לניהול פשוט של מודלים מקומיים

הפסיקה הסופית לגבי חופש הבחירה

הבחירה בין מודלים פתוחים לסגורים היא לא בחירה של 'או זה או זה'. רוב האנשים ימשיכו להשתמש בשילוב של שניהם. מודלים סגורים מחברות כמו Meta AI או אחרות מציעים נוחות, ליטוש וביצועים מהשורה הראשונה למשימות כלליות. מודלים פתוחים מציעים שליטה, פרטיות ויכולת התמחות. אפילו אם בחיים לא תורידו מודל בעצמכם, העובדה שאחרים יכולים היא זו ששומרת על התעשייה כולה הגונה. זה מבטיח שה-AI יישאר כלי לכולם ולא סוד שמור של מעטים. התחרות שמונעת על ידי הקהילה הפתוחה היא הכוח החזק ביותר לטובה בעולם הטכנולוגיה כיום. היא מכריחה שקיפות והופכת את הגישה לכלים הכי חזקים שנוצרו אי פעם לדמוקרטית.

יש לכם סיפור, כלי, טרנד או שאלה הקשורים ל-AI שלדעתכם כדאי לנו לסקר? שלחו לנו את רעיון המאמר שלכם — נשמח לשמוע.

הערת העורך: יצרנו אתר זה כמרכז חדשות ומדריכים רב-לשוני בנושא בינה מלאכותית עבור אנשים שאינם "גיקים" של מחשבים, אך עדיין רוצים להבין בינה מלאכותית, להשתמש בה בביטחון רב יותר, ולעקוב אחר העתיד שכבר מגיע.

מצאת שגיאה או משהו שצריך לתקן? ספר לנו.