הקפיצה הבאה של וידאו AI: ריאליזם, מהירות או עריכה?

סוף עידן ה-pixel הרועד

העידן של סרטוני בינה מלאכותית מטושטשים ומעוותים נגמר מהר יותר ממה שציפינו. רק לפני כמה חודשים, קליפים סינתטיים זוהו בקלות לפי איברים נמסים ותנועות נוזליות שנוגדות את חוקי הפיזיקה. היום, הפוקוס עבר מגימיק נחמד לכלי עבודה מקצועי. אנחנו רואים מעבר לריאליזם מטורף שבו האור פוגע במשטח בדיוק כמו שהוא אמור. זה לא סתם שיפור ברזולוציה, זה שינוי יסודי בדרך שבה התוכנה מבינה את העולם התלת-ממדי. עבור הקהל הרחב, זה אומר שהקו בין מציאות מוקלטת למציאות ג'נרטיבית הופך לדק עד שהוא נעלם. השורה התחתונה היא שיצירת וידאו היא כבר לא צעצוע לממים ברשתות החברתיות, אלא רכיב ליבה ב-production stack המודרני. השינוי הזה מאלץ כל תעשייה יצירתית לחשב מסלול מחדש לגבי ההגדרה של מצלמה וסט צילומים. המהירות של המעבר הזה יוצרת פער בין אלו שרואים בזה גימיק לבין אלו שמבינים שמדובר בשינוי מבני ביצירת מדיה.

איך מודלי דיפוזיה שולטים בזמן

כדי להבין למה הווידאו נראה כל כך טוב עכשיו, צריך להסתכל על temporal consistency (עקביות זמנית). המודלים המוקדמים התייחסו לווידאו כאל סדרה של תמונות בודדות, מה שגרם לאפקט הבהוב כי ה-AI שכח איך הפריים הקודם נראה. המודלים החדשים מעבדים את כל הרצף כבלוק אחד של נתונים. הם משתמשים בארכיטקטורות של latent diffusion ו-transformer כדי להבטיח שאובייקט שזז על המסך ישמור על הצורה והצבע שלו מהשנייה הראשונה ועד האחרונה. השינוי הזה מאפשר לתוכנה לחזות איך צללים צריכים לזוז כשמקור האור משתנה. זו קפיצה ענקית מגנרטורים של תמונות סטטיות. אפשר למצוא עוד פרטים על ההתפתחויות האלו במעקב אחרי טרנדים של וידאו AI שמראים איך המודלים האלו מאומנים על מאגרי ענק של תנועה באיכות גבוהה. בניגוד לפילטרים ישנים שפשוט עיוותו חומר קיים, המערכות האלו בונות סצנות מאפס על בסיס הסתברויות מתמטיות של אור ותנועה. התוצאה היא קליפ שמרגיש מוצק ולא "רוח רפאים". היציבות הזו היא הסיגנל האמיתי ששווה לעקוב אחריו, בזמן שהגליצ'ים הזמניים הם רק רעש שייעלם ככל שכוח העיבוד יגדל.

קריסת גבולות ההפקה

ההשפעה הגלובלית של הכלים האלו בולטת במיוחד בדמוקרטיזציה של אפקטים ויזואליים (VFX) ברמה גבוהה. פעם, יצירת סצנה פוטו-ריאליסטית דרשה סטודיו ענק, מצלמות יקרות וצוות תאורנים. היום, סוכנות קטנה יכולה להפיק פרסומת שנראית כאילו עלתה מיליון דולר. זה שובר את המחסומים הגיאוגרפיים שהגנו פעם על מוקדי הפקה כמו הוליווד או לונדון. חברות פרסום כבר משתמשות בכלים האלו כדי ליצור גרסאות לוקאליות לקמפיינים בלי להטיס צוותים למדינות אחרות. לפי דיווחים של Reuters, הביקוש למדיה סינתטית בשיווק גדל ככל שחברות מחפשות לקצץ בעלויות. אבל, זה גם מביא סיכוני רישוי חדשים. אם AI מייצר דמות שנראית בדיוק כמו שחקן מפורסם, למי שייכות הזכויות? המערכות המשפטיות ברוב המדינות לא מוכנות לזה. אנחנו נכנסים לעולם שבו אפשר להשתמש בדמות של אדם בלי הנוכחות הפיזית שלו. זה לא רק עניין של כסף, אלא של מהירות איטרציה. במאי יכול לבחון עשרה סטים שונים של תאורה בדקות במקום בימים. היעילות הזו משנה את שוק העבודה של עורכים וצלמים, שחייבים עכשיו ללמוד לעשות prompt טוב לא פחות מאיך שהם מעמידים תאורה.

יום שלישי בסוויטת העריכה הסינתטית

דמיינו יום בחייו של עורך וידאו במשרד שיווק בינוני. הבוקר לא מתחיל במעבר על raw footage מצילומים, אלא בבדיקת חבילת קליפים שנוצרו על בסיס תסריט. העורך צריך שוט של אישה הולכת ברחוב גשום בטוקיו. במקום לחפש שעות באתר של stock footage, הוא מקליד תיאור לכלי ה-AI. התוצאה הראשונה טובה, אבל התאורה בהירה מדי. הוא מעדכן את ה-prompt לערב מואר בנאון עם שלוליות שמשקפות את השלטים. תוך שתי דקות, יש לו קליפ מושלם ב-4K. זה ה-workflow החדש. זה פחות לחתוך ויותר לאצור ולזקק. מאוחר יותר, הלקוח מבקש שינוי: שהשחקנית תלבש ז'קט אדום במקום כחול. בעבר, זה היה דורש צילומים חוזרים או color grading יקר. עכשיו, העורך משתמש בכלי image-to-video כדי להחליף את צבע הז'קט תוך שמירה על אותה תנועה. רמת שליטה כזו הייתה בלתי אפשרית לפני שנה. העורך אפילו משלב שחקן סינתטי שאומר שורה ספציפית מהתסריט. השחקן נראה אנושי, זז טבעי, ואפילו יש לו את המיקרו-הבעות הקטנות שמגדירות משחק אמיתי. העורך קיבל אישור סופי ב-16:00, משימה שפעם לקחה שבוע. זו המציאות של ההפקה המודרנית.

זה סביבת עבודה במהירות גבוהה שבה צוואר הבקבוק הוא כבר לא הציוד, אלא היצירתיות של האדם מאחורי המסך. עם זאת, ה-uncanny valley עדיין מופיע במקומות מסוימים, כמו הדרך שבה שיער זז ברוח חזקה או המורכבות של כפות ידיים אנושיות. הטעויות הקטנות האלו הן הסימנים האחרונים שנשארו למכונה.

שאלות קשות למסך של "פוסט-אמת"

ככל שאנחנו מתקרבים לריאליזם מושלם, אנחנו חייבים להפעיל ספקנות בריאה לגבי העלויות הנסתרות. אם כל אחד יכול ליצור וידאו פוטו-ריאליסטי של כל אירוע, מה יקרה לאמון הקולקטיבי שלנו בראיות ויזואליות? אנחנו נכנסים לתקופה שבה "לראות זה כבר לא להאמין". יש לזה השלכות עצומות על פרטיות ויציבות פוליטית. אם אפשר להשתמש בווידאו סינתטי כדי להפליל אדם, איך הוא יוכל להוכיח את חפותו? יש גם את שאלת המחיר הסביבתי. אימון המודלים האלו דורש כמויות אדירות של חשמל ומים לקירור data centers. האם הנוחות של עבודה מהירה שווה את טביעת הרגל האקולוגית? אנחנו חייבים לשאול גם על זכויות היוצרים של האמנים שהעבודות שלהם שימשו לאימון המודלים. רוב חברות ה-AI השתמשו בכמויות אדירות של וידאו מוגן בזכויות יוצרים בלי רשות או פיצוי. אנחנו חייבים להחליט אם היעילות של הכלי חשובה לנו יותר מהאתיקה של היצירה שלו. אם התעשייה תמשיך להתעלם מהשאלות האלו, היא מסתכנת בתגובת נגד ציבורית שתוביל לרגולציה כבדה. חוסר השקיפות בבניית המודלים הוא בעיה משמעותית שחייבת להיפתר לפני שהטכנולוגיה תהפוך לעוד יותר נפוצה.

יש לכם סיפור, כלי, טרנד או שאלה הקשורים ל-AI שלדעתכם כדאי לנו לסקר? שלחו לנו את רעיון המאמר שלכם — נשמח לשמוע.

חומרה מקומית ומציאות ה-API

עבור ה-power users והמנהלים הטכניים, המעבר לווידאו AI כולל אינטגרציות מורכבות. רוב יצירת הווידאו ברמה הגבוהה קורית כרגע ב-cloud דרך APIs של חברות כמו OpenAI או Runway. עם זאת, יש תנועה גוברת לכיוון הרצה מקומית כדי להימנע מעלויות מנוי גבוהות וחששות לפרטיות. הרצת מודל כמו Stable Video Diffusion באופן מקומי דורשת חומרה רצינית. בדרך כלל צריך GPU חזק עם לפחות 24GB של VRAM כדי לייצר פריימים ב-HD במהירות סבירה. הגיקים של התעשייה הזו אובססיביים כרגע ל-ComfyUI, ממשק מבוסס nodes שמאפשר שליטה מטורפת על תהליך היצירה. זה מאפשר למשתמשים לשרשר מודלים שונים, כמו שימוש במודל אחד לתנועה בסיסית ואחר ל-upscaling ושיפור פנים. המגבלות הטכניות עדיין קיימות. לרוב ה-APIs יש מגבלות קשוחות והם יכולים להיות יקרים לתוכן ארוך. אחסון הוא בעיה נוספת – וידאו סינתטי מייצר כמויות אדירות של דאטה. אנשי מקצוע מחפשים דרכים להטמיע את הכלים האלו ישירות בתוכנות כמו Adobe Premiere או DaVinci Resolve. המצב הנוכחי כולל:

• אימון LoRA מותאם אישית לשמירה על עקביות של דמויות בין שוטים שונים.
• אינטגרציה של ControlNet להנחיית התנועה באמצעות מפות שלד או נתוני עומק.
• טכניקות In-painting לתיקון גליצ'ים ספציפיים בפריים מושלם.
• כלי rotoscoping אוטומטיים שמשתמשים ב-AI כדי להפריד אובייקטים מהרקע בשניות.

המטרה של המשתמשים הכבדים היא להתרחק מגישת ה-"קופסה השחורה" שבה רק מקלידים prompt ומקווים לטוב. הם רוצים תהליך צפוי וניתן לשחזור שמתאים ל-pipeline של סטודיו סטנדרטי. זה דורש הבנה עמוקה של איך לאזן בין noise schedules לבין sampling steps כדי לקבל את התוצאה הכי טובה בלי לבזבז שעות עיבוד.

הדרך לתנועה בעלת משמעות

ההתקדמות המשמעותית בשנה הקרובה לא תהיה רק רזולוציה גבוהה יותר, אלא שליטה. אנחנו צריכים כלים שיאפשרו לבמאי להציב מצלמה בנקודה ספציפית במרחב וירטואלי ולהזיז אותה בדיוק מוחלט. הטעות של הרבה אנשים היא לחשוב שווידאו AI הוא פשוט גרסה מתקדמת של פילטר ב-Snapchat. זה לא. זו דרך חדשה לרנדר את העולם. מה שהשתנה לאחרונה הוא המעבר ממניפולציה של פיקסלים בדו-ממד למודעות מרחבית בתלת-ממד בתוך המודלים. בקרוב, כנראה נראה את הסרטים הראשונים באורך מלא שמשתמשים בסצנות סינתטיות ליותר מחצי מזמן המסך שלהם. השאלה שנשארת פתוחה היא האם הקהל יקבל את הסרטים האלו או שירגיש תחושת אי-נוחות. האם תמיד נוכל לדעת מתי חסרה עין אנושית בתהליך היצירתי? התשובה לזה תקבע את עתיד המדיום.

הערת העורך: יצרנו אתר זה כמרכז חדשות ומדריכים רב-לשוני בנושא בינה מלאכותית עבור אנשים שאינם "גיקים" של מחשבים, אך עדיין רוצים להבין בינה מלאכותית, להשתמש בה בביטחון רב יותר, ולעקוב אחר העתיד שכבר מגיע.

מצאת שגיאה או משהו שצריך לתקן? ספר לנו.