Чому невеликі покращення моделей створюють великі зміни

Перегони за створення найбільшої моделі штучного інтелекту впираються в стіну спадної віддачі. Хоча гучні заголовки часто зосереджені на величезних системах із трильйонами параметрів, справжній прогрес відбувається на периферії. Невеликі покращення в тому, як ці моделі обробляють дані, створюють масштабні зміни в тому, що програмне забезпечення може робити щодня. Ми відходимо від періоду, коли «сирий» масштаб був єдиним показником, що мав значення. Сьогодні фокус зміщується на те, скільки інтелекту ми можемо втиснути в менший формат. Цей зсув робить технології доступнішими та швидшими для кожного. Справа вже не в тому, щоб побудувати «більший мозок». Справа в тому, щоб змусити існуючі працювати з набагато більшою ефективністю. Коли модель стає на десять відсотків меншою, але зберігає свою точність, це не просто економія на витратах на сервери. Це відкриває цілу нову категорію додатків, які раніше були неможливими через обмеження заліза. Цей перехід — найважливіший тренд у техсекторі прямо зараз, оскільки він переносить потужність обчислень із величезних дата-центрів прямо у вашу долоню.

Кінець ери «більше — значить краще»

Щоб зрозуміти, чому ці дрібні налаштування мають значення, треба подивитися, чим вони є насправді. Більшість прогресу приходить із трьох сфер: кураторство даних, квантування та архітектурні вдосконалення. Довгий час дослідники вірили, що більше даних — це завжди краще. Вони «парсили» весь інтернет і згодовували це машинам. Тепер ми знаємо, що високоякісні дані набагато цінніші за чистий обсяг. Очищуючи датасети та видаляючи зайву інформацію, інженери можуть тренувати менші моделі, які перевершують своїх більших попередників. Це часто називають даними «підручникової якості». Інший важливий фактор — квантування. Це процес зменшення точності чисел, які модель використовує для розрахунків. Замість використання високоточних десяткових дробів модель може використовувати прості цілі числа. Звучить так, ніби це зіпсує результати, але розумна математика дозволяє моделі залишатися майже такою ж розумною, вимагаючи при цьому частку пам’яті. Ви можете прочитати більше про ці технічні зміни в недавньому дослідженні QLoRA та стисненні моделей.

Нарешті, існують архітектурні зміни, такі як механізми уваги (attention mechanisms), які фокусуються на найбільш релевантних частинах речення. Це не масштабні переробки. Це тонкі налаштування математики, які дозволяють системі ігнорувати шум. Коли ви поєднуєте ці фактори, ви отримуєте модель, яка поміщається на звичайному ноутбуці, а не вимагає кімнати, повної спеціалізованих чипів. Люди часто переоцінюють потребу у величезних моделях для простих завдань. Вони недооцінюють, скільки логіки можна запакувати в кілька мільярдів параметрів. Ми бачимо тренд, де «достатньо добре» стає стандартом для більшості споживчих продуктів. Це дозволяє розробникам інтегрувати розумні функції в додатки без стягнення плати за підписку для покриття високих витрат на хмару. Це фундаментальна зміна в тому, як створюється та розповсюджується софт.

Чому локальний інтелект важливіший за хмарну потужність

Глобальний вплив цих невеликих покращень важко переоцінити. Більшість світу не має доступу до високошвидкісного інтернету, необхідного для взаємодії з масивними хмарними моделями. Коли інтелект вимагає постійного з’єднання із сервером у Вірджинії чи Дубліні, він залишається розкішшю для багатих. Покращення невеликих моделей змінюють це, дозволяючи софту працювати локально на залізі середнього рівня. Це означає, що студент у сільській місцевості або працівник на ринку, що розвивається, може отримати такий самий рівень допомоги, як і хтось у тех-хабі. Це вирівнює ігрові умови так, як ніколи не змогло б просте масштабування. Вартість інтелекту прямує до нуля. Це особливо важливо для приватності та безпеки. Коли дані не повинні залишати пристрій, ризик витоку значно нижчий. Уряди та медичні установи розглядають ці ефективні моделі як спосіб надання послуг без компромісів щодо даних громадян.

Цей зсув також впливає на довкілля. Масштабне навчання моделей споживає величезну кількість електроенергії та води для охолодження. Фокусуючись на ефективності, індустрія може зменшити свій вуглецевий слід, продовжуючи постачати кращі продукти. Наукові журнали, такі як Nature, підкреслили, як ефективний ШІ може зменшити екологічні збитки галузі. Ось кілька способів, як цей глобальний зсув проявляється:

• Локальні сервіси перекладу, що працюють без жодного інтернет-з’єднання.
• Медичні діагностичні інструменти, що працюють на портативних планшетах у віддалених клініках.
• Освітній софт, що адаптується до потреб студента на недорогому залізі.
• Фільтрація приватності в реальному часі для відеодзвінків, що відбувається повністю на пристрої.
• Автоматизований моніторинг посівів для фермерів за допомогою дешевих дронів та локальної обробки.

Це не просто про те, щоб зробити все швидшим. Це про те, щоб зробити технології універсальними. Коли вимоги до заліза падають, потенційна база користувачів зростає на мільярди людей. Цей тренд тісно пов’язаний з останніми тенденціями у розробці ШІ, які ставлять доступність вище за «сиру» потужність.

Вівторок з офлайн-асистентом

Розглянемо день із життя польового інженера на ім’я Маркус. Він працює на офшорних вітрових електростанціях, де доступ до інтернету відсутній. У минулому, якщо Маркус стикався з механічною несправністю, яку не міг розпізнати, йому доводилося робити фото, чекати повернення на берег і консультуватися з інструкцією чи старшим колегою. Це могло затримати ремонт на дні. Тепер він носить із собою захищений планшет із високооптимізованою локальною моделлю. Він наводить камеру на компоненти турбіни, і модель ідентифікує проблему в реальному часі. Вона надає покрокову інструкцію з ремонту на основі конкретного серійного номера машини. Модель, яку використовує Маркус, — це не гігант із трильйоном параметрів. Це невелика спеціалізована версія, яку вдосконалили для розуміння машинобудування. Це конкретний приклад того, як невелике покращення ефективності моделі створює величезну зміну в продуктивності.

Пізніше того ж дня Маркус використовує той самий пристрій для перекладу технічного документа від іноземного постачальника. Переклад майже ідеальний, оскільки модель тренувалася на невеликому, але якісному наборі інженерних текстів. Йому ніколи не доводилося завантажувати жодного файлу в хмару. Ця надійність робить технологію корисною в реальному світі. Багато хто припускає, що ШІ має бути «генералістом», щоб бути корисним, але Маркус доводить, що спеціалізовані невеликі системи часто кращі для професійних завдань. Невеликий розмір моделі — це насправді фіча, а не баг. Це означає, що система швидша, приватніша та дешевша в експлуатації. Маркус отримав своє останнє оновлення минулого тижня, і різниця у швидкості була помітна миттєво.

Парадокс тут у тому, що хоча моделі стають меншими, робота, яку вони виконують, стає більшою. Ми бачимо відхід від спілкування з ботом до інтеграції інструменту в робочий процес. Люди схильні переоцінювати важливість здатності моделі писати вірші. Вони недооцінюють цінність моделі, яка може ідеально витягти дані з розмитого рахунку або ідентифікувати мікротріщину в сталевій балці. Це завдання, які рухають глобальну економіку. Оскільки ці невеликі покращення продовжуються, межа між «розумним» софтом і звичайним зникне. Все просто працюватиме краще. Це реальність поточного тех-середовища.

Складні питання про компроміс ефективності

Однак ми повинні застосувати трохи сократівського скептицизму до цього тренду. Якщо ми рухаємося до менших, більш оптимізованих моделей, що ми залишаємо позаду? Одне складне питання полягає в тому, чи призводить фокус на ефективності до плато «достатньо добре». Якщо модель оптимізована бути швидкою, чи втрачає вона здатність обробляти граничні випадки, які могла б помітити більша модель? Ми повинні запитати, чи не створює поспіх зі зменшенням моделей новий вид упередженості. Якщо ми використовуємо лише високоякісні дані для тренування цих систем, хто визначає, що таке якість? Ми можемо випадково відфільтрувати голоси та перспективи маргіналізованих груп, тому що їхні дані не вписуються в «підручниковий» стандарт.

Маєте історію, інструмент, тренд або питання про ШІ, які, на вашу думку, ми повинні висвітлити? Надішліть нам свою ідею статті — ми будемо раді її почути.

Існує також питання прихованих витрат. Хоча запуск невеликої моделі дешевий, дослідження та розробка, необхідні для зменшення великої моделі, неймовірно дорогі. Чи не просто ми переносимо споживання енергії з фази інференсу на фазу навчання та оптимізації? Також, оскільки ці моделі стають більш поширеними на персональних пристроях, що відбувається з нашою приватністю? Навіть якщо модель працює локально, метадані про те, як ми її використовуємо, все ще можуть збиратися. Нам потрібно запитати, чи зручність локального інтелекту варта потенціалу для більш інвазивного відстеження. Якщо кожен додаток на вашому телефоні має свій маленький «мозок», хто моніторить, що ці мізки дізнаються про вас? Ми також повинні враховувати довговічність заліза. Якщо софт продовжує ставати ефективнішим, чи будуть компанії все ще змушувати нас оновлювати пристрої щороку? Чи це призведе до сталої ери, де п’ятирічний телефон все ще цілком здатний запускати найновіші інструменти? Це суперечності, з якими ми повинні зіткнутися, коли технологія еволюціонує.

Інженерія за стисненням

Для про-користувачів і розробників перехід до менших моделей — це питання технічних деталей. Найважливіший показник — це вже не просто кількість параметрів. Це біти на параметр. Ми бачимо перехід від 16-бітних ваг із плаваючою комою до 8-бітного і навіть 4-бітного квантування. Це дозволяє моделі, яка зазвичай вимагала б 40 гігабайтів VRAM, поміститися в менш ніж 10 гігабайтів. Це величезний зсув для локального сховища та вимог до GPU. Розробники тепер дивляться на LoRA (Low-Rank Adaptation), щоб доналаштовувати ці моделі на конкретні завдання без перенавчання всієї системи. Це робить інтеграцію в робочі процеси набагато легшою. Ви можете знайти технічну документацію про ці методи на MIT Technology Review.

При створенні додатків ви повинні враховувати наступні технічні обмеження:

• Пропускна здатність пам’яті часто є більшим «вузьким місцем», ніж чиста обчислювальна потужність для локального інференсу.
• API-ліміти для хмарних моделей стають менш актуальними, оскільки локальний хостинг стає життєздатним для продакшену.
• Управління контекстним вікном все ще є викликом для менших моделей, оскільки вони схильні швидше втрачати нитку довгих розмов.
• Вибір між точністю FP8 та INT4 може значно вплинути на рівень галюцинацій у творчих завданнях.
• Вимоги до локального сховища зменшуються, але потреба у високошвидкісних NVMe-дисках залишається для швидкого завантаження моделей.

Ми також бачимо зростання спекулятивного декодування, де крихітна модель передбачає наступні кілька токенів, а більша модель їх перевіряє. Цей гібридний підхід пропонує швидкість маленької моделі з точністю гіганта. Це розумний спосіб обійти традиційні компроміси розміру моделі. Для кожного, хто хоче бути попереду в цій галузі, розуміння цих методів стиснення важливіше, ніж знання того, як побудувати модель з нуля. Майбутнє належить оптимізаторам, які можуть робити більше з меншими ресурсами. Фокус зміщується від «сирої» потужності до розумної інженерії.

Рухома ціль оптимальної продуктивності

Суть у тому, що ера «більше — завжди краще» добігає кінця. Найважливіші досягнення вже не стосуються додавання більшої кількості шарів чи даних. Вони стосуються вдосконалення, ефективності та доступності. Ми бачимо зсув, який зробить просунуті обчислення такими ж звичними, як калькулятор. Цей прогрес — не просто технічне досягнення. Це соціальне. Він приносить потужність найсучасніших досліджень кожному, незалежно від їхнього заліза чи інтернет-з’єднання. Це демократизація інтелекту через «чорний хід» оптимізації.

Примітка редактора: Ми створили цей сайт як багатомовний центр новин та посібників зі штучного інтелекту для людей, які не є комп'ютерними гіками, але все ще хочуть зрозуміти штучний інтелект, використовувати його з більшою впевненістю та стежити за майбутнім, яке вже настає.

Дивлячись у майбутнє, відкритим залишається питання: чи продовжимо ми знаходити способи зменшення інтелекту, чи зрештою впремося у фізичну межу, яка змусить нас повернутися в хмару? Наразі тренд зрозумілий. Мале — це нове велике. Системи, які ми використовуватимемо завтра, визначатимуться не тим, скільки вони знають, а тим, наскільки добре вони використовують те, що мають.