Інженерна революція AI: від Transformer до битви моделей

Минулого місяця в світі ШІ спалахнула "війна тварин". Одна сторона – це серія моделей Llama, випущена Meta, яка завдяки своїй відкритій природі здобула велику популярність серед розробників. Інша сторона – це велика модель під назвою Falcon, розроблена Науково-дослідницьким інститутом технологічних інновацій ОАЕ. Ці дві моделі по черзі займають перші місця в рейтингу відкритих LLM.

Цікаво, що мета участі ОАЕ в змаганні з ШІ полягає в "перевершенні основних гравців". Незабаром міністр штучного інтелекту ОАЕ був обраний до списку "100 найвпливовіших людей у сфері ШІ" за версією журналу Time.

Сьогодні сфера ШІ вступила в етап "сотні голосів". Багато країн і компаній створюють свої власні великі мовні моделі. Тільки в регіоні Затоки вже є не один гравець, який взявся за це. Це явище викликало деякі роздуми з боку фахівців, які вважають, що в сфері жорстких технологій також виникла ситуація "війни моделей".

Трансформер поглинає світ

Потужний розвиток великих моделей сьогодні зобов'язаний статті «Увага — це все, що вам потрібно», опублікованій у 2017 році. Алгоритм Transformer, запропонований у цій статті, став каталізатором цього раунду буму в ШІ.

Перед появою Transformer «вчити машину читати» було визнаною академічною проблемою. Ранні нейронні мережі важко розуміли контекст. У 2014 році поява рекурентних нейронних мереж (RNN) в певній мірі вирішила цю проблему, але їхня послідовна обчислювальна природа обмежила можливості обробки великих обсягів даних.

Трансформер через інновації, такі як позиційне кодування та паралельні обчислення, підвищив як ефективність навчання, так і здатність розуміти контекст. Це дозволило ШІ перейти від теоретичних досліджень до інженерної практики, проклавши шлях для епохи великих моделей.

З поширенням трансформерів швидкість інновацій у базових алгоритмах сповільнюється, тому інженерні фактори, такі як обробка даних та масштаб обчислювальної потужності, стають ключовими в конкуренції в сфері ШІ. Це також означає, що будь-яка компанія з певним рівнем технічної спроможності може спробувати розробити великі моделі.

Рів з захистом, побудований на склі

Наразі «Битва за великі моделі» стала реальністю. За повідомленнями, станом на липень цього року в Китаї кількість великих моделей досягла 130, що перевищує 114 у США. Окрім Китаю та США, Японія, Індія, Південна Корея та інші країни також випустили свої місцеві великі моделі.

Однак, легкий вхід не означає, що кожен може стати гігантом ери ШІ. Наприклад, у конкуренції між Falcon і Llama, хоча Falcon займає лідируючі позиції в деяких рейтингах, важко сказати, наскільки сильно це вплинуло на Meta. Для великих відкритих моделей активна спільнота розробників є основною конкурентною перевагою. Meta завдяки своїй соціальній медійній генетиці та стратегії з відкритим кодом має в цій сфері перевагу.

Крім того, більшість великих моделей все ще мають значний розрив у продуктивності з GPT-4. У нещодавньому тестуванні AgentBench GPT-4 отримав 4.41 бали, що є значним відривом, тоді як друге місце зайняв Claude з 2.77 балами, а більшість відкритих моделей набрали лише близько 1 бала.

Ця різниця виникає через висококваліфіковані команди науковців, які мають провідні AI-компанії, та тривалість накопиченого досвіду. Тому основна конкурентоспроможність великих моделей може полягати в екологічному будівництві ( відкритому маршруті ) або чисто в інтелектуальних здібностях ( закритому маршруті ).

Якір вартості

Незважаючи на бурхливий бум штучного інтелекту, наразі небагато компаній можуть отримати прибуток від цього. Високі витрати на обчислювальні потужності стали великою перешкодою для розвитку галузі. За оцінками, щорічні витрати глобальних технологічних компаній на інфраструктуру великих моделей можуть сягати 200 мільярдів доларів, тоді як доходи від великих моделей становлять максимум 75 мільярдів доларів, що створює величезний розрив.

Навіть такі лідери галузі, як Microsoft і Adobe, стикаються з викликами у ціноутворенні та контролі витрат на AI-сервіси. Для більшості великих моделей з величезною кількістю параметрів основними застосуваннями все ще залишаються функції чату.

З ускладненням конкуренції та поширенням відкритих моделей, бізнес-модель, що базується виключно на наданні послуг великих моделей, може зіткнутися з більшим тиском. У майбутньому справжня цінність технологій штучного інтелекту, можливо, більше проявиться в конкретних сценаріях застосування та здатності вирішувати реальні проблеми.