В AI-індустрії спалахнула "війна тварин", Falcon та Llama борються за домінуючу позицію у відкритому вихідному коді великих моделей

Минулого місяця в галузі штучного інтелекту відбулася "бійка тварин". Одна сторона - це модель Llama, випущена компанією Meta, а інша - велика модель під назвою Falcon.

Llama завдяки своїм Відкритий вихідний код характеристикам, довгий час користується популярністю серед спільноти розробників. А Falcon-40B, який з'явився в травні, піднявся на вершину "рейтингу відкритих LLM". Цей рейтинг створено спільнотою Hugging Face, він надає стандарти для оцінки можливостей великих мовних моделей. Після цього Llama та Falcon почали по черзі оновлювати рейтингові позиції.

Цікаво, що розробники Falcon не є технологічною компанією, а є Інститутом наукових досліджень у сфері технологічних інновацій столиці Об'єднаних Арабських Еміратів — Абу-Дабі. Представники ОАЕ заявили, що їхня участь у конкурсі ШІ спрямована на "переворот ключових гравців".

Сьогодні сфера ШІ вступила в етап битви за лідерство. Країни та компанії з великим фінансовим потенціалом активно запускають локальні версії ChatGPT. Лише в регіоні Перської затоки є кілька гравців на ринку. У серпні Саудівська Аравія придбала більше 3000 чіпів H100 для навчання великих моделей для вітчизняних університетів.

Один досвідчений інвестор зітхнув: "Я думав, що в сфері жорстких технологій буде високий бар'єр, а не очікував, що стартапи з великими моделями також стануть битвою сотень моделей..."

За цією "битвою моделей" стоїть поява алгоритму Transformer. У 2017 році вісім вчених з Google оприлюднили алгоритм Transformer у своїй статті, що поклало основу для цього циклу AI-ентузіазму. Сьогодні всі основні моделі, включаючи серію GPT, побудовані на основі Transformer.

Поява Transformer призвела до уповільнення темпів інновацій у базових алгоритмах в академічному середовищі. Інженерія даних, масштаб обчислень, архітектура моделей та інші інженерні елементи поступово стають ключовими у змаганні в сфері штучного інтелекту. Лише маючи певні технічні можливості, будь-яка компанія може розробити великі моделі.

Це також призвело до стрімкого зростання кількості великих моделей як в країні, так і за кордоном. Є звіти, які показують, що станом на липень в країні вже налічується 130 великих моделей, що перевищує 114 моделей у США. Окрім Китаю та США, Японія, Індія, Південна Корея та інші країни також активно впроваджують власні великі моделі.

Однак, легкість входу не означає, що можна стати гігантом індустрії. Наприклад, у суперечці між Falcon і Llama, хоча Falcon тимчасово випереджає в рейтингах, важко сказати, наскільки це вплинуло на Meta. Для відкритих вихідних кодів великих моделей активна спільнота розробників є основною конкурентною перевагою. Meta, завдяки багаторічному досвіду ведення соціальних медіа, має перевагу в управлінні спільнотою з відкритим вихідним кодом.

На даний момент у топ-10 рейтингу Hugging Face 8 моделей побудовані на основі Llama 2. Лише на цій платформі моделей великого розміру, що використовують відкритий вихідний код Llama 2, вже понад 1500.

Окрім екологічного будівництва, чиста технічна спроможність також є ключовою. У недавньому тестуванні AgentBench GPT-4 з 4.41 балами значно випередив, друге місце займає Claude з лише 2.77 балами, інші відкриті моделі мають близько 1 балу. Це відображає довгострокову накопичену технологічну перевагу команди OpenAI.

З огляду на зростаючу активність відкритого вихідного коду спільноти, продуктивність основних моделей може стати схожою. У майбутньому основна конкурентоспроможність великих моделей зосередиться на розвитку екосистеми або чистій здатності до міркування.

Інше, більш реалістичне питання: окрім кількох винятків, більшість постачальників великих моделей ще не знайшли прибуткову модель. Високі витрати на обчислювальні потужності стали перешкодою для розвитку галузі. Деякі установи прогнозують, що світові технологічні компанії щороку витрачають на інфраструктуру великих моделей 200 мільярдів доларів, тоді як дохід від великих моделей становитиме максимум 75 мільярдів доларів, а розрив складе щонайменше 125 мільярдів доларів.

Навіть такі програмні гіганти, як Microsoft та Adobe, стикаються з труднощами у встановленні цін на AI-сервіси. Наприклад, GitHub Copilot коштує 10 доларів на місяць, але Microsoft втрачає 20 доларів на кожного користувача.

Загалом, якщо б не з'явилися OpenAI та ChatGPT, ця революція ШІ, можливо, не відбулася б. Але на даному етапі цінність, яку можна створити завдяки простому навчанню великих моделей, ще належить спостерігати. З посиленням конкуренції та зростанням кількості відкритих моделей постачальники чисто великих моделей можуть стикнутися з більшим тиском. Як успіх iPhone 4 не залежав лише від процесора, так і цінність великих моделей буде більше проявлятися в конкретних сценаріях використання.