OPML: Використання оптимістичного підходу для оптимізації машинного навчання у блокчейні

OPML(Оптимістичне машинне навчання) є новою технологією, яка дозволяє здійснювати інференцію та навчання/доладку AI моделей у Блокчейн системах. У порівнянні з ZKML, OPML має переваги у вигляді низьких витрат та високої ефективності, що дозволяє користувачам отримувати більш зручні ML послуги.

Однією з основних характеристик OPML є низький поріг участі. Навіть звичайний ПК без GPU може запускати OPML, що містить великі мовні моделі, такі як 7B-LLaMA розміром 26 ГБ, включаючи (.

Щоб забезпечити децентралізованість і перевіряймий консенсус сервісу ML, OPML застосовує механізм верифікаційної гри, подібний до систем Truebit та Optimistic Rollup. Його основний процес виглядає наступним чином:

1. Запитувач ініціює завдання ML-сервісу
2. Сервер виконав завдання та розмістив результат у блокчейні
3. Валідатори перевіряють результати, у разі незгоди запускається валідаційна гра
4. Точно визначити помилковий крок за допомогою двійкового протоколу
5. Проведення одноетапного арбітражу на смарт-контракті

![OPML：використання системи Optimistic Rollup для машинного навчання])https://img-cdn.gateio.im/webp-social/moments-97100de5d65b1bb4dfc9ad6502195b59.webp(

Одноетапна верифікація гри

Ядром гри з одноетапною верифікацією є протокол точного визначення, принцип роботи якого схожий на обчислювальне делегування )RDoC(. Коли кілька учасників виконують одну й ту ж програму, вони можуть виявити спірні етапи, ставлячи під сумнів один одного, і подати їх на арбітраж до смарт-контракту у блокчейні.

Одностадійна верифікаційна гра OPML має такі характеристики:

• Побудовано віртуальну машину )VM( для виконання поза блокчейном та арбітражу в у блокчейні, що забезпечує їх еквівалентність.
• Реалізовано спеціалізовану легку бібліотеку DNN, що підвищує ефективність інференції моделей ШІ
• Використання технології крос-компіляції для компіляції коду висновку AI-моделі в команди VM
• Використання дерева Меркла для управління зображеннями VM, лише завантаження кореня Меркла у блокчейн

Після визначення спірних етапів за допомогою двоїстого протоколу, їх надсилають до арбітражного контракту у блокчейні. Тестування показало, що на звичайному ПК, інференція базової AI моделі )MNIST класифікація DNN( може бути завершена за 2 секунди, а весь процес виклику триває близько 2 хвилин.

! [OPML: Машинне навчання з оптимістичною системою зведення])https://img-cdn.gateio.im/webp-social/moments-e798407b4f5f3dd6dc7d8327db07eb20.webp(

Багатостадійна верифікація гри

Обмеження одностадійної верифікаційної гри полягає в тому, що всі обчислення повинні виконуватися у VM, що не дозволяє повністю використовувати прискорення GPU/TPU або паралельну обробку. Щоб вирішити цю проблему, OPML запропонував розширення багатоступеневого протоколу.

Основна ідея багатоступеневих протоколів полягає в тому, що обчислення виконуються лише на останньому етапі у VM, тоді як інші етапи можуть бути гнучко виконані в локальному середовищі, використовуючи можливості CPU, GPU, TPU та навіть паралельної обробки. Це значно підвищує ефективність виконання OPML, наближаючи її до рівня продуктивності локального середовища.

Як приклад гри, що перевіряється в два етапи )k=2(:

• Етап 2: Перехід стану відповідає зміні "великої інструкції" обчислювального контексту
• Етап 1: подібний до одностадійної валідаційної гри, перехід стану відповідає окремій мікроінструкції VM

Подавці та валідатори спочатку запускають гру перевірки на 2 етапі, визначаючи спірну "велику команду". Потім переходять до 1 етапу, де визначають спірну мікроінструкцію VM, і, нарешті, відправляють на арбітраж у блокчейні.

Щоб забезпечити цілісність і безпеку переходів між етапами, OPML покладається на дерево Меркла, витягуючи піддерева з високих етапів для гарантії безперервності процесу верифікації.

![OPML：Використання системи Optimistic Rollup для машинного навчання])https://img-cdn.gateio.im/webp-social/moments-3f290bc2a1acee40d4e71fbf35ee5079.webp(

Багатоступеневий OPML у моделі LLaMA

У моделі LLaMA OPML використовує двофазний підхід:

1. Представити процес обчислень ML/DNN у вигляді обчислювального графа G, кожен вузол якого зберігає проміжні результати обчислень.
2. Модельне висновування — це процес обчислення на обчислювальному графіку, який представляє весь граф стану висновування.
3. На другому етапі проводиться верифікаційна гра на обчислювальному графіку, можна використовувати багатопотоковий ЦП або ГП.
4. Перший етап перетворює обчислення одного вузла на команди VM, подібно до одностадійного протоколу

Коли обчислення окремого вузла все ще є складним, можна ввести більше етапів для подальшого підвищення ефективності.

Аналіз підвищення продуктивності

Нехай обчислювальна графа має n вузлів, кожен вузол потребує m мікрокоманд VM, прискорення GPU/паралельних обчислень становить α:

1. Двохетапний OPML швидший за одноетапний в α разів
2. Розмір мерклівського дерева OPML з двома етапами становить O)m+n(, що значно менше ніж в одностадійному O)mn(.

Багатоступеневе проєктування не лише підвищує обчислювальну ефективність, але й зміцнює масштабованість системи.

![OPML：Використання системи Optimistic Rollup для машинного навчання])https://img-cdn.gateio.im/webp-social/moments-4d41ed09832980b943519f4c0baa6109.webp(

Забезпечення узгодженості та детермінованості

Для забезпечення кросплатформної узгодженості результатів ML, OPML вжила дві ключові заходи:

1. Використання фіксованого алгоритму ) для кількісної технології (, щоб представляти та виконувати обчислення з фіксованою точністю.
2. Використання бібліотеки з плаваючою комою на основі програмного забезпечення, щоб забезпечити узгодженість функцій між платформами

Ці технології ефективно долають виклики, викликані плаваючими змінними та відмінностями між платформами, підвищуючи цілісність і надійність обчислень OPML.

OPML проти ZKML

OPML має такі переваги в порівнянні з ZKML:

• Нижчі витрати на обчислення і зберігання
• Вища ефективність виконання
• Підтримка моделей більшого масштабу
• Легше реалізувати та впроваджувати

Наразі OPML головним чином зосереджений на моделюванні висновків, але фреймворк також підтримує навчання моделей, що може бути використано для різних завдань машинного навчання. Проект OPML все ще активно розробляється, вітаємо зацікавлених розробників долучитися до внесків.

![OPML：використання системи Optimistic Rollup для машинного навчання])https://img-cdn.gateio.im/webp-social/moments-a33f120074b07b2ec4ae4ececbea79f1.webp(