OPML: Использование оптимистичного подхода для оптимизации машинного обучения в блокчейне

OPML(Оптимистическое машинное обучение) - это новая технология, которая может выполнять вывод и обучение/доработку моделей ИИ в блокчейн-системах. В отличие от ZKML, OPML имеет преимущества низкой стоимости и высокой эффективности, что позволяет пользователям получать более удобные услуги машинного обучения.

Одной из главных особенностей OPML является низкий порог участия. Даже обычный ПК без GPU может запускать OPML, включающий крупные языковые модели (, такие как 7B-LLaMA размером 26 ГБ.

Чтобы гарантировать децентрализацию и проверяемый консенсус ML-сервиса, OPML использует механизм верификационной игры, аналогичный системам Truebit и Optimistic Rollup. Основной процесс выглядит следующим образом:

1. Запросчик инициирует задачу ML-сервиса
2. Сервер завершает задание и выводит результат в блокчейн
3. Валидаторы проверяют результаты, в случае разногласий запускается игра верификации.
4. Точное определение ошибочного шага с помощью двоичного протокола
5. Проведение одноступенчатого арбитража в смарт-контракте

! [OPML: Машинное обучение с оптимистичным свертыванием])https://img-cdn.gateio.im/webp-social/moments-97100de5d65b1bb4dfc9ad6502195b59.webp(

Одностадийная верификация игры

Основой однофазной верификации игры является протокол точного позиционирования, который работает аналогично вычислительному делегированию )RDoC(. Когда несколько участников выполняют одну и ту же программу, они могут выявить спорные шаги через взаимные вопросы и передать их на арбитраж в смарт-контракт на в блокчейне.

Одноэтапная верификационная игра OPML обладает следующими характеристиками:

• Построена виртуальная машина )VM( с выполнением вне блокчейна и арбитражом в блокчейне, что гарантирует их эквивалентность.
• Реализована специализированная легковесная библиотека DNN, повышающая эффективность вывода AI моделей
• Используя технологию кросс-компиляции, компилируйте код вывода модели ИИ в команды VM.
• Используйте дерево Меркла для управления образами VM, загружая только корень Меркла в блокчейн

После определения спорного этапа через бинарный протокол, он отправляется в арбитражный контракт в блокчейне. Тесты показали, что на обычном ПК инференс базовой модели ИИ )MNIST классификации DNN( может быть завершен за 2 секунды, а весь процесс вызова занимает около 2 минут.

! [OPML: Машинное обучение с оптимистичной системой свертывания])https://img-cdn.gateio.im/webp-social/moments-e798407b4f5f3dd6dc7d8327db07eb20.webp(

Многоступенчатая верификация игры

Ограничения одноэтапной верификации игр заключаются в том, что все вычисления должны выполняться внутри VM, что не позволяет в полной мере использовать ускорение GPU/TPU или параллельную обработку. Для решения этой проблемы OPML предложил расширение протокола многоэтапной верификации.

Основная идея многоступенчатого протокола заключается в том, что вычисления выполняются только на последнем этапе в VM, а другие этапы могут выполняться гибко в локальной среде, что позволяет в полной мере использовать возможности CPU, GPU, TPU и даже параллельной обработки. Это значительно повышает эффективность выполнения OPML, приближая её к уровню производительности локальной среды.

В качестве примера игры с верификацией в два этапа )k=2(:

• Этап 2: состояние перехода соответствует изменению вычислительного контекста "большой инструкции"
• Этап 1: аналог игры с однофазной верификацией, переход состояния соответствует одной микроинструкции VM

Податели и валидаторы сначала запускают игру верификации на этапе 2, чтобы определить спорную "большую команду". Затем они переходят к этапу 1, чтобы определить спорные микрокоманды VM, и, наконец, отправляют их на арбитраж в блокчейне.

Для обеспечения целостности и безопасности перехода между этапами OPML полагается на дерево Меркла, извлекая поддеревья на высоком уровне для обеспечения непрерывности процесса верификации.

! [OPML: Машинное обучение с оптимистичным свертыванием])https://img-cdn.gateio.im/webp-social/moments-3f290bc2a1acee40d4e71fbf35ee5079.webp(

Многоступенчатый OPML в модели LLaMA

В модели LLaMA OPML использует двухэтапный метод:

1. Представьте процесс вычисления ML/DNN как вычислительный граф G, где каждый узел хранит промежуточные результаты вычислений.
2. Модельное инференсирование - это процесс вычислений на вычислительном графе, весь граф представляет состояние инференса.
3. На втором этапе проводится верификация игры на графе вычислений, возможно использование многоядерного CPU или GPU.
4. На первом этапе вычисления отдельного узла преобразуются в инструкции VM, аналогично одностадийному протоколу.

Когда вычисления отдельного узла все еще сложны, можно ввести больше этапов для дальнейшего повышения эффективности.

Анализ повышения производительности

Предположим, что вычислительная граф имеет n узлов, каждый узел требует m микроинструкций VM, ускорение GPU/параллельных вычислений составляет α:

1. Двухэтапный OPML быстрее одноэтапного в α раз
2. Размер Меркле-дерева OPML в две стадии составляет O)m+n(, значительно меньше однофазного O)mn(.

Многоступенчатый дизайн не только повысил вычислительную эффективность, но и усилил масштабируемость системы.

! [OPML: Машинное обучение с оптимистичным свертыванием])https://img-cdn.gateio.im/webp-social/moments-4d41ed09832980b943519f4c0baa6109.webp(

Гарантия согласованности и детерминированности

Чтобы обеспечить кроссплатформенную согласованность результатов ML, OPML приняло две ключевые меры:

1. Используйте алгоритм с фиксированной точкой ) для квантования технологии (, чтобы выполнять вычисления с фиксированной точностью.
2. Использовать библиотеку с плавающей запятой на основе программного обеспечения, чтобы обеспечить一致ость функций между платформами.

Эти технологии эффективно преодолевают вызовы, связанные с плавающими переменными и различиями платформ, улучшая целостность и надежность вычислений OPML.

OPML против ZKML

OPML имеет следующие преимущества по сравнению с ZKML:

• Более низкие вычислительные и хранилищные расходы
• Более высокая эффективность исполнения
• Поддержка более крупных моделей
• Более легко реализовать и развернуть

В настоящее время OPML в основном сосредоточен на модели вывода, но фреймворк также поддерживает обучение моделей и может использоваться для различных задач машинного обучения. Проект OPML все еще активно разрабатывается, и приглашаем заинтересованных разработчиков участвовать в его развитии.

! [OPML: Машинное обучение с оптимистичной системой свертывания])https://img-cdn.gateio.im/webp-social/moments-a33f120074b07b2ec4ae4ececbea79f1.webp(