Эволюция парадигм обучения ИИ: от централизованного контроля к Децентрализация и кооперации в технологической революции
В полной цепочке создания стоимости ИИ модельное обучение является этапом с наибольшим потреблением ресурсов и наивысшими техническими барьерами, что напрямую определяет верхний предел возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных крупных вычислительных мощностей, сложных процессов обработки данных и поддержки интенсивных алгоритмов оптимизации, являясь настоящей «тяжелой промышленностью» в построении систем ИИ. С точки зрения архитектурной парадигмы, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, при котором все процессы обучения выполняются единой организацией на локальном высокопроизводительном кластере, где все компоненты, от аппаратного обеспечения, базового программного обеспечения, системы планирования кластера до фреймворка обучения, координируются единой контрольной системой. Эта архитектура глубокой координации позволяет достичь максимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупномасштабных моделей, таких как GPT, Gemini, имея преимущества высокой эффективности и контролируемых ресурсов, но также существую проблемы, такие как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбивать задачи обучения модели и распределять их для совместного выполнения на нескольких машинах, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает характеристиками «Децентрализация», в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети и использует технологию высокоскоростной межсоединительной шины NVLink для унифицированной координации подзадач основным узлом. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо согласовать веса модели
Модульное параллелизм: размещение различных частей модели на разных узлах для достижения высокой масштабируемости;
Параллелизм трубопроводов: поэтапное последовательное выполнение, повышение пропускной способности;
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение степени параллелизма.
Распределенное обучение является сочетанием «централизованного управления + распределенного исполнения», аналогично тому, как один и тот же начальник удаленно управляет несколькими сотрудниками «офиса», чтобы совместно выполнять задачи. В настоящее время почти все основные модели больших данных обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую модель. Ее ключевые характеристики заключаются в том, что: несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, и с помощью механизма крипто-стимулов, который обеспечивает честность вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач;
Недостаток доверительного выполнения: отсутствие доверительной вычислительной среды затрудняет проверку того, действительно ли узлы участвуют в вычислениях;
Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизм отката при исключениях.
Децентрализация тренировки можно понять как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но «реально осуществимая масштабная децентрализация тренировки» все еще представляет собой системную инженерную задачу, затрагивающую различные уровни, такие как системная архитектура, коммуникационные протоколы, безопасность криптографии, экономические механизмы, проверка моделей и так далее, но вопрос о том, можно ли «совместно эффективно + стимулировать честность + корректность результата» все еще находится на стадии раннего прототипа.
Федеративное обучение как переходная форма между распределёнными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределённого обучения и возможностями локальной кооперации, одновременно имея преимущества распределённых данных в Децентрализация, но по-прежнему зависит от доверительного координирующего лица и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как «контролируемую Децентрализация» в контексте соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим в качестве переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества она изначально не подходит для эффективного выполнения между гетерогенными, децентрализованными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, ограниченные строгими требованиями к конфиденциальности данных и суверенитету, подчинены юридическим нормам и этическим ограничениям и не могут быть открыто поделены; а задачи, лишенные основ для сотрудничества, не имеют внешнего стимула для участия. Эти границы вместе составляют реальные ограничения для текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в типах задач с легкой структурой, легкой параллельностью и возможностью стимуляции, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи дообучения, связанные с выравниванием поведения, задачи обучения и аннотирования с краудсорсингом данных, обучение небольших базовых моделей с контролируемыми ресурсами, а также сцены кооперативного обучения с участием устройств на краю. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и допускают гетерогенные вычислительные мощности, что делает их особенно подходящими для кооперативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировка классических проектов анализа
В настоящее время в области децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в проектировании системной архитектуры и алгоритмов, представляя собой передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первоначальные результаты инженерной реализации.
Prime Intellect: Обучение с подкреплением валидации траекторий, пионеры кооперативных сетей
Prime Intellect стремится создать сеть тренировок AI, не требующую доверия, позволяя любому участвовать в тренировках и получать надежное вознаграждение за свои вычислительные вклады. Prime Intellect надеется построить систему децентрализованной тренировки AI с проверяемостью, открытостью и полной системой стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
PRIME-RL: Децентрализованная асинхронная архитектура задач усиленного обучения
PRIME-RL является фреймворком моделирования задач и выполнения, созданным Prime Intellect для Децентрализация тренировочных сцен, специально разработанным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо выполнять циклы задач локально и взаимодействовать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, снижая сложность системы и создавая основы для поддержки параллельных задач и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения в обучении
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между «наблюдательной последовательностью ↔ обновлением стратегии». Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения обучающих вознаграждений без доверия и предоставляет жизнеспособный путь к созданию аудитируемой и мотивирующей сети децентрализованного совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменяющимся состоянием узлов. Он сочетает в себе механизм gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, что обеспечивает прогрессивную сходимость весов и эволюцию с несколькими версиями. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально создана для решения распространенных проблем в децентрализованном обучении, таких как ограничения по пропускной способности, гетерогенность устройств и нестабильность узлов. Архитектура основана на параллельной обработке данных; с помощью построения разреженных топологических структур, таких как Ring, Expander и Small-World, она избегает высоких затрат на связь при глобальной синхронизации, полагаясь только на локальных соседних узлов для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в задачах обучения, значительно увеличивая возможность участия в глобальном совместном обучении и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека коммуникаций, разработанная Prime Intellect для децентрализованной среды обучения AI, направленная на решение проблем адаптации традиционных библиотек коммуникаций в условиях гетерогенных устройств и сетей с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронную коммуникацию протокола OpenDiLoCo. Она значительно улучшает терпимость к пропускной способности сети для обучения и совместимость устройств, прокладывая «последнюю милю» коммуникационных основ для создания действительно открытой, не требующей доверия сети совместного обучения.
Prime Intellect создал разрешённую, проверяемую и экономически мотивированную сеть для обучения, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трёх основных ролей:
Инициатор задания: определяет обучающую среду, начальную модель, функцию вознаграждения и стандарт проверки
Обучающие узлы: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг «реального обучающего поведения».
INTELLECT-2: Первый выпуск проверяемой Децентрализованной тренировочной модели
В мае 2025 года Prime Intellect выпустила INTELLECT-2, это первая в мире большая модель глубокого обучения, обученная с использованием асинхронных, доверительных децентрализованных узлов. Масштаб параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, что продемонстрировало осуществимость и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и впервые систематически реализует предложенную Prime Intellect парадигму «обучение как консенсус». INTELLECT-2 интегрировала основные протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение открытости, верифицируемости и замкнутого экономического стимула в процессе обучения в децентрализованной сети.
В плане производительности INTELLECT-2 основан на QwQ-32B и прошел специализированное RL-обучение как в коде, так и в математике, находясь на переднем крае современных открытых RL-моделей. Хотя он еще не превзошел закрытые модели, такие как GPT-4 или Gemini, его истинная
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
9 Лайков
Награда
9
5
Поделиться
комментарий
0/400
ProofOfNothing
· 6ч назад
Тренироваться тренироваться, лучше заняться Майнингом для заработка.
Посмотреть ОригиналОтветить0
OnchainArchaeologist
· 08-02 21:41
Кто придумал этот новый способ сжигать деньги?
Посмотреть ОригиналОтветить0
ShitcoinConnoisseur
· 08-02 21:39
про опять хвастался Блокчейн.
Посмотреть ОригиналОтветить0
AirdropHunterWang
· 08-02 21:21
Что за тренировка, не тренировка, целый день только и знает, что кричать истории.
Посмотреть ОригиналОтветить0
GasGasGasBro
· 08-02 21:19
Тяжелая промышленность? Вычислительная мощность скоро сгорит!
Эволюция парадигмы обучения ИИ: от централизованного к децентрализованному, Prime Intellect открывает новую эру
Эволюция парадигм обучения ИИ: от централизованного контроля к Децентрализация и кооперации в технологической революции
В полной цепочке создания стоимости ИИ модельное обучение является этапом с наибольшим потреблением ресурсов и наивысшими техническими барьерами, что напрямую определяет верхний предел возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных крупных вычислительных мощностей, сложных процессов обработки данных и поддержки интенсивных алгоритмов оптимизации, являясь настоящей «тяжелой промышленностью» в построении систем ИИ. С точки зрения архитектурной парадигмы, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет основным предметом обсуждения в данной статье.
Централизованное обучение является наиболее распространенным традиционным способом, при котором все процессы обучения выполняются единой организацией на локальном высокопроизводительном кластере, где все компоненты, от аппаратного обеспечения, базового программного обеспечения, системы планирования кластера до фреймворка обучения, координируются единой контрольной системой. Эта архитектура глубокой координации позволяет достичь максимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупномасштабных моделей, таких как GPT, Gemini, имея преимущества высокой эффективности и контролируемых ресурсов, но также существую проблемы, такие как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределённое обучение является основным способом обучения больших моделей в настоящее время. Его суть заключается в том, чтобы разбивать задачи обучения модели и распределять их для совместного выполнения на нескольких машинах, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает характеристиками «Децентрализация», в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети и использует технологию высокоскоростной межсоединительной шины NVLink для унифицированной координации подзадач основным узлом. Основные методы включают:
Распределенное обучение является сочетанием «централизованного управления + распределенного исполнения», аналогично тому, как один и тот же начальник удаленно управляет несколькими сотрудниками «офиса», чтобы совместно выполнять задачи. В настоящее время почти все основные модели больших данных обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытую и устойчивую к цензуре будущую модель. Ее ключевые характеристики заключаются в том, что: несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно через протокол, который управляет распределением задач и сотрудничеством, и с помощью механизма крипто-стимулов, который обеспечивает честность вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понять как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но «реально осуществимая масштабная децентрализация тренировки» все еще представляет собой системную инженерную задачу, затрагивающую различные уровни, такие как системная архитектура, коммуникационные протоколы, безопасность криптографии, экономические механизмы, проверка моделей и так далее, но вопрос о том, можно ли «совместно эффективно + стимулировать честность + корректность результата» все еще находится на стадии раннего прототипа.
Федеративное обучение как переходная форма между распределёнными и Децентрализация, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределённого обучения и возможностями локальной кооперации, одновременно имея преимущества распределённых данных в Децентрализация, но по-прежнему зависит от доверительного координирующего лица и не обладает полностью открытыми и антикоррупционными характеристиками. Его можно рассматривать как «контролируемую Децентрализация» в контексте соблюдения конфиденциальности, с относительно мягкими требованиями к задачам обучения, структуре доверия и механизмам связи, что делает его более подходящим в качестве переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях из-за сложной структуры задач, крайне высоких требований к ресурсам или большой сложности сотрудничества она изначально не подходит для эффективного выполнения между гетерогенными, децентрализованными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи, ограниченные строгими требованиями к конфиденциальности данных и суверенитету, подчинены юридическим нормам и этическим ограничениям и не могут быть открыто поделены; а задачи, лишенные основ для сотрудничества, не имеют внешнего стимула для участия. Эти границы вместе составляют реальные ограничения для текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в типах задач с легкой структурой, легкой параллельностью и возможностью стимуляции, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи дообучения, связанные с выравниванием поведения, задачи обучения и аннотирования с краудсорсингом данных, обучение небольших базовых моделей с контролируемыми ресурсами, а также сцены кооперативного обучения с участием устройств на краю. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и допускают гетерогенные вычислительные мощности, что делает их особенно подходящими для кооперативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировка классических проектов анализа
В настоящее время в области децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в проектировании системной архитектуры и алгоритмов, представляя собой передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первоначальные результаты инженерной реализации.
Prime Intellect: Обучение с подкреплением валидации траекторий, пионеры кооперативных сетей
Prime Intellect стремится создать сеть тренировок AI, не требующую доверия, позволяя любому участвовать в тренировках и получать надежное вознаграждение за свои вычислительные вклады. Prime Intellect надеется построить систему децентрализованной тренировки AI с проверяемостью, открытостью и полной системой стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
PRIME-RL: Децентрализованная асинхронная архитектура задач усиленного обучения
PRIME-RL является фреймворком моделирования задач и выполнения, созданным Prime Intellect для Децентрализация тренировочных сцен, специально разработанным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо выполнять циклы задач локально и взаимодействовать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционным процессом обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, снижая сложность системы и создавая основы для поддержки параллельных задач и эволюции стратегий.
TOPLOC: Легковесный механизм проверки поведения в обучении
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, используемая для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между «наблюдательной последовательностью ↔ обновлением стратегии». Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения обучающих вознаграждений без доверия и предоставляет жизнеспособный путь к созданию аудитируемой и мотивирующей сети децентрализованного совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменяющимся состоянием узлов. Он сочетает в себе механизм gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, что обеспечивает прогрессивную сходимость весов и эволюцию с несколькими версиями. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo является независимой реализацией и открытым исходным кодом оптимизированной коммуникационной структуры, разработанной командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально создана для решения распространенных проблем в децентрализованном обучении, таких как ограничения по пропускной способности, гетерогенность устройств и нестабильность узлов. Архитектура основана на параллельной обработке данных; с помощью построения разреженных топологических структур, таких как Ring, Expander и Small-World, она избегает высоких затрат на связь при глобальной синхронизации, полагаясь только на локальных соседних узлов для выполнения совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в задачах обучения, значительно увеличивая возможность участия в глобальном совместном обучении и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека коммуникаций, разработанная Prime Intellect для децентрализованной среды обучения AI, направленная на решение проблем адаптации традиционных библиотек коммуникаций в условиях гетерогенных устройств и сетей с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронную коммуникацию протокола OpenDiLoCo. Она значительно улучшает терпимость к пропускной способности сети для обучения и совместимость устройств, прокладывая «последнюю милю» коммуникационных основ для создания действительно открытой, не требующей доверия сети совместного обучения.
Prime Intellect создал разрешённую, проверяемую и экономически мотивированную сеть для обучения, позволяя любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трёх основных ролей:
Основные процессы протокола включают в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, образуя замкнутый цикл стимулов вокруг «реального обучающего поведения».
INTELLECT-2: Первый выпуск проверяемой Децентрализованной тренировочной модели
В мае 2025 года Prime Intellect выпустила INTELLECT-2, это первая в мире большая модель глубокого обучения, обученная с использованием асинхронных, доверительных децентрализованных узлов. Масштаб параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения превысило 400 часов, что продемонстрировало осуществимость и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и впервые систематически реализует предложенную Prime Intellect парадигму «обучение как консенсус». INTELLECT-2 интегрировала основные протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение открытости, верифицируемости и замкнутого экономического стимула в процессе обучения в децентрализованной сети.
В плане производительности INTELLECT-2 основан на QwQ-32B и прошел специализированное RL-обучение как в коде, так и в математике, находясь на переднем крае современных открытых RL-моделей. Хотя он еще не превзошел закрытые модели, такие как GPT-4 или Gemini, его истинная