Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализации и совместным технологиям
В полной цепочке создания стоимости ИИ этап обучения моделей является самым ресурсоемким и требующим наивысших технологий, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в мощные вычислительные ресурсы, сложные процессы обработки данных и поддержку интенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено данное обсуждение.
Централизованное обучение является наиболее распространенным традиционным способом, при котором вся процедура обучения выполняется единым учреждением на локальных высокопроизводительных кластерах, где все компоненты, от оборудования, программного обеспечения низкого уровня, системы управления кластерами до обучающего фреймворка, координируются единой системой управления. Эта архитектура глубокой координации позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемых ресурсов, но одновременно она сталкивается с проблемами, такими как данные монополия, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения крупных моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их для совместного выполнения на нескольких машинах, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на наличие "распределенных" характеристик в физическом плане, в целом управление, координация и синхронизация все еще контролируются централизованной организацией и обычно выполняются в среде высокоскоростной локальной сети, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо совпадение весов модели
Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллелизм трубопроводов: последовательное выполнение по этапам, повышающее пропускную способность
Тензорное параллелизм: детальная сегментация матричных вычислений, повышение степени параллелизма
Распределённое обучение является комбинацией "централизованного управления + распределённого выполнения", подобно тому, как один и тот же начальник удалённо координирует совместную работу нескольких "офисных" сотрудников для выполнения задачи. В настоящее время почти все основные большие модели обучаются таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь будущего. Его основная характеристика заключается в том, что несколько недоверительных узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Отсутствие доверенной среды выполнения: отсутствие доверенной среды выполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, распределение задач и механизм отката ошибок сложны
Децентрализация тренировки можно понимать как: группа глобальных добровольцев, которые совместно вносят вычислительную мощность для обучения модели, но "действительно осуществимая масштабируемая децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, протоколы связи, криптографическую безопасность, экономические механизмы, проверку моделей и другие аспекты, но вопрос о том, может ли это быть "эффективным сотрудничеством + мотивацией к честности + правильными результатами", все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для ситуаций, требующих соблюдения конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и местными кооперативными возможностями, при этом сочетая преимущества распределенных данных при Децентрализация, но все еще зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высокой потребности в ресурсах или большой сложности сотрудничества, она естественным образом не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто требует высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, ограниченные сильными правовыми и этическими ограничениями в отношении конфиденциальности данных и суверенитета, не могут быть открыто поделены; а задачи, в которых отсутствуют стимулы для сотрудничества, не имеют внешнего мотива для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализации обучения.
Но это не означает, что Децентрализация обучения — это ложное утверждение. На самом деле, в задачах с легкой структурой, легкой параллельностью и возможностью мотивации, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA тонкой настройкой, задачами постобучения, ориентированными на поведение, задачами обучения и аннотирования данных через краудсорсинг, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценариями кооперативного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и толерантностью к гетерогенной вычислительной мощности, что делает их весьма подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировка классических проектов анализа
На данный момент в области децентрализации обучения и федеративного обучения наиболее представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и алгоритмического дизайна, представляя передовые направления текущих теоретических исследований; в то время как у Gensyn и Flock.io пути реализации относительно ясны, и можно наблюдать первоначальный прогресс в инженерной реализации. В данной статье будет последовательно проанализирована ключевая технология и инженерная архитектура этих пяти проектов, а также дополнительно исследованы их различия и взаимодополняющие отношения в системе децентрализованного AI обучения.
Prime Intellect: Проверяемые траектории обучения в сети совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя любому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
Одна, Структура стеков протокола Prime Intellect и ценность ключевых модулей
Два, Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач разъединенного асинхронного обучения с подкреплением
PRIME-RL является кадровой моделью задач и выполнения, разработанной Prime Intellect для Децентрализация учебных сценариев, специально спроектированной для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо завершать циклы задач локально и сотрудничать с механизмами проверки и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что как снижает сложность системы, так и закладывает основу для поддержки параллельного выполнения множественных задач и эволюции стратегий.
TOPLOC: легковесный механизм проверки поведения тренировки
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, предназначенная для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию легковесной структуры через анализ локальной согласованности траекторий между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым новшеством для достижения распределения наград за обучение без необходимости доверия, обеспечивая осуществимый путь для создания可审计,可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что приводит к постепенной конвергенции весов и эволюции нескольких версий. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo - это независимая реализация и открытая платформа для оптимизации связи, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально создана для решения распространенных проблем, таких как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов в процессе Децентрализации обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander, Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальных соседей для совместной тренировки модели. Сочетая асинхронное обновление и механизм восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и краевым устройствам стабильно участвовать в учебных задачах, значительно повышая возможность участия в глобальной совместной тренировке и являясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
PCCL:Библиотека совместной связи
PCCL является легковесной библиотекой связи, специально разработанной Prime Intellect для Децентрализация AI тренировочной среды, предназначенной для решения проблем адаптации традиционных библиотек связи на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой, не требующей доверия совместной тренировочной сети.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал обучающую сеть, которая не требует разрешений, может быть проверена и имеет экономические стимулы, что позволяет любому участвовать в задачах и получать вознаграждение на основе реальных вкладов. Протокол работает на основе трех основных ролей:
Инициатор задачи: определить тренировочную среду, начальную модель, функцию награды и критерии валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы верификации: использование механизма TOPLOC для проверки истинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий.
Основные процессы протокола включают публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, создавая замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, Децентрализация узлов. Модель INTELLECT-2 была обучена на более чем 100 гетерогенных узлах GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, продолжительность обучения превышает 400 часов, демонстрируя жизнеспособность и стабильность асинхронной сети. Эта модель не только является прорывом в производительности, но и представляет собой первую системную реализацию парадигмы "обучение равно консенсус" предложенную Prime Intellect. INTELLECT-2 интегрирует ключевые протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение в обучении процессов в децентрализованной сети.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
10 Лайков
Награда
10
5
Поделиться
комментарий
0/400
PumpBeforeRug
· 07-29 08:34
Этот большой памп предопределен, держитесь крепче!
Посмотреть ОригиналОтветить0
WhaleStalker
· 07-29 00:52
Федеральное обучение уже порядком раскручено.
Посмотреть ОригиналОтветить0
PaperHandsCriminal
· 07-29 00:46
Тяжелая позиция, да... с моей тяжелой позицией по踩雷 можно сравнить
Посмотреть ОригиналОтветить0
SilentObserver
· 07-29 00:44
Так называемая децентрализация, где же настоящая децентрализация?
Посмотреть ОригиналОтветить0
Anon32942
· 07-29 00:27
Профессиональные игроки снова пришли продемонстрировать свои навыки.
Революция парадигмы обучения ИИ: от централизации к Децентрализация технологической эволюции
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализации и совместным технологиям
В полной цепочке создания стоимости ИИ этап обучения моделей является самым ресурсоемким и требующим наивысших технологий, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных вложений в мощные вычислительные ресурсы, сложные процессы обработки данных и поддержку интенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором сосредоточено данное обсуждение.
Централизованное обучение является наиболее распространенным традиционным способом, при котором вся процедура обучения выполняется единым учреждением на локальных высокопроизводительных кластерах, где все компоненты, от оборудования, программного обеспечения низкого уровня, системы управления кластерами до обучающего фреймворка, координируются единой системой управления. Эта архитектура глубокой координации позволяет достичь максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, с преимуществами высокой эффективности и контролируемых ресурсов, но одновременно она сталкивается с проблемами, такими как данные монополия, барьеры для ресурсов, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения крупных моделей в настоящее время, его суть заключается в том, чтобы разбить задачу обучения модели на части и распределить их для совместного выполнения на нескольких машинах, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на наличие "распределенных" характеристик в физическом плане, в целом управление, координация и синхронизация все еще контролируются централизованной организацией и обычно выполняются в среде высокоскоростной локальной сети, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределённое обучение является комбинацией "централизованного управления + распределённого выполнения", подобно тому, как один и тот же начальник удалённо координирует совместную работу нескольких "офисных" сотрудников для выполнения задачи. В настоящее время почти все основные большие модели обучаются таким образом.
Децентрализация обучения представляет собой более открытый и устойчивый к цензуре путь будущего. Его основная характеристика заключается в том, что несколько недоверительных узлов совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимулов для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки можно понимать как: группа глобальных добровольцев, которые совместно вносят вычислительную мощность для обучения модели, но "действительно осуществимая масштабируемая децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, протоколы связи, криптографическую безопасность, экономические механизмы, проверку моделей и другие аспекты, но вопрос о том, может ли это быть "эффективным сотрудничеством + мотивацией к честности + правильными результатами", все еще находится на ранней стадии прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что делает его подходящим для ситуаций, требующих соблюдения конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и местными кооперативными возможностями, при этом сочетая преимущества распределенных данных при Децентрализация, но все еще зависит от доверенной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно умеренные, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высокой потребности в ресурсах или большой сложности сотрудничества, она естественным образом не подходит для эффективного выполнения на гетерогенных, недоверенных узлах. Например, обучение больших моделей часто требует высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, ограниченные сильными правовыми и этическими ограничениями в отношении конфиденциальности данных и суверенитета, не могут быть открыто поделены; а задачи, в которых отсутствуют стимулы для сотрудничества, не имеют внешнего мотива для участия. Эти границы вместе составляют текущие реальные ограничения Децентрализации обучения.
Но это не означает, что Децентрализация обучения — это ложное утверждение. На самом деле, в задачах с легкой структурой, легкой параллельностью и возможностью мотивации, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA тонкой настройкой, задачами постобучения, ориентированными на поведение, задачами обучения и аннотирования данных через краудсорсинг, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценариями кооперативного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и толерантностью к гетерогенной вычислительной мощности, что делает их весьма подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировка классических проектов анализа
На данный момент в области децентрализации обучения и федеративного обучения наиболее представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили много оригинальных исследований в области системной архитектуры и алгоритмического дизайна, представляя передовые направления текущих теоретических исследований; в то время как у Gensyn и Flock.io пути реализации относительно ясны, и можно наблюдать первоначальный прогресс в инженерной реализации. В данной статье будет последовательно проанализирована ключевая технология и инженерная архитектура этих пяти проектов, а также дополнительно исследованы их различия и взаимодополняющие отношения в системе децентрализованного AI обучения.
Prime Intellect: Проверяемые траектории обучения в сети совместного обучения
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя любому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с верифицируемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
Одна, Структура стеков протокола Prime Intellect и ценность ключевых модулей
Два, Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач разъединенного асинхронного обучения с подкреплением
PRIME-RL является кадровой моделью задач и выполнения, разработанной Prime Intellect для Децентрализация учебных сценариев, специально спроектированной для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому учебному узлу независимо завершать циклы задач локально и сотрудничать с механизмами проверки и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что как снижает сложность системы, так и закладывает основу для поддержки параллельного выполнения множественных задач и эволюции стратегий.
TOPLOC: легковесный механизм проверки поведения тренировки
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, предназначенная для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию легковесной структуры через анализ локальной согласованности траекторий между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым новшеством для достижения распределения наград за обучение без необходимости доверия, обеспечивая осуществимый путь для создания可审计,可激励的 Децентрализация协作训练网络.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что приводит к постепенной конвергенции весов и эволюции нескольких версий. В отличие от централизованных или синхронных методов AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная структура
OpenDiLoCo - это независимая реализация и открытая платформа для оптимизации связи, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind. Она специально создана для решения распространенных проблем, таких как ограниченная пропускная способность, гетерогенность устройств и нестабильность узлов в процессе Децентрализации обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander, Small-World, чтобы избежать высоких затрат на коммуникацию при глобальной синхронизации, полагаясь только на локальных соседей для совместной тренировки модели. Сочетая асинхронное обновление и механизм восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и краевым устройствам стабильно участвовать в учебных задачах, значительно повышая возможность участия в глобальной совместной тренировке и являясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.
PCCL:Библиотека совместной связи
PCCL является легковесной библиотекой связи, специально разработанной Prime Intellect для Децентрализация AI тренировочной среды, предназначенной для решения проблем адаптации традиционных библиотек связи на гетерогенных устройствах и в сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой, не требующей доверия совместной тренировочной сети.
Три, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал обучающую сеть, которая не требует разрешений, может быть проверена и имеет экономические стимулы, что позволяет любому участвовать в задачах и получать вознаграждение на основе реальных вкладов. Протокол работает на основе трех основных ролей:
Основные процессы протокола включают публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, создавая замкнутый цикл стимулов вокруг "реального тренировочного поведения".
Четыре, INTELLECT-2: выпуск первой проверяемой Децентрализация обучающей модели
Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, не требующих доверия, Децентрализация узлов. Модель INTELLECT-2 была обучена на более чем 100 гетерогенных узлах GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, продолжительность обучения превышает 400 часов, демонстрируя жизнеспособность и стабильность асинхронной сети. Эта модель не только является прорывом в производительности, но и представляет собой первую системную реализацию парадигмы "обучение равно консенсус" предложенную Prime Intellect. INTELLECT-2 интегрирует ключевые протоколы PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение в обучении процессов в децентрализованной сети.