Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация сотрудничества в технологической революции
В полной цепочке ценностей ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и с самым высоким техническим порогом, что напрямую определяет пределы возможностей модели и эффективность ее практического применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку алгоритмов высокой интенсивности, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет основным объектом обсуждения в данной статье.
Централизованное обучение является самой распространенной традиционной моделью, при которой отдельное учреждение завершает весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта архитектура глубокой координации позволяет достичь оптимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно сталкиваясь с такими проблемами, как монополия данных, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределенное обучение является основным методом обучения крупных моделей в настоящее время, его суть заключается в разбиении задачи обучения модели и распределении ее между несколькими машинами для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "распределенными" характеристиками, в целом он все еще контролируется и координируется централизованной организацией, часто работает в среде с высокой скоростью локальной сети, с использованием технологий высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Данные параллельно: каждый узел обучает разные данные, параметры общие, необходимо согласовать веса модели
Модульное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: точная сегментация матричных вычислений, повышение параллельной гранулярности
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими сотрудниками из "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные крупные модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая характеристика заключается в следующем: множество недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием криптографических механизмов стимуляции для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и сложность разделения: высокая сложность координации между гетерогенными устройствами, низкая эффективность разделения задач
Отсутствие доверенной среды выполнения: отсутствие доверенной среды выполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, сложные механизмы распределения задач и отката ошибок
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, однако "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию модели и другие уровни. Однако вопрос о том, может ли это быть "совместно эффективно + стимулировать честность + результаты правильные" все еще находится на этапе раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина и финансы(. Федеративное обучение обладает инженерной структурой распределенного обучения и локальной координационной способностью, одновременно обладая преимуществами распределенных данных при Децентрализация, однако все еще зависит от доверенной стороны координации и не имеет полностью открытых и антицензурных характеристик. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, которая относительно мягка в задачах обучения, структуре доверия и механизмах связи, что делает ее более подходящей в качестве переходной архитектуры для промышленности.
) Обзор парадигм обучения ИИ ### Техническая архитектура × Доверие и стимулы × Особенности применения (
![Эволюция парадигмы AI-тренировок: от централизованного контроля к Децентрализация сотрудничества технической революции])https://img-cdn.gateio.im/webp-social/moments-a03035c30dc3b5258366773e1ab0e495.webp(
) Децентрализация тренировки границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высокой потребности в ресурсах или сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, не доверенных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицинские, финансовые или связанные с конфиденциальными данными ###, ограничены юридическими и этическими нормами и не могут быть открыты для совместного использования; а задачи (, лишенные базового стимула к сотрудничеству, такие как корпоративные закрытые модели или внутреннее прототипирование ), не имеют внешних мотиваций для участия. Эти границы совместно составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что децентрализация обучения является ложной теорией. На самом деле, в задачах с легкой структурой, легкой параллельностью и возможностью стимуляции, децентрализованное обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения с выравниванием поведения (, такие как RLHF, DPO ), задачи по обучению и аннотированию с краудсорсингом данных, обучение небольших базовых моделей с контролируемыми ресурсами и сценарии совместного обучения с участием крайних устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и устойчивостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и т.д.
(# Децентрализация тренировки задачи адаптивности общий обзор
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализация совместной технологической революции])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp###
( Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерного выполнения, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальный инженерный прогресс. В этой статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дальше обсуждаться их различия и взаимодополняющие отношения в системе децентрализованного обучения ИИ.
)# Prime Intellect: Пионер кооперативных сетей с подкрепляющим обучением, траектория обучения которых может быть проверена
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
Один, Структура стеков протокола Prime Intellect и ценность ключевых модулей
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализации и кооперации в технической революции]###https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL — это рамка моделирования задач и их выполнения, разработанная Prime Intellect для децентрализованных тренировочных сценариев, специально созданная для гетерогенных сетей и асинхронных участников. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно отделяя процесс тренировки, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо выполнять циклы задач локально и взаимодействовать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкой тренировки в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации тренировочного поведения
TOPLOC(Доверенное Наблюдение & Проверка Политики-Локальности) является основной механизмом проверки обучаемости, предложенным Prime Intellect, для определения того, завершил ли узел эффективное обучение стратегии на основе данных наблюдения. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность траекторий между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания可审计、可激励的 Децентрализованной Сотруднической Обучающей Сети.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменяющимся состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная система
OpenDiLoCo — это оптимизированный коммуникационный фреймворк, разработанный командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, который реализован независимо и открыт для использования. Он специально разработан для решения распространенных проблем в децентрализованном обучении, таких как ограничения по пропускной способности, гетерогенность устройств и нестабильность узлов. Его архитектура основана на параллельной обработке данных, с использованием разреженных топологий, таких как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию из-за глобальной синхронизации и завершать совместное обучение модели, полагаясь только на локальные соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в обучающих задачах, значительно увеличивая вовлеченность в глобальное совместное обучение и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованных обучающих сетей.
PCCL:Библиотека совместной связи
PCCL(Prime Collective Communication Library) является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, призванной решить проблемы совместимости традиционных библиотек связи(, таких как NCCL и Gloo), в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах и является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает устойчивость пропускной способности сети обучения и совместимость устройств, открывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, Интеллект Прайм: стимулирующая сеть и распределение ролей
Prime Intellect создал сеть обучения, не требующую разрешения, с возможностью верификации и экономическими стимулами, что позволяет любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Инициатор задачи: определяет тренировочную среду, начальную модель, функцию вознаграждения и стандарт проверки
Обучающие узлы: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участие в расчете вознаграждений и агрегации стратегий.
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального обучающего поведения".
Четыре, INTELLECT-2: Выпуск первой проверяемой модели децентрализованного обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель машинного обучения, обученная с помощью асинхронных, не требующих доверия Децентрализация узлов.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
22 Лайков
Награда
22
6
Поделиться
комментарий
0/400
digital_archaeologist
· 07-20 15:58
Оказывается, у Ботов есть классы.
Посмотреть ОригиналОтветить0
TokenVelocity
· 07-20 08:03
Централизованный не является опухолью? Можно ли войти в позицию в этот раз?
Посмотреть ОригиналОтветить0
GasFeeCrying
· 07-19 11:10
Тренировочные расходы действительно высоки... Это действительно слезы от Газ.
Революция в парадигмах обучения ИИ: от централизованного контроля к Децентрализация сотрудничеству
Эволюция парадигмы обучения ИИ: от централизованного контроля к Децентрализация сотрудничества в технологической революции
В полной цепочке ценностей ИИ обучение моделей является этапом с наибольшим потреблением ресурсов и с самым высоким техническим порогом, что напрямую определяет пределы возможностей модели и эффективность ее практического применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных инвестиций в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку алгоритмов высокой интенсивности, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет основным объектом обсуждения в данной статье.
Централизованное обучение является самой распространенной традиционной моделью, при которой отдельное учреждение завершает весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой управляющей системой. Эта архитектура глубокой координации позволяет достичь оптимальной эффективности совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно сталкиваясь с такими проблемами, как монополия данных, барьеры для ресурсов, потребление энергии и риски единой точки.
Распределенное обучение является основным методом обучения крупных моделей в настоящее время, его суть заключается в разбиении задачи обучения модели и распределении ее между несколькими машинами для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "распределенными" характеристиками, в целом он все еще контролируется и координируется централизованной организацией, часто работает в среде с высокой скоростью локальной сети, с использованием технологий высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:
Распределенное обучение является комбинацией "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет несколькими сотрудниками из "офисов", чтобы совместно выполнять задачи. В настоящее время почти все основные крупные модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая характеристика заключается в следующем: множество недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи обучения без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием криптографических механизмов стимуляции для обеспечения честности вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, однако "действительно осуществимая крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию модели и другие уровни. Однако вопрос о том, может ли это быть "совместно эффективно + стимулировать честность + результаты правильные" все еще находится на этапе раннего прототипирования.
Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина и финансы(. Федеративное обучение обладает инженерной структурой распределенного обучения и локальной координационной способностью, одновременно обладая преимуществами распределенных данных при Децентрализация, однако все еще зависит от доверенной стороны координации и не имеет полностью открытых и антицензурных характеристик. Это можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, которая относительно мягка в задачах обучения, структуре доверия и механизмах связи, что делает ее более подходящей в качестве переходной архитектуры для промышленности.
) Обзор парадигм обучения ИИ ### Техническая архитектура × Доверие и стимулы × Особенности применения (
![Эволюция парадигмы AI-тренировок: от централизованного контроля к Децентрализация сотрудничества технической революции])https://img-cdn.gateio.im/webp-social/moments-a03035c30dc3b5258366773e1ab0e495.webp(
) Децентрализация тренировки границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высокой потребности в ресурсах или сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, не доверенных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицинские, финансовые или связанные с конфиденциальными данными ###, ограничены юридическими и этическими нормами и не могут быть открыты для совместного использования; а задачи (, лишенные базового стимула к сотрудничеству, такие как корпоративные закрытые модели или внутреннее прототипирование ), не имеют внешних мотиваций для участия. Эти границы совместно составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что децентрализация обучения является ложной теорией. На самом деле, в задачах с легкой структурой, легкой параллельностью и возможностью стимуляции, децентрализованное обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи постобучения с выравниванием поведения (, такие как RLHF, DPO ), задачи по обучению и аннотированию с краудсорсингом данных, обучение небольших базовых моделей с контролируемыми ресурсами и сценарии совместного обучения с участием крайних устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и устойчивостью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и т.д.
(# Децентрализация тренировки задачи адаптивности общий обзор
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализация совместной технологической революции])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp###
( Децентрализация тренировки классических проектов анализа
В настоящее время в области децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерного выполнения, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, что представляет собой передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первоначальный инженерный прогресс. В этой статье последовательно будут проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дальше обсуждаться их различия и взаимодополняющие отношения в системе децентрализованного обучения ИИ.
)# Prime Intellect: Пионер кооперативных сетей с подкрепляющим обучением, траектория обучения которых может быть проверена
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL, TOPLOC и SHARDCAST.
Один, Структура стеков протокола Prime Intellect и ценность ключевых модулей
![Эволюция парадигмы AI-обучения: от централизованного контроля к Децентрализации и кооперации в технической революции]###https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###
Два. Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией
PRIME-RL — это рамка моделирования задач и их выполнения, разработанная Prime Intellect для децентрализованных тренировочных сценариев, специально созданная для гетерогенных сетей и асинхронных участников. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно отделяя процесс тренировки, вывода и загрузки весов, что позволяет каждому тренировочному узлу независимо выполнять циклы задач локально и взаимодействовать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкой тренировки в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
TOPLOC: Легковесный механизм верификации тренировочного поведения
TOPLOC(Доверенное Наблюдение & Проверка Политики-Локальности) является основной механизмом проверки обучаемости, предложенным Prime Intellect, для определения того, завершил ли узел эффективное обучение стратегии на основе данных наблюдения. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность траекторий между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания可审计、可激励的 Децентрализованной Сотруднической Обучающей Сети.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменяющимся состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронизации, достигая прогрессивной сходимости весов и многоверсионной эволюции. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная система
OpenDiLoCo — это оптимизированный коммуникационный фреймворк, разработанный командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, который реализован независимо и открыт для использования. Он специально разработан для решения распространенных проблем в децентрализованном обучении, таких как ограничения по пропускной способности, гетерогенность устройств и нестабильность узлов. Его архитектура основана на параллельной обработке данных, с использованием разреженных топологий, таких как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию из-за глобальной синхронизации и завершать совместное обучение модели, полагаясь только на локальные соседние узлы. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и крайним устройствам стабильно участвовать в обучающих задачах, значительно увеличивая вовлеченность в глобальное совместное обучение и являясь одной из ключевых коммуникационных инфраструктур для построения децентрализованных обучающих сетей.
PCCL:Библиотека совместной связи
PCCL(Prime Collective Communication Library) является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, призванной решить проблемы совместимости традиционных библиотек связи(, таких как NCCL и Gloo), в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах и является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно повышает устойчивость пропускной способности сети обучения и совместимость устройств, открывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, не требующей доверия сети совместного обучения.
Три, Интеллект Прайм: стимулирующая сеть и распределение ролей
Prime Intellect создал сеть обучения, не требующую разрешения, с возможностью верификации и экономическими стимулами, что позволяет любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, верификацию траекторий, агрегацию весов (SHARDCAST) и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального обучающего поведения".
Четыре, INTELLECT-2: Выпуск первой проверяемой модели децентрализованного обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель машинного обучения, обученная с помощью асинхронных, не требующих доверия Децентрализация узлов.