Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке ценностей ИИ обучение моделей является наиболее ресурсоемким и с самым высоким порогом вхождения этапом, который напрямую определяет верхний предел возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных вложений в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" для построения ИИ-систем. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором мы сосредоточим внимание в данной статье.
Централизованное обучение является самой распространенной традиционной схемой, при которой весь процесс обучения выполняется единственным учреждением в локальном высокопроизводительном кластере, начиная от аппаратного обеспечения, программного обеспечения низкого уровня, системы управления кластером и заканчивая всеми компонентами обучающей структуры, которые координируются единой контрольной системой. Эта глубоко согласованная архитектура позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но при этом имея проблемы монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным методом обучения больших моделей в настоящее время, его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "распределёнными" характеристиками, в целом он по-прежнему контролируется и координируется централизованным органом, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink для единой координации подзадач главным узлом. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Параллельное моделирование: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: последовательное выполнение по этапам, увеличение пропускной способности
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение уровня параллелизма
Распределённое обучение — это комбинация "централизованного контроля + распределённого выполнения", аналогично тому, как один и тот же начальник удалённо управляет несколькими работниками "офисов", чтобы совместно выполнить задачу. В настоящее время практически все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевые характеристики заключаются в следующем: несколько недоверительных узлов совместно выполняют задачи тренировки без центрального координатора, обычно через протоколы, которые управляют распределением задач и сотрудничеством, а также с помощью механизмов криптоощущения, чтобы обеспечить честность вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Проблемы с гетерогенностью устройств и разделением задач: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач.
Проблемы с эффективностью связи: нестабильная сеть, явные узкие места в синхронизации градиентов
Недостаток доверяемого выполнения: отсутствие доверяемой среды выполнения, сложно проверить, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизмы отката при ошибках
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "по-настоящему осуществимая крупномасштабная децентрализованная тренировка" все еще представляет собой системную инженерную задачу, затрагивающую архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, верификацию моделей и другие аспекты, но возможность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что подходит для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализация обучения, однако все еще зависит от надежного координатора и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно мягкими требованиями к учебным задачам, структуре доверия и коммуникационному механизму, что делает его более подходящим для переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения тренировочной парадигмы, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задачи, высоких требований к ресурсам или больших трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, ограниченные законами о конфиденциальности данных и суверенитете, подвержены юридическим и этическим ограничениям, что делает невозможным открытое обмен; а задачи, которые не имеют стимулирующей основы для сотрудничества, лишены внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в задачах с легкой структурой, которые легко параллелизируются и могут быть стимулированы, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи послеобучения, связанные с выравниванием поведения, задачи по обучению и аннотированию данных через краудсорсинг, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов
На сегодняшний день в области Децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и дизайна алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги в инженерной реализации. В данной статье последовательно анализируются ключевые технологии и инженерные архитектуры пяти проектов, а также рассматриваются их различия и взаимодополняющие отношения в системе Децентрализованного AI обучения.
Prime Intellect: обучаемая траектория, проверяемая на прочность, кооперативная сеть первопроходцев
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Структура стека протоколов Prime Intellect и ценность ключевых модулей
Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач раздельного асинхронного обучения с подкреплением
PRIME-RL является рамочной моделью задач и выполнения, разработанной Prime Intellect для децентрализованных учебных сценариев, специально предназначенной для гетерогенных сетей и асинхронного участия. Она использует усиленное обучение в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому учебному узлу независимо выполнять циклы задач на месте и сотрудничать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм валидации поведения в обучении
TOPLOC является основной механизмом проверки обучаемости, предложенным Prime Intellect, для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а вместо этого завершает проверку легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудируемой и стимулируемой Децентрализация сети совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что обеспечивает постепенную сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная рамка, основанная на концепции DiLoCo, предложенной командой Prime Intellect и DeepMind, специально разработанная для решения распространенных проблем, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в процессе децентрализованного обучения. Его архитектура основана на параллельной обработке данных, создавая разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, и завершать совместное обучение моделей, полагаясь только на локальных соседних узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных задачах, значительно повышая вовлеченность в глобальном совместном обучении, что делает его одной из ключевых коммуникационных инфраструктур для построения децентрализованных обучающих сетей.
PCCL: Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, служит основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
Сеть стимулирования Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать награды на основе реальных вкладов. Протокол функционирует на основе трех основных ролей:
Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
Узел для обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы проверки: Использование механизма TOPLOC для проверки подлинности обучающего поведения и участия в расчете вознаграждения и агрегации стратегий.
Сердцевина процесса соглашения включает в себя публикацию задач, обучение узлов, валидацию траектории, агрегацию весов и распределение вознаграждений, образуя замкнутый цикл поощрений вокруг "реального тренировочного поведения".
INTELLECT-2: Публикация первой проверяемой Децентрализации модели обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, бездоверительных Децентрализация-узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, продемонстрировав жизнеспособность и стабильность асинхронной сети. Эта модель не только является прорывом в производительности, но и первой системной реализацией парадигмы "обучение = консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию открытости, верифицируемости и экономичности в процессе обучения в децентрализованной сети.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
17 Лайков
Награда
17
6
Поделиться
комментарий
0/400
MetaDreamer
· 20ч назад
Переходите на децентрализованные тренировки, и волна снова начнется!
Посмотреть ОригиналОтветить0
CryptoMom
· 20ч назад
Снова застряли с вычислительной мощностью.
Посмотреть ОригиналОтветить0
CryptoAdventurer
· 20ч назад
Снова рисуют большой пирог. Этот вкус слишком резкий.
Посмотреть ОригиналОтветить0
HappyMinerUncle
· 20ч назад
Вычислительная мощность дорогая, как никогда!
Посмотреть ОригиналОтветить0
retroactive_airdrop
· 20ч назад
Звучит немного утомительно
Посмотреть ОригиналОтветить0
BearMarketSurvivor
· 21ч назад
Опять есть вычислительная мощность, и можно выйти за пределы? Не могу себе этого позволить.
Децентрализация AI тренировки исследования: передовые прорывы Prime Intellect и Pluralis
Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке ценностей ИИ обучение моделей является наиболее ресурсоемким и с самым высоким порогом вхождения этапом, который напрямую определяет верхний предел возможностей модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных вложений в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" для построения ИИ-систем. С точки зрения архитектурных парадигм, методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, на котором мы сосредоточим внимание в данной статье.
Централизованное обучение является самой распространенной традиционной схемой, при которой весь процесс обучения выполняется единственным учреждением в локальном высокопроизводительном кластере, начиная от аппаратного обеспечения, программного обеспечения низкого уровня, системы управления кластером и заканчивая всеми компонентами обучающей структуры, которые координируются единой контрольной системой. Эта глубоко согласованная архитектура позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокой эффективностью и контролируемыми ресурсами, но при этом имея проблемы монополизации данных, барьеров для ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным методом обучения больших моделей в настоящее время, его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает "распределёнными" характеристиками, в целом он по-прежнему контролируется и координируется централизованным органом, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink для единой координации подзадач главным узлом. Основные методы включают:
Распределённое обучение — это комбинация "централизованного контроля + распределённого выполнения", аналогично тому, как один и тот же начальник удалённо управляет несколькими работниками "офисов", чтобы совместно выполнить задачу. В настоящее время практически все основные большие модели обучаются именно таким образом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевые характеристики заключаются в следующем: несколько недоверительных узлов совместно выполняют задачи тренировки без центрального координатора, обычно через протоколы, которые управляют распределением задач и сотрудничеством, а также с помощью механизмов криптоощущения, чтобы обеспечить честность вкладов. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может пониматься как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "по-настоящему осуществимая крупномасштабная децентрализованная тренировка" все еще представляет собой системную инженерную задачу, затрагивающую архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, верификацию моделей и другие аспекты, но возможность "совместной эффективности + стимуляции честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение как переходная форма между распределенными и Децентрализация акцентирует внимание на локальном хранении данных и централизованной агрегации параметров модели, что подходит для сценариев, ориентированных на соблюдение конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализация обучения, однако все еще зависит от надежного координатора и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно мягкими требованиями к учебным задачам, структуре доверия и коммуникационному механизму, что делает его более подходящим для переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения тренировочной парадигмы, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задачи, высоких требований к ресурсам или больших трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей часто зависит от высокой памяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, ограниченные законами о конфиденциальности данных и суверенитете, подвержены юридическим и этическим ограничениям, что делает невозможным открытое обмен; а задачи, которые не имеют стимулирующей основы для сотрудничества, лишены внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в задачах с легкой структурой, которые легко параллелизируются и могут быть стимулированы, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи послеобучения, связанные с выравниванием поведения, задачи по обучению и аннотированию данных через краудсорсинг, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связностью и терпимостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов
На сегодняшний день в области Децентрализации обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и дизайна алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, уже можно увидеть первые шаги в инженерной реализации. В данной статье последовательно анализируются ключевые технологии и инженерные архитектуры пяти проектов, а также рассматриваются их различия и взаимодополняющие отношения в системе Децентрализованного AI обучения.
Prime Intellect: обучаемая траектория, проверяемая на прочность, кооперативная сеть первопроходцев
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
Структура стека протоколов Prime Intellect и ценность ключевых модулей
Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL: Архитектура задач раздельного асинхронного обучения с подкреплением
PRIME-RL является рамочной моделью задач и выполнения, разработанной Prime Intellect для децентрализованных учебных сценариев, специально предназначенной для гетерогенных сетей и асинхронного участия. Она использует усиленное обучение в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, позволяя каждому учебному узлу независимо выполнять циклы задач на месте и сотрудничать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами контролируемого обучения, PRIME-RL лучше подходит для реализации гибкого обучения в средах без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC: Легковесный механизм валидации поведения в обучении
TOPLOC является основной механизмом проверки обучаемости, предложенным Prime Intellect, для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а вместо этого завершает проверку легковесной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без необходимости доверия, предоставляя жизнеспособный путь для создания аудируемой и стимулируемой Децентрализация сети совместного обучения.
SHARDCAST: Асинхронный протокол агрегации и распространения весов
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что обеспечивает постепенную сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo — это независимая реализация и открытая коммуникационная оптимизационная рамка, основанная на концепции DiLoCo, предложенной командой Prime Intellect и DeepMind, специально разработанная для решения распространенных проблем, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы в процессе децентрализованного обучения. Его архитектура основана на параллельной обработке данных, создавая разреженные топологические структуры, такие как Ring, Expander и Small-World, что позволяет избежать высоких затрат на коммуникацию, связанных с глобальной синхронизацией, и завершать совместное обучение моделей, полагаясь только на локальных соседних узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в учебных задачах, значительно повышая вовлеченность в глобальном совместном обучении, что делает его одной из ключевых коммуникационных инфраструктур для построения децентрализованных обучающих сетей.
PCCL: Библиотека совместной связи
PCCL — это легковесная библиотека связи, созданная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, служит основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает толерантность сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" связи для создания действительно открытой, не требующей доверия сети совместного обучения.
Сеть стимулирования Prime Intellect и распределение ролей
Prime Intellect создал сеть обучения, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать награды на основе реальных вкладов. Протокол функционирует на основе трех основных ролей:
Сердцевина процесса соглашения включает в себя публикацию задач, обучение узлов, валидацию траектории, агрегацию весов и распределение вознаграждений, образуя замкнутый цикл поощрений вокруг "реального тренировочного поведения".
INTELLECT-2: Публикация первой проверяемой Децентрализации модели обучения
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, бездоверительных Децентрализация-узлов. Масштаб параметров достигает 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов, продемонстрировав жизнеспособность и стабильность асинхронной сети. Эта модель не только является прорывом в производительности, но и первой системной реализацией парадигмы "обучение = консенсус", предложенной Prime Intellect. INTELLECT-2 интегрирует ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию открытости, верифицируемости и экономичности в процессе обучения в децентрализованной сети.