Святе Грааль Crypto AI: Децентралізація тренування на передовій досліджень
У повній ціновій ланцюгу ІІ, навчання моделей є етапом з найбільшим споживанням ресурсів і найвищим технологічним порогом, що безпосередньо визначає верхню межу здібностей моделі та фактичні результати застосування. У порівнянні з легкими викликами на етапі висновку, процес навчання вимагає постійних масштабних обчислювальних витрат, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що насправді є "важкою промисловістю" в побудові ІІ-систем. З точки зору архітектурних парадигм, методи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізація навчання, що є основною темою даної статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчального фреймворка, координується єдиною системою управління. Така глибоко скоординована архітектура забезпечує максимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання масштабних моделей, таких як GPT, Gemini, і має переваги в ефективності та контрольованості ресурсів. Однак вона також має проблеми, такі як монополія даних, бар'єри для ресурсів, споживання енергії та ризики єдиної точки.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Хоча в фізичному сенсі має "розподілені" характеристики, але в цілому все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, через технологію високошвидкісної інтерконектної шини NVLink, з головного вузла, що координує всі підзавдання. Основні методи включають:
Паралельність даних: кожен вузол навчає різні дані, параметри спільні, потрібно узгодити ваги моделі
Модельна паралельність: розміщення різних частин моделі на різних вузлах для досягнення сильної масштабованості
Паралельні канали: послідовне виконання поетапно, підвищення пропускної спроможності
Тензорне паралельне виконання: уточнене розподіл матричних обчислень, підвищення паралельної гранулярності
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів", щоб виконати завдання. Наразі майже всі основні великі моделі навчаються цим способом.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що кілька недовірливих вузлів співпрацюють для виконання завдань тренування без центрального координатора, зазвичай через протоколи, що забезпечують розподіл завдань та співпрацю, та за допомогою механізмів криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та труднощі сегментації: висока складність координації гетерогенних пристроїв, низька ефективність сегментації завдань
Проблема ефективності зв'язку: нестабільність мережевої комунікації, явна проблема синхронізації градієнтів
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях.
Відсутність єдиного координаційного центру: немає центрального диспетчера, складний механізм розподілу завдань та відкату помилок
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які вносять свої обчислювальні потужності для спільного тренування моделі, але "справді життєздатне масове децентралізоване тренування" все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделі та інші рівні, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримувати правильні результати" все ще перебуває на початковій стадії прототипування.
Федеративне навчання як перехідна форма між розподіленим та Децентралізація підкреслює збереження даних локально, централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують увагу на дотриманні конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні коопераційні можливості, одночасно володіючи перевагами розподілених даних для децентралізованого навчання, але все ще залежить від надійної координаційної сторони і не має абсолютно відкритих та антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях дотримання конфіденційності, де завдання навчання, структура довіри та комунікаційні механізми є відносно помірними, що робить його більш придатним як перехідну архітектуру для промисловості.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У певних сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або великі труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей зазвичай потребує високої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективний розподіл та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних та обмеженнями суверенітету зазнають юридичних та етичних обмежень, що унеможливлює відкритий обмін; а завдання, які не мають основи для стимулювання співпраці, позбавлені зовнішньої мотивації для участі. Ці межі разом складають реальні обмеження децентралізованого навчання сьогодні.
Але це не означає, що децентралізоване навчання є нонсенсом. Насправді, у типах завдань, які є легкими за структурою, легко паралелізуються та можуть бути заохочені, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання, пов'язані з поведінкою, навчання та маркування даних через краудсорсинг, навчання невеликих базових моделей з контрольованими ресурсами, а також сцени кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для співпраці через P2P мережі, протоколи Swarm, розподілені оптимізатори та інші методи.
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, представлені блокчейн-проекти, такі як Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічних інновацій та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмах, що представляє сучасні теоретичні напрями; тоді як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже можна побачити перші кроки в інженерії. У цій статті буде послідовно проаналізовано основні технології та інженерні архітектури п'яти проектів, а також подальше обговорення їхніх відмінностей і взаємодоповнюючих зв'язків у децентралізованій AI навчальній системі.
Prime Intellect: перевіряємої траєкторії навчання посиленої когерентної мережі
Prime Intellect прагне побудувати бездоверчий мережевий тренажер для ШІ, який дозволяє кожному брати участь у навчанні та отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему тренування ШІ з верифікацією, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Структура стеку протоколу Prime Intellect та цінність ключових модулів
Детальний опис ключових механізмів навчання Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком моделювання та виконання завдань, спеціально розробленим компанією Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж і асинхронних учасників. Він використовує підкріплене навчання як пріоритетний об'єкт адаптації, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно завершувати цикли завдань локально і співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. На відміну від традиційних процесів навчання з наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без центрального розподілу, що знижує складність системи та закладає основу для підтримки паралельного виконання декількох завдань і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренувань
TOPLOC – це основний механізм перевірки навчання, запропонований Prime Intellect, який використовується для визначення, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від перерахунку всієї моделі, а завершує верифікацію легковаговою структурою, аналізуючи локальні узгоджені траєкторії між "послідовністю спостережень ↔ оновленням стратегії". Він вперше перетворює поведінкові траєкторії під час навчання на об'єкти, які можна перевірити, що є ключовою інновацією для реалізації бездокументального розподілу навчальних винагород, надаючи здійсненний шлях до створення аудиторної, стимулюючої децентралізованої кооперативної навчальної мережі.
SHARDCAST:Асинхронна вага агрегації та розподілу протоколу
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів у реальних мережевих середовищах. Він поєднує механізм госсіп-поширення з локальною синхронізацією, що дозволяє кільком вузлам продовжувати надсилати часткові оновлення в умовах несинхронізації, реалізуючи поступову конвергенцію ваг та еволюцію з декількома версіями. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до збоїв децентралізованого навчання, є основною базою для побудови стабільного консенсусу ваг та безперервних ітерацій навчання.
OpenDiLoCo – це незалежна реалізація та відкритий код оптимізаційного фреймворку зв'язку, розробленого командою Prime Intellect на базі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення викликів, що виникають під час децентралізованого навчання, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Архітектура базується на паралельній обробці даних, створюючи рідкі топологічні структури, такі як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на комунікацію глобальної синхронізації та завершувати спільне навчання моделі, спираючись лише на сусідні локальні вузли. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі в глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека спільної комунікації
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною спроможністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з точки зупинки, може працювати на споживчих GPU та нестабільних вузлах і є основним компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує толерантність до пропускної спроможності тренувальної мережі та сумісність пристроїв, прокладаючи "останні милі" комунікаційної інфраструктури для створення справді відкритої, не довірчої мережі спільного навчання.
Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренування, що не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати нагороди на основі реальних внесків. Протокол функціонує на основі трьох основних ролей:
Ініціатор завдання: визначення навчального середовища, початкової моделі, функції винагороди та стандартів валідації
Тренувальний вузол: виконання локального навчання, подача оновлень ваг та спостереження за траєкторією
Вузли верифікації: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участь у розрахунках винагород та агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг та виплату винагород, формуючи стимулюючий замкнутий цикл навколо "реальної навчальної поведінки".
INTELLECT-2:Перший перевірений децентралізований навчальний модель.
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель навчання з підкріпленням, що була створена за допомогою асинхронного, недовіреного децентралізованого співробітництва вузлів, з кількістю параметрів 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, демонструючи життєздатність та стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, але й першим системним втіленням парадигми "навчання є консенсусом", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні модулі протоколів PRIME-RL, TOPLOC та SHARDCAST, що знаменує собою перше досягнення в децентралізованій навчальній мережі у відкритості, перевірності та економіці процесу навчання.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
17 лайків
Нагородити
17
6
Поділіться
Прокоментувати
0/400
MetaDreamer
· 20год тому
Деконцентраційне навчання знову в тренді!
Переглянути оригіналвідповісти на0
CryptoMom
· 20год тому
Знову застрягли в обчислювальній потужності.
Переглянути оригіналвідповісти на0
CryptoAdventurer
· 20год тому
Знову малюють BTC, цей смак занадто сильний.
Переглянути оригіналвідповісти на0
HappyMinerUncle
· 20год тому
Обчислювальна потужність дорога до неможливості.
Переглянути оригіналвідповісти на0
retroactive_airdrop
· 20год тому
Здається, це трохи втомлює.
Переглянути оригіналвідповісти на0
BearMarketSurvivor
· 20год тому
Знову є обчислювальна потужність, і це дозволить вийти за межі? Не можу собі цього дозволити.
Децентралізація AI тренування дослідження: Prime Intellect та Pluralis на передовій прориві
Святе Грааль Crypto AI: Децентралізація тренування на передовій досліджень
У повній ціновій ланцюгу ІІ, навчання моделей є етапом з найбільшим споживанням ресурсів і найвищим технологічним порогом, що безпосередньо визначає верхню межу здібностей моделі та фактичні результати застосування. У порівнянні з легкими викликами на етапі висновку, процес навчання вимагає постійних масштабних обчислювальних витрат, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що насправді є "важкою промисловістю" в побудові ІІ-систем. З точки зору архітектурних парадигм, методи навчання можна розділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізація навчання, що є основною темою даної статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується єдиною установою в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчального фреймворка, координується єдиною системою управління. Така глибоко скоординована архітектура забезпечує максимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже підходящою для навчання масштабних моделей, таких як GPT, Gemini, і має переваги в ефективності та контрольованості ресурсів. Однак вона також має проблеми, такі як монополія даних, бар'єри для ресурсів, споживання енергії та ризики єдиної точки.
Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Хоча в фізичному сенсі має "розподілені" характеристики, але в цілому все ще контролюється централізованими організаціями для управління та синхронізації, зазвичай працює в середовищі швидкої локальної мережі, через технологію високошвидкісної інтерконектної шини NVLink, з головного вузла, що координує всі підзавдання. Основні методи включають:
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник віддалено керує співробітниками з кількох "офісів", щоб виконати завдання. Наразі майже всі основні великі моделі навчаються цим способом.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основна характеристика полягає в тому, що кілька недовірливих вузлів співпрацюють для виконання завдань тренування без центрального координатора, зазвичай через протоколи, що забезпечують розподіл завдань та співпрацю, та за допомогою механізмів криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які вносять свої обчислювальні потужності для спільного тренування моделі, але "справді життєздатне масове децентралізоване тренування" все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделі та інші рівні, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримувати правильні результати" все ще перебуває на початковій стадії прототипування.
Федеративне навчання як перехідна форма між розподіленим та Децентралізація підкреслює збереження даних локально, централізовану агрегацію параметрів моделі, підходить для сценаріїв, що акцентують увагу на дотриманні конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні коопераційні можливості, одночасно володіючи перевагами розподілених даних для децентралізованого навчання, але все ще залежить від надійної координаційної сторони і не має абсолютно відкритих та антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях дотримання конфіденційності, де завдання навчання, структура довіри та комунікаційні механізми є відносно помірними, що робить його більш придатним як перехідну архітектуру для промисловості.
Децентралізація тренування: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У певних сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або великі труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей зазвичай потребує високої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективний розподіл та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних та обмеженнями суверенітету зазнають юридичних та етичних обмежень, що унеможливлює відкритий обмін; а завдання, які не мають основи для стимулювання співпраці, позбавлені зовнішньої мотивації для участі. Ці межі разом складають реальні обмеження децентралізованого навчання сьогодні.
Але це не означає, що децентралізоване навчання є нонсенсом. Насправді, у типах завдань, які є легкими за структурою, легко паралелізуються та можуть бути заохочені, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання, пов'язані з поведінкою, навчання та маркування даних через краудсорсинг, навчання невеликих базових моделей з контрольованими ресурсами, а також сцени кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність та терпимість до гетерогенної обчислювальної потужності, що робить їх дуже підходящими для співпраці через P2P мережі, протоколи Swarm, розподілені оптимізатори та інші методи.
Децентралізація тренування класичних проектів аналіз
Наразі у сфері децентралізованого навчання та федеративного навчання, представлені блокчейн-проекти, такі як Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічних інновацій та складності реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмах, що представляє сучасні теоретичні напрями; тоді як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже можна побачити перші кроки в інженерії. У цій статті буде послідовно проаналізовано основні технології та інженерні архітектури п'яти проектів, а також подальше обговорення їхніх відмінностей і взаємодоповнюючих зв'язків у децентралізованій AI навчальній системі.
Prime Intellect: перевіряємої траєкторії навчання посиленої когерентної мережі
Prime Intellect прагне побудувати бездоверчий мережевий тренажер для ШІ, який дозволяє кожному брати участь у навчанні та отримувати надійну винагороду за свої обчислювальні внески. Prime Intellect сподівається створити децентралізовану систему тренування ШІ з верифікацією, відкритістю та повноцінним механізмом стимулювання через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Структура стеку протоколу Prime Intellect та цінність ключових модулів
Детальний опис ключових механізмів навчання Prime Intellect
PRIME-RL: Архітектура завдань асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є фреймворком моделювання та виконання завдань, спеціально розробленим компанією Prime Intellect для децентралізованих навчальних сценаріїв, призначеним для гетерогенних мереж і асинхронних учасників. Він використовує підкріплене навчання як пріоритетний об'єкт адаптації, структурно декомпозуючи процеси навчання, інференції та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно завершувати цикли завдань локально і співпрацювати через стандартизовані інтерфейси з механізмами валідації та агрегації. На відміну від традиційних процесів навчання з наглядом, PRIME-RL більше підходить для реалізації еластичного навчання в середовищах без центрального розподілу, що знижує складність системи та закладає основу для підтримки паралельного виконання декількох завдань і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренувань
TOPLOC – це основний механізм перевірки навчання, запропонований Prime Intellect, який використовується для визначення, чи дійсно вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від перерахунку всієї моделі, а завершує верифікацію легковаговою структурою, аналізуючи локальні узгоджені траєкторії між "послідовністю спостережень ↔ оновленням стратегії". Він вперше перетворює поведінкові траєкторії під час навчання на об'єкти, які можна перевірити, що є ключовою інновацією для реалізації бездокументального розподілу навчальних винагород, надаючи здійсненний шлях до створення аудиторної, стимулюючої децентралізованої кооперативної навчальної мережі.
SHARDCAST:Асинхронна вага агрегації та розподілу протоколу
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів у реальних мережевих середовищах. Він поєднує механізм госсіп-поширення з локальною синхронізацією, що дозволяє кільком вузлам продовжувати надсилати часткові оновлення в умовах несинхронізації, реалізуючи поступову конвергенцію ваг та еволюцію з декількома версіями. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до збоїв децентралізованого навчання, є основною базою для побудови стабільного консенсусу ваг та безперервних ітерацій навчання.
OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo – це незалежна реалізація та відкритий код оптимізаційного фреймворку зв'язку, розробленого командою Prime Intellect на базі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для вирішення викликів, що виникають під час децентралізованого навчання, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів. Архітектура базується на паралельній обробці даних, створюючи рідкі топологічні структури, такі як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на комунікацію глобальної синхронізації та завершувати спільне навчання моделі, спираючись лише на сусідні локальні вузли. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі в глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека спільної комунікації
PCCL є легковаговою комунікаційною бібліотекою, створеною Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішення адаптаційних вузьких місць традиційних комунікаційних бібліотек у гетерогенних пристроях та мережах з низькою пропускною спроможністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з точки зупинки, може працювати на споживчих GPU та нестабільних вузлах і є основним компонентом, що підтримує асинхронні комунікаційні можливості протоколу OpenDiLoCo. Він суттєво підвищує толерантність до пропускної спроможності тренувальної мережі та сумісність пристроїв, прокладаючи "останні милі" комунікаційної інфраструктури для створення справді відкритої, не довірчої мережі спільного навчання.
Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренування, що не потребує дозволу, є перевірною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях та отримувати нагороди на основі реальних внесків. Протокол функціонує на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг та виплату винагород, формуючи стимулюючий замкнутий цикл навколо "реальної навчальної поведінки".
INTELLECT-2:Перший перевірений децентралізований навчальний модель.
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель навчання з підкріпленням, що була створена за допомогою асинхронного, недовіреного децентралізованого співробітництва вузлів, з кількістю параметрів 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, з використанням повністю асинхронної архітектури, тривалість навчання перевищила 400 годин, демонструючи життєздатність та стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, але й першим системним втіленням парадигми "навчання є консенсусом", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні модулі протоколів PRIME-RL, TOPLOC та SHARDCAST, що знаменує собою перше досягнення в децентралізованій навчальній мережі у відкритості, перевірності та економіці процесу навчання.