Еволюція парадигми навчання ШІ: від централізованого контролю до децентралізованої кооперації технічна революція
У повній вартості ланцюга AI, навчання моделей є етапом з найбільшим споживанням ресурсів та найвищими технічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та фактичні результати застосування. У порівнянні з легковаговим викликом на етапі висновку, процес навчання вимагає постійних великих обсягів обчислювальних потужностей, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" будівництва систем AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою даної статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується однією організацією в локальному кластері високої продуктивності, де всі етапи навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки, координуються єдиною системою контролю. Ця глибока співпраця архітектури забезпечує оптимальну ефективність в обміні пам'яттю, синхронізації градієнтів і механізмах відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контролю ресурсів, але водночас вона має проблеми з монополією даних, бар'єрами для ресурсів, енергоспоживанням і ризиком єдиного пункту відмови.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично воно має "розподілені" характеристики, загалом все ще контролюється централізованими установами, які здійснюють управління та синхронізацію, зазвичай працює в середовищі високошвидкісної локальної мережі, за допомогою технології високошвидкісної міжмашинної взаємодії NVLink, головний вузол координує субзавдання. Основні методи включають:
Паралельність даних: кожен вузол навчає різні дані, параметри спільні, потрібно співвіднести ваги моделі
Паралельне моделювання: розгортання різних частин моделі на різних вузлах для забезпечення високої масштабованості
Паралельні канали: поетапне послідовне виконання, підвищення пропускної здатності
Тензорне паралельне: тонке розподілення матричних обчислень, підвищення паралельної гранулярності
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співробітниками кількох "офісів" для виконання завдань. Наразі практично всі основні великі моделі навчаються таким чином.
Децентралізація навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його ключовою особливістю є: кілька недовірливих вузлів співпрацюють для виконання навчальних завдань без центрального координатора, зазвичай через протоколи, що забезпечують розподіл завдань та співпрацю, а також за допомогою механізмів криптостимулювання для забезпечення чесності внесків. Основними викликами, з якими стикається ця модель, є:
Гетерогенність пристроїв та складнощі сегментації: висока складність координації гетерогенних пристроїв, низька ефективність сегментації завдань
Вузьке місце в ефективності зв'язку: нестабільний мережевий зв'язок, явне вузьке місце в синхронізації градієнтів
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях.
Відсутність єдиної координації: немає центрального диспетчера, складний механізм розподілу завдань та відкату помилок
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які по-різному вносять обчислювальну потужність для спільного тренування моделі, але "справді життєздатне масове децентралізоване тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "ефективно співпрацювати + заохочувати чесність + отримувати правильні результати" все ще перебуває на етапі раннього прототипування.
Федеративне навчання, як перехідна форма між розподіленістю та Децентралізацією, підкреслює локальне зберігання даних та централізовану агрегацію параметрів моделі, що підходить для сценаріїв, що акцентують увагу на дотриманні конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні координаційні можливості, одночасно володіючи перевагами розподіленої обробки даних під час децентралізованого навчання, але все ще залежить від надійного координатора і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольоване децентралізоване" рішення у сценаріях дотримання конфіденційності, яке є відносно м'яким у виконанні завдань навчання, структурі довіри та комунікаційних механізмах, що робить його більш придатним для перехідних архітектур у промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або великі труднощі в кооперації, воно природно не підходить для ефективного виконання між гетерогенними, бездовереними вузлами. Наприклад, навчання великих моделей часто залежить від великої відеопам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподіл та синхронізацію в відкритих мережах; завдання, що мають сильні обмеження на конфіденційність даних і суверенітет, обмежені юридичними нормами та етичними обмеженнями, тому не можуть бути відкрито поділені; а завдання, які не мають бази для коопераційних стимулів, відчувають брак зовнішніх мотивацій для участі. Ці межі разом формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним твердженням. Насправді, у структурно легких, легких для паралельного виконання, стимулюючих типах завдань, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання з поведінковим вирівнюванням, навчання та маркування даних за допомогою краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і толерантність до гетерогенної обчислювальної потужності, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів аналіз
На сьогоднішній день в області децентралізованого навчання та федеративного навчання провідними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритми, представляючи передові напрямки сучасних теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, і вже можна спостерігати перші інженерні досягнення. У цій статті буде послідовно проаналізовано основні технології та інженерну архітектуру цих п'яти проектів, а також додатково досліджено їх відмінності та взаємодоповнюючі відносини в децентралізованій AI навчальній системі.
Prime Intellect: тренувальна траєкторія, що може бути перевірена, посилена навчальна співпраця мережевих піонерів
Prime Intellect прагне створити мережу навчання ШІ без довіри, щоб кожен міг брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect хоче створити децентралізовану систему навчання ШІ з верифікацією, відкритістю та розвиненою системою стимулів через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Один, Структура протоколу Prime Intellect і цінність ключових модулів
Два, детальний розгляд ключових механізмів навчання Prime Intellect
PRIME-RL: архітектура завдань асинхронного навчання з підкріпленням з декомпозицією
PRIME-RL є рамкою моделювання та виконання завдань, розробленою Prime Intellect для децентралізованих тренувальних сценаріїв, спеціально створеною для гетерогенних мереж та асинхронних учасників. Вона використовує посилене навчання як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, висновків та завантаження ваг, що дозволяє кожному тренувальному вузлу незалежно завершувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами перевірки та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL більше підходить для реалізації гнучкого навчання в умовах безцентрового управління, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегій на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повне перерахування моделі, а замість цього аналізує локально узгоджені траєкторії між "послідовністю спостережень ↔ оновленням стратегій" для завершення верифікації легкоструктурованих об'єктів. Він вперше перетворює траєкторії поведінки в процесі навчання на об'єкти, що підлягають перевірці, і є ключовою інновацією для реалізації розподілу винагород за навчання без довіри, що забезпечує реальний шлях до створення аудитованих і стимулюючих децентралізованих мереж спільного навчання.
SHARDCAST: асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених пропускною здатністю та змінних станів вузлів у реальних мережевих умовах. Він поєднує механізм розповсюдження gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах асинхронності, реалізуючи поступову конвергенцію ваг та еволюцію з кількома версіями. Порівняно з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервних ітерацій навчання.
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом фреймворку оптимізації зв'язку, створеним командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для подолання викликів, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто зустрічаються в децентралізованому навчанні. Його архітектура заснована на паралельності даних, шляхом побудови рідкісних топологічних структур, таких як кільце, розширювач, маленький світ, уникаючи високих витрат на зв'язок при глобальній синхронізації, і може виконувати спільне навчання моделі, покладаючись лише на сусідні локальні вузли. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека співпраці
PCCL є легковаговою бібліотекою зв'язку, спеціально розробленою Prime Intellect для децентралізованого середовища навчання AI, що має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікаційну здатність протоколу OpenDiLoCo. Він суттєво підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання милю" комунікаційної інфраструктури для побудови справжньої відкритої, бездостовірної мережі спільного навчання.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренувань без ліцензії, яку можна перевірити, з економічними стимулюваннями, що дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити навчальне середовище, початкову модель, функцію винагороди та стандарти валідації
Тренувальний вузол: виконання локального тренування, подання оновлень ваг та спостережень.
Вузли верифікації: використання механізму TOPLOC для перевірки автентичності навчальної поведінки та участь у розрахунку винагород і агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг та розподіл винагород, що формує замкнуте коло стимулювання навколо "реальної навчальної поведінки".
Чотири, INTELLECT-2: перше випуск перевірної децентралізованої навчальної моделі
Prime Intellect випустив INTELLECT-2 у травні 2025 року, що є першим у світі великим моделлю посиленого навчання, яка була навчена за допомогою асинхронних, бездостовірних децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, які працювали спільно, використовуючи повністю асинхронну архітектуру, а час навчання перевищує 400 годин, що демонструє здійсненність і стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, але й першим системним втіленням парадигми "навчання - це консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує ключові протоколи, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує собою перше досягнення децентралізованої навчальної мережі у здійсненні процесу навчання.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
12 лайків
Нагородити
12
6
Поділіться
Прокоментувати
0/400
CafeMinor
· 1год тому
Нарешті можу використовувати фрагменти обчислювальної потужності! Треба знайти надійний проєкт для участі в тренуванні.
Переглянути оригіналвідповісти на0
PumpBeforeRug
· 07-29 08:34
Ця хвиля великого пампу запланована! Тримайтеся!
Переглянути оригіналвідповісти на0
WhaleStalker
· 07-29 00:52
Федеративне навчання вже давно стало предметом спекуляцій.
Переглянути оригіналвідповісти на0
PaperHandsCriminal
· 07-29 00:46
Важка позиція, так? Моя важка позиція може змагатися з цим.
Переглянути оригіналвідповісти на0
SilentObserver
· 07-29 00:44
Так званий децентралізований, де ж насправді є децентралізація?
Революція у парадигмах навчання ШІ: технічна еволюція від централізації до Децентралізації
Еволюція парадигми навчання ШІ: від централізованого контролю до децентралізованої кооперації технічна революція
У повній вартості ланцюга AI, навчання моделей є етапом з найбільшим споживанням ресурсів та найвищими технічними бар'єрами, що безпосередньо визначає верхню межу можливостей моделі та фактичні результати застосування. У порівнянні з легковаговим викликом на етапі висновку, процес навчання вимагає постійних великих обсягів обчислювальних потужностей, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" будівництва систем AI. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою даної статті.
Централізоване навчання є найпоширенішим традиційним способом, який виконується однією організацією в локальному кластері високої продуктивності, де всі етапи навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки, координуються єдиною системою контролю. Ця глибока співпраця архітектури забезпечує оптимальну ефективність в обміні пам'яттю, синхронізації градієнтів і механізмах відмовостійкості, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контролю ресурсів, але водночас вона має проблеми з монополією даних, бар'єрами для ресурсів, енергоспоживанням і ризиком єдиного пункту відмови.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислень і зберігання на одному комп'ютері. Хоча фізично воно має "розподілені" характеристики, загалом все ще контролюється централізованими установами, які здійснюють управління та синхронізацію, зазвичай працює в середовищі високошвидкісної локальної мережі, за допомогою технології високошвидкісної міжмашинної взаємодії NVLink, головний вузол координує субзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співробітниками кількох "офісів" для виконання завдань. Наразі практично всі основні великі моделі навчаються таким чином.
Децентралізація навчання означає більш відкритий і стійкий до цензури шлях у майбутнє. Його ключовою особливістю є: кілька недовірливих вузлів співпрацюють для виконання навчальних завдань без центрального координатора, зазвичай через протоколи, що забезпечують розподіл завдань та співпрацю, а також за допомогою механізмів криптостимулювання для забезпечення чесності внесків. Основними викликами, з якими стикається ця модель, є:
Децентралізація тренування можна зрозуміти як: група глобальних волонтерів, які по-різному вносять обчислювальну потужність для спільного тренування моделі, але "справді життєздатне масове децентралізоване тренування" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "ефективно співпрацювати + заохочувати чесність + отримувати правильні результати" все ще перебуває на етапі раннього прототипування.
Федеративне навчання, як перехідна форма між розподіленістю та Децентралізацією, підкреслює локальне зберігання даних та централізовану агрегацію параметрів моделі, що підходить для сценаріїв, що акцентують увагу на дотриманні конфіденційності. Федеративне навчання має інженерну структуру розподіленого навчання та локальні координаційні можливості, одночасно володіючи перевагами розподіленої обробки даних під час децентралізованого навчання, але все ще залежить від надійного координатора і не має повністю відкритих і антикорупційних характеристик. Його можна розглядати як "контрольоване децентралізоване" рішення у сценаріях дотримання конфіденційності, яке є відносно м'яким у виконанні завдань навчання, структурі довіри та комунікаційних механізмах, що робить його більш придатним для перехідних архітектур у промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або великі труднощі в кооперації, воно природно не підходить для ефективного виконання між гетерогенними, бездовереними вузлами. Наприклад, навчання великих моделей часто залежить від великої відеопам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розподіл та синхронізацію в відкритих мережах; завдання, що мають сильні обмеження на конфіденційність даних і суверенітет, обмежені юридичними нормами та етичними обмеженнями, тому не можуть бути відкрито поділені; а завдання, які не мають бази для коопераційних стимулів, відчувають брак зовнішніх мотивацій для участі. Ці межі разом формують реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є хибним твердженням. Насправді, у структурно легких, легких для паралельного виконання, стимулюючих типах завдань, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання з поведінковим вирівнюванням, навчання та маркування даних за допомогою краудсорсингу, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і толерантність до гетерогенної обчислювальної потужності, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори та інші способи.
Децентралізація тренування класичних проектів аналіз
На сьогоднішній день в області децентралізованого навчання та федеративного навчання провідними блокчейн-проектами є Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритми, представляючи передові напрямки сучасних теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io є відносно зрозумілими, і вже можна спостерігати перші інженерні досягнення. У цій статті буде послідовно проаналізовано основні технології та інженерну архітектуру цих п'яти проектів, а також додатково досліджено їх відмінності та взаємодоповнюючі відносини в децентралізованій AI навчальній системі.
Prime Intellect: тренувальна траєкторія, що може бути перевірена, посилена навчальна співпраця мережевих піонерів
Prime Intellect прагне створити мережу навчання ШІ без довіри, щоб кожен міг брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect хоче створити децентралізовану систему навчання ШІ з верифікацією, відкритістю та розвиненою системою стимулів через три основні модулі: PRIME-RL + TOPLOC + SHARDCAST.
Один, Структура протоколу Prime Intellect і цінність ключових модулів
Два, детальний розгляд ключових механізмів навчання Prime Intellect
PRIME-RL: архітектура завдань асинхронного навчання з підкріпленням з декомпозицією
PRIME-RL є рамкою моделювання та виконання завдань, розробленою Prime Intellect для децентралізованих тренувальних сценаріїв, спеціально створеною для гетерогенних мереж та асинхронних учасників. Вона використовує посилене навчання як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, висновків та завантаження ваг, що дозволяє кожному тренувальному вузлу незалежно завершувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами перевірки та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL більше підходить для реалізації гнучкого навчання в умовах безцентрового управління, що знижує складність системи та закладає основу для підтримки паралельних багатозадачних процесів та еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, що використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегій на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не покладається на повне перерахування моделі, а замість цього аналізує локально узгоджені траєкторії між "послідовністю спостережень ↔ оновленням стратегій" для завершення верифікації легкоструктурованих об'єктів. Він вперше перетворює траєкторії поведінки в процесі навчання на об'єкти, що підлягають перевірці, і є ключовою інновацією для реалізації розподілу винагород за навчання без довіри, що забезпечує реальний шлях до створення аудитованих і стимулюючих децентралізованих мереж спільного навчання.
SHARDCAST: асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом вагового розповсюдження та агрегації, розробленим Prime Intellect, спеціально оптимізованим для асинхронних, обмежених пропускною здатністю та змінних станів вузлів у реальних мережевих умовах. Він поєднує механізм розповсюдження gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах асинхронності, реалізуючи поступову конвергенцію ваг та еволюцію з кількома версіями. Порівняно з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервних ітерацій навчання.
OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежною реалізацією та відкритим вихідним кодом фреймворку оптимізації зв'язку, створеним командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Він спеціально розроблений для подолання викликів, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто зустрічаються в децентралізованому навчанні. Його архітектура заснована на паралельності даних, шляхом побудови рідкісних топологічних структур, таких як кільце, розширювач, маленький світ, уникаючи високих витрат на зв'язок при глобальній синхронізації, і може виконувати спільне навчання моделі, покладаючись лише на сусідні локальні вузли. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
PCCL:Бібліотека співпраці
PCCL є легковаговою бібліотекою зв'язку, спеціально розробленою Prime Intellect для децентралізованого середовища навчання AI, що має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікаційну здатність протоколу OpenDiLoCo. Він суттєво підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання милю" комунікаційної інфраструктури для побудови справжньої відкритої, бездостовірної мережі спільного навчання.
Три, Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу тренувань без ліцензії, яку можна перевірити, з економічними стимулюваннями, що дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг та розподіл винагород, що формує замкнуте коло стимулювання навколо "реальної навчальної поведінки".
Чотири, INTELLECT-2: перше випуск перевірної децентралізованої навчальної моделі
Prime Intellect випустив INTELLECT-2 у травні 2025 року, що є першим у світі великим моделлю посиленого навчання, яка була навчена за допомогою асинхронних, бездостовірних децентралізованих вузлів. Кількість параметрів досягає 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 гетерогенних вузлів GPU, розташованих на трьох континентах, які працювали спільно, використовуючи повністю асинхронну архітектуру, а час навчання перевищує 400 годин, що демонструє здійсненність і стабільність асинхронної кооперативної мережі. Ця модель є не лише проривом у продуктивності, але й першим системним втіленням парадигми "навчання - це консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує ключові протоколи, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує собою перше досягнення децентралізованої навчальної мережі у здійсненні процесу навчання.