Еволюція парадигми навчання ШІ: від централізованого контролю до Децентралізація співпраці технологічна революція
У повній ціннісній ланці AI, навчання моделей є найбільш ресурсомістким і з найвищими технологічними бар'єрами етапом, який безпосередньо визначає максимальні можливості моделі та реальний ефект застосування. На відміну від легковагового виклику на етапі виведення, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що є справжньою "важкою промисловістю" побудови AI-систем. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найбільш поширеним традиційним способом, який виконується єдиним агентом в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи планування кластерів до всіх компонентів навчальної рамки, координується єдиною системою управління. Така архітектура глибокої координації забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що дуже підходить для навчання великих моделей, таких як GPT, Gemini, має високий рівень ефективності та контрольованість ресурсів, але в той же час стикається з проблемами монополії даних, бар'єрів для ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдання навчання моделі на кілька машин, які працюють разом для подолання вузьких місць обчислень та зберігання на одному комп'ютері. Хоча фізично має "розподілений" характер, але загалом контролюється та координується централізованою установою, зазвичай працює в середовищі швидкої локальної мережі, через технологію швидкісної інтерконектної шини NVLink, головний вузол централізовано координує всі підзавдання. Основні методи включають:
Паралелізація даних: кожен вузол тренує різні дані, параметри спільні, потрібно узгодити ваги моделі
Модельне паралелювання: розгортання різних частин моделі на різних вузлах для досягнення сильної масштабованості
Паралельне виконання: поетапне послідовне виконання, підвищення пропускної спроможності
Тензорне паралельне обчислення: уточнене розподілення матричних обчислень, підвищення рівня паралелізму
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же бос віддалено керує співробітниками кількох "офісів" для виконання завдання. Наразі практично всі основні великі моделі навчаються саме таким способом.
Децентралізація тренування означає більш відкритий та антикорупційний шлях у майбутньому. Його основні характеристики: кілька взаємно недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або периферійними пристроями ), які спільно виконують навчальні завдання без центрального координатора, зазвичай через протокол, що керує розподілом завдань та співпрацею, а також використовуючи механізми криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Гетерогенність пристроїв та складнощі розподілу: висока складність узгодження гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце ефективності зв'язку: нестабільна мережна комунікація, помітне вузьке місце синхронізації градієнтів
Відсутність надійного виконання: відсутність надійного середовища виконання ускладнює перевірку того, чи дійсно вузли беруть участь у обчисленнях.
Відсутність єдиної координації: немає центрального диспетчера, складний розподіл завдань, механізм відкату помилок
Децентралізоване навчання можна розглядати як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді здійсненне масштабне децентралізоване навчання" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "спільно ефективно + заохочувати чесність + отримувати правильні результати" все ще перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між розподіленістю та Децентралізацією, підкреслює локальне збереження даних та централізовану агрегацію параметрів моделі, що підходить для сценаріїв, де важлива відповідність вимогам конфіденційності, таких як медичні послуги, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальну кооперативну здатність, одночасно володіючи перевагами розподілених даних у навчанні з Децентралізацією. Однак воно все ще залежить від надійного координатора і не має повністю відкритих та антицензурних характеристик. Це можна розглядати як "контрольовану Децентралізацію" у сценаріях відповідності вимогам конфіденційності, яка є відносно м'якою у навчальних завданнях, структурах довіри та механізмах зв'язку, що робить її більш придатною для промислового перехідного розгортання.
) Панорамна таблиця порівняння парадигм навчання AI ### Технічна архітектура × Довіра та стимулювання × Особливості застосування (
![Еволюція парадигми AI-тренування: від централізованого контролю до Децентралізація кооперації технічна революція])https://img-cdn.gateio.im/webp-social/moments-a03035c30dc3b5258366773e1ab0e495.webp(
) Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У певних ситуаціях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або значні труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розділення та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних і обмеженнями суверенітету ###, такі як медицина, фінанси, конфіденційні дані (, обмежені правовими вимогами та етичними нормами, не можуть бути відкритими для обміну; а завдання ), які не мають основи для співпраці, такі як закриті моделі підприємств або внутрішнє навчання прототипів (, позбавлені зовнішньої мотивації для участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у типах завдань, що мають легку структуру, легко паралелізуються та можуть бути стимулюючими, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання, що пов'язані з поведінкою, такі як RLHF, DPO), краудсорсингове навчання та розмітка даних, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, дистрибутивні оптимізатори та інші способи.
(# Децентралізація тренувальних завдань адаптації загальний огляд таблиці
![Еволюція парадигми навчання ШІ: від централізованого контролю до Децентралізація співпраці технічна революція])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp###
( Децентралізація тренування класичних проектів аналіз
Наразі в передових областях децентралізованого навчання та федеративного навчання, репрезентативні блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували значну кількість оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрямки сучасних теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже видно перші кроки інженерного прогресу. У цій статті буде послідовно проаналізовано ключові технології та інженерні архітектури цих п'яти проектів, а також подальше обговорення їх відмінностей та взаємодоповнюючих зв'язків у децентралізованій AI навчальній системі.
)# Prime Intellect: тренувальні траєкторії, які можна перевірити, посилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання ШІ, що не потребує довіри, аби будь-хто міг долучитися до навчання та отримати надійні винагороди за свої обчислювальні внески. Prime Intellect має на меті створити децентралізовану систему навчання ШІ з верифікацією, відкритістю та повноцінним механізмом стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
Одна, структура протоколу Prime Intellect та цінність ключових модулів
![Еволюція парадигми тренування ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці]###https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###
Два, детальний аналіз ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура задач асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є модульною системою завдань, розробленою Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеною для гетерогенних мереж і асинхронної участі. Вона використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно розділяючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизований інтерфейс з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в середовищах без централізованого керування, що знижує складність системи та закладає основу для підтримки паралельного виконання декількох завдань і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки навчання
TOPLOC(Достовірне спостереження та перевірка політики-локальності) є основним механізмом перевірки навчання, запропонованим Prime Intellect, для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторних розрахунків усієї моделі, а проводить аналіз локальної узгодженості між "послідовністю спостережень ↔ оновленням стратегії", для завершення верифікації легковагової структури. Вперше він перетворює поведінкові траєкторії під час навчання на перевіряємий об'єкт, що є ключовою інновацією для досягнення бездостовірного розподілу винагород за навчання, і надає прийнятний шлях для побудови аудиторської, заохочувальної децентралізованої мережі спільного навчання.
SHARDCAST: асинхронний протокол агрегації та розповсюдження ваг
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та з мінливим станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах неузгодженого стану, досягаючи прогресивної збіжності ваг та еволюції кількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до збоїв децентралізованого навчання, становлячи основну базу для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo є незалежно реалізованою та відкритою рамкою оптимізації зв'язку, розробленою командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально створеною для вирішення поширених проблем, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів під час децентралізованого навчання. Його архітектура базується на паралелізації даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на зв'язок під час глобальної синхронізації і завершувати спільне навчання моделі, покладаючись лише на сусідні локальні вузли. Завдяки асинхронному оновленню та механізму відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та краєвидним пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи участь у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для створення децентралізованої навчальної мережі.
PCCL:Бібліотека координаційного зв'язку
PCCL(Prime Collective Communication Library) є легковаговою бібліотекою зв'язку, розробленою Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку (, таких як NCCL, Gloo), в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Це суттєво підвищує пропускну здатність мережі для навчання та сумісність пристроїв, прокладаючи "остання миля" зв'язку для створення справді відкритої, без довіри мережі спільного навчання.
Три. Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect створив бездозвільну, перевіряльну та економічно стимулюючу тренувальну мережу, яка дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ініціатор завдання: визначити середовище навчання, початкову модель, функцію винагороди та критерії перевірки
Тренувальний вузол: виконує локальне навчання, подає оновлення ваги та спостережувану траєкторію
Вузли верифікації: використання механізму TOPLOC для перевірки справжності навчальних дій та участі в розрахунку винагород і агрегації стратегій
Ядро процесу угоди включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг ( SHARDCAST ) та виплату винагород, що формує інвестиційний замкнутий контур навколо "реальних навчальних дій".
Чотири, INTELLECT-2: перше підтверджене децентралізоване навчальне моделювання
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі модель глибокого навчання, що була навчена за допомогою асинхронних, бездостатніх децентралізованих вузлів.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
22 лайків
Нагородити
22
6
Поділіться
Прокоментувати
0/400
digital_archaeologist
· 07-20 15:58
Виявляється, у ботів також є класова система.
Переглянути оригіналвідповісти на0
TokenVelocity
· 07-20 08:03
Чи не є централізованість раковою пухлиною? Чи можна увійти в позицію в цій ситуації?
Переглянути оригіналвідповісти на0
GasFeeCrying
· 07-19 11:10
Тренувальні витрати справді високі.. справжні сльози від газових витрат
Переглянути оригіналвідповісти на0
SchrodingersPaper
· 07-17 17:01
Смерть від сміху, знову революція на папері
Переглянути оригіналвідповісти на0
not_your_keys
· 07-17 16:54
Га, це ж знову створення infura?
Переглянути оригіналвідповісти на0
DeFiCaffeinator
· 07-17 16:43
Децентралізація ai занадто складна і занадто дорога
Революція в парадигмах навчання ШІ: від централізованого контролю до Децентралізації співпраці
Еволюція парадигми навчання ШІ: від централізованого контролю до Децентралізація співпраці технологічна революція
У повній ціннісній ланці AI, навчання моделей є найбільш ресурсомістким і з найвищими технологічними бар'єрами етапом, який безпосередньо визначає максимальні можливості моделі та реальний ефект застосування. На відміну від легковагового виклику на етапі виведення, процес навчання вимагає постійних великих обсягів обчислювальної потужності, складних процесів обробки даних та підтримки інтенсивних алгоритмів оптимізації, що є справжньою "важкою промисловістю" побудови AI-систем. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.
Централізоване навчання є найбільш поширеним традиційним способом, який виконується єдиним агентом в локальному високопродуктивному кластері, де весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи планування кластерів до всіх компонентів навчальної рамки, координується єдиною системою управління. Така архітектура глибокої координації забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що дуже підходить для навчання великих моделей, таких як GPT, Gemini, має високий рівень ефективності та контрольованість ресурсів, але в той же час стикається з проблемами монополії даних, бар'єрів для ресурсів, споживання енергії та ризику єдиної точки.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в розподілі завдання навчання моделі на кілька машин, які працюють разом для подолання вузьких місць обчислень та зберігання на одному комп'ютері. Хоча фізично має "розподілений" характер, але загалом контролюється та координується централізованою установою, зазвичай працює в середовищі швидкої локальної мережі, через технологію швидкісної інтерконектної шини NVLink, головний вузол централізовано координує всі підзавдання. Основні методи включають:
Розподілене навчання є поєднанням "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же бос віддалено керує співробітниками кількох "офісів" для виконання завдання. Наразі практично всі основні великі моделі навчаються саме таким способом.
Децентралізація тренування означає більш відкритий та антикорупційний шлях у майбутньому. Його основні характеристики: кілька взаємно недовірливих вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або периферійними пристроями ), які спільно виконують навчальні завдання без центрального координатора, зазвичай через протокол, що керує розподілом завдань та співпрацею, а також використовуючи механізми криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізоване навчання можна розглядати як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді здійсненне масштабне децентралізоване навчання" все ще є системним інженерним викликом, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можливо "спільно ефективно + заохочувати чесність + отримувати правильні результати" все ще перебуває на ранній стадії прототипування.
Федеративне навчання, як перехідна форма між розподіленістю та Децентралізацією, підкреслює локальне збереження даних та централізовану агрегацію параметрів моделі, що підходить для сценаріїв, де важлива відповідність вимогам конфіденційності, таких як медичні послуги, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальну кооперативну здатність, одночасно володіючи перевагами розподілених даних у навчанні з Децентралізацією. Однак воно все ще залежить від надійного координатора і не має повністю відкритих та антицензурних характеристик. Це можна розглядати як "контрольовану Децентралізацію" у сценаріях відповідності вимогам конфіденційності, яка є відносно м'якою у навчальних завданнях, структурах довіри та механізмах зв'язку, що робить її більш придатною для промислового перехідного розгортання.
) Панорамна таблиця порівняння парадигм навчання AI ### Технічна архітектура × Довіра та стимулювання × Особливості застосування (
![Еволюція парадигми AI-тренування: від централізованого контролю до Децентралізація кооперації технічна революція])https://img-cdn.gateio.im/webp-social/moments-a03035c30dc3b5258366773e1ab0e495.webp(
) Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У певних ситуаціях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або значні труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює ефективне розділення та синхронізацію в відкритих мережах; завдання з сильною конфіденційністю даних і обмеженнями суверенітету ###, такі як медицина, фінанси, конфіденційні дані (, обмежені правовими вимогами та етичними нормами, не можуть бути відкритими для обміну; а завдання ), які не мають основи для співпраці, такі як закриті моделі підприємств або внутрішнє навчання прототипів (, позбавлені зовнішньої мотивації для участі. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопроблемою. Насправді, у типах завдань, що мають легку структуру, легко паралелізуються та можуть бути стимулюючими, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання, що пов'язані з поведінкою, такі як RLHF, DPO), краудсорсингове навчання та розмітка даних, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю крайових пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для кооперативного навчання через P2P мережі, протокол Swarm, дистрибутивні оптимізатори та інші способи.
(# Децентралізація тренувальних завдань адаптації загальний огляд таблиці
![Еволюція парадигми навчання ШІ: від централізованого контролю до Децентралізація співпраці технічна революція])https://img-cdn.gateio.im/webp-social/moments-f0af7b28242215cca3784f0547830879.webp###
( Децентралізація тренування класичних проектів аналіз
Наразі в передових областях децентралізованого навчання та федеративного навчання, репрезентативні блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували значну кількість оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрямки сучасних теоретичних досліджень; в той час як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже видно перші кроки інженерного прогресу. У цій статті буде послідовно проаналізовано ключові технології та інженерні архітектури цих п'яти проектів, а також подальше обговорення їх відмінностей та взаємодоповнюючих зв'язків у децентралізованій AI навчальній системі.
)# Prime Intellect: тренувальні траєкторії, які можна перевірити, посилена навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання ШІ, що не потребує довіри, аби будь-хто міг долучитися до навчання та отримати надійні винагороди за свої обчислювальні внески. Prime Intellect має на меті створити децентралізовану систему навчання ШІ з верифікацією, відкритістю та повноцінним механізмом стимулювання за допомогою трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST.
Одна, структура протоколу Prime Intellect та цінність ключових модулів
![Еволюція парадигми тренування ШІ: від централізованого контролю до технологічної революції децентралізованої співпраці]###https://img-cdn.gateio.im/webp-social/moments-3a83d085e7a7abfe72221958419cd6d8.webp###
Два, детальний аналіз ключових механізмів тренування Prime Intellect
PRIME-RL: архітектура задач асинхронного підкріплювального навчання з декомпозицією
PRIME-RL є модульною системою завдань, розробленою Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеною для гетерогенних мереж і асинхронної участі. Вона використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно розділяючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикл завдань локально та співпрацювати через стандартизований інтерфейс з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в середовищах без централізованого керування, що знижує складність системи та закладає основу для підтримки паралельного виконання декількох завдань і еволюції стратегій.
TOPLOC: легкий механізм верифікації поведінки навчання
TOPLOC(Достовірне спостереження та перевірка політики-локальності) є основним механізмом перевірки навчання, запропонованим Prime Intellect, для визначення, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторних розрахунків усієї моделі, а проводить аналіз локальної узгодженості між "послідовністю спостережень ↔ оновленням стратегії", для завершення верифікації легковагової структури. Вперше він перетворює поведінкові траєкторії під час навчання на перевіряємий об'єкт, що є ключовою інновацією для досягнення бездостовірного розподілу винагород за навчання, і надає прийнятний шлях для побудови аудиторської, заохочувальної децентралізованої мережі спільного навчання.
SHARDCAST: асинхронний протокол агрегації та розповсюдження ваг
SHARDCAST є протоколом вагового поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та з мінливим станом вузлів реальних мережевих середовищ. Він поєднує механізм поширення gossip з локальною синхронізацією, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах неузгодженого стану, досягаючи прогресивної збіжності ваг та еволюції кількох версій. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST значно підвищує масштабованість та стійкість до збоїв децентралізованого навчання, становлячи основну базу для побудови стабільного консенсусу ваг та безперервної ітерації навчання.
OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є незалежно реалізованою та відкритою рамкою оптимізації зв'язку, розробленою командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально створеною для вирішення поширених проблем, таких як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів під час децентралізованого навчання. Його архітектура базується на паралелізації даних, шляхом побудови розріджених топологій, таких як кільце, розширювач, малий світ, що дозволяє уникнути високих витрат на зв'язок під час глобальної синхронізації і завершувати спільне навчання моделі, покладаючись лише на сусідні локальні вузли. Завдяки асинхронному оновленню та механізму відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та краєвидним пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи участь у глобальному кооперативному навчанні, що є однією з ключових комунікаційних інфраструктур для створення децентралізованої навчальної мережі.
PCCL:Бібліотека координаційного зв'язку
PCCL(Prime Collective Communication Library) є легковаговою бібліотекою зв'язку, розробленою Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку (, таких як NCCL, Gloo), в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Це суттєво підвищує пропускну здатність мережі для навчання та сумісність пристроїв, прокладаючи "остання миля" зв'язку для створення справді відкритої, без довіри мережі спільного навчання.
Три. Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect створив бездозвільну, перевіряльну та економічно стимулюючу тренувальну мережу, яка дозволяє будь-кому брати участь у завданнях та отримувати винагороду на основі реального внеску. Протокол працює на основі трьох основних ролей:
Ядро процесу угоди включає в себе публікацію завдань, навчання вузлів, верифікацію траєкторій, агрегацію ваг ( SHARDCAST ) та виплату винагород, що формує інвестиційний замкнутий контур навколо "реальних навчальних дій".
Чотири, INTELLECT-2: перше підтверджене децентралізоване навчальне моделювання
Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі модель глибокого навчання, що була навчена за допомогою асинхронних, бездостатніх децентралізованих вузлів.