Святий Грааль Crypto AI: Децентралізація тренування на передовій

У всій ціннісній ланцюжку AI, навчання моделей є етапом з найбільшими витратами ресурсів та найвищими технічними бар'єрами, що безпосередньо визначає межі здатності моделі та фактичну ефективність застосування. На відміну від легковагих викликів на етапі інференції, процес навчання потребує постійних інвестицій у великомасштабні обчислювальні потужності, складні процеси обробки даних та підтримки високоефективних алгоритмів оптимізації, що є справжньою "важкою промисловістю" в побудові AI систем. З точки зору архітектурних парадигм, методи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке є основною темою цієї статті.

Централізоване навчання є найпоширенішим традиційним способом, що здійснюється єдиною установою в локальному кластері високої продуктивності, де весь процес навчання, від апаратного забезпечення, програмного забезпечення нижнього рівня, системи управління кластером до всіх компонентів навчальної рамки, координується єдиною системою контролю. Така глибока координація архітектури забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів та механізмів помилок, що робить її дуже підходящою для навчання великих моделей, таких як GPT, Gemini, з перевагами високої ефективності та контрольованих ресурсів, але водночас існують проблеми монополії даних, бар'єрів для ресурсів, споживання енергії та ризику єдиної точки.

Розподілене навчання є основним методом навчання великих моделей, його суть полягає в розподілі завдань навчання моделі на кілька машин для спільного виконання, щоб подолати обмеження обчислення та зберігання на одному комп'ютері. Незважаючи на те, що фізично має "розподілену" характеристику, в цілому все ще контролюється централізованими установами, які займаються управлінням та синхронізацією, зазвичай працює в середовищі високошвидкісної локальної мережі, через технологію високошвидкісної міжмашинної зв'язки NVLink, головний вузол централізовано координує всі підзавдання. Основні методи включають:

• Дані паралельність: кожен вузол навчає різні дані, параметри спільні, потрібно відповідати вазі моделі
• Модельна паралельність: розгортання різних частин моделі на різних вузлах для досягнення сильної масштабованості
• Паралельне виконання: поетапне серійне виконання, підвищує пропускну спроможність
• Тензорне паралельне: детальне розділення матричних обчислень, підвищення паралельного розміру

Розподілене навчання є комбінацією «централізованого контролю + розподіленого виконання», аналогічно тому, як один керівник дистанційно керує співпрацею кількох «офісних» співробітників для виконання завдання. Наразі майже всі основні великі моделі навчаються саме таким чином.

Децентралізоване навчання представляє більш відкритий і стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у наступному: кілька ненадійних вузлів ( можуть бути домашніми комп'ютерами, хмарними GPU або крайніми пристроями ), які спільно виконують навчальні завдання без центрального координатора, зазвичай через протокол, що керує розподілом завдань і співпрацею, та за допомогою механізму криптостимулів, що забезпечує чесність внесків. Основні виклики, з якими стикається ця модель, включають:

• Проблеми з гетерогенністю пристроїв та їх розподілом: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
• Вузьке місце в ефективності зв'язку: нестабільність мережевої комунікації, очевидне вузьке місце в синхронізації градієнтів
• Відсутність надійного виконання: брак надійного середовища виконання, важко перевірити, чи дійсно вузол бере участь у обчисленнях
• Відсутність єдиної координації: немає центрального диспетчера, складне розподілення завдань та механізм відкату помилок

Децентралізоване навчання можна зрозуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "дійсно здійсненне великомасштабне децентралізоване навчання" все ще є системною інженерною проблемою, що охоплює архітектуру системи, комунікаційні протоколи, криптографічну безпеку, економічні механізми, валідацію моделей та інші аспекти, але чи можна "ефективно співпрацювати + стимулювати чесність + отримувати правильні результати" досі перебуває на етапі раннього прототипування.

Федеративне навчання, як перехідна форма між розподіленістю та децентралізацією, підкреслює локальне збереження даних і централізовану агрегацію параметрів моделі, що підходить для сцен, де важлива відповідність вимогам щодо конфіденційності, таких як охорона здоров'я, фінанси (. Федеративне навчання має інженерну структуру розподіленого навчання та локальні кооперативні можливості, одночасно маючи переваги розподілених даних децентралізованого навчання, але все ж залежить від надійної координаційної сторони і не має повністю відкритих і антикорупційних характеристик. Це можна розглядати як "контрольовану децентралізацію" в сценах відповідності конфіденційності, з відносно м'якими вимогами до навчальних завдань, структури довіри та комунікаційних механізмів, що більше підходить для промислових перехідних архітектур.

Децентралізація тренувань: межі, можливості та реальні шляхи

З точки зору тренувальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких сценаріях через складну структуру завдання, надзвичайно високі вимоги до ресурсів або великі труднощі в співпраці, воно природно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей зазвичай потребує великої пам'яті, низької затримки та високої пропускної здатності, що ускладнює їх ефективне розподілення та синхронізацію в відкритій мережі; завдання, що мають сильні обмеження щодо конфіденційності даних та суверенітету ), такі як медичні, фінансові або дані, що містять секретну інформацію (, обмежені правовими та етичними вимогами, тому не можуть бути відкритими для обміну; а завдання, які не мають основи для співпраці, такі як закриті моделі підприємств або навчання внутрішніх прототипів ), не мають зовнішнього стимулу для участі. Ці межі разом формують реальні обмеження децентралізованого навчання сьогодні.

Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у типах завдань, які мають легку структуру, легко паралелізуються та можуть бути заохочуваними, децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: LoRA доопрацювання, завдання після навчання, пов'язані з поведінкою (, такі як RLHF, DPO ), навчання та розмітка даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії кооперативного навчання з участю периферійних пристроїв. Ці завдання зазвичай мають високу паралельність, низьку зв'язаність і терпимість до гетерогенних обчислювальних потужностей, що робить їх дуже придатними для спільного навчання через P2P мережі, протокол Swarm, розподілені оптимізатори тощо.

Децентралізація тренування класичних проектів аналіз

Наразі у передових сферах децентралізованого навчання та федеративного навчання, представницькі блокчейн-проекти включають Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технічних інновацій та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували багато оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, що представляє передові напрямки теоретичних досліджень; тоді як шляхи реалізації Gensyn та Flock.io відносно зрозумілі, і вже можна побачити попередній інженерний прогрес. У цій статті буде поетапно проаналізовано основні технології та інженерні структури, що стоять за цими п'ятьма проектами, а також подальше обговорення їхніх відмінностей та взаємодоповнюючих зв'язків у децентралізованій системі навчання ШІ.

( Prime Intellect: тренувальна траєкторія, що підлягає верифікації, посилена навчанням кооперативна мережа піонерів

Prime Intellect прагне створити мережу тренування ШІ, яка не потребує довіри, щоб будь-хто міг брати участь у тренуванні та отримувати надійну винагороду за свої обчислення. Prime Intellect хоче через три основні модулі PRIME-RL + TOPLOC + SHARDCAST створити децентралізовану систему тренування ШІ з верифікацією, відкритістю та повноцінним механізмом стимулювання.

)# 01、Структура протоколу Prime Intellect та цінність ключових модулів

![Святий Грааль Crypto AI: передові дослідження децентралізованого навчання]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###

(# 02、Детальне пояснення ключових механізмів тренування Prime Intellect

#PRIME-RL: архітектура завдань асинхронного підкріплювального навчання з декомпозицією

PRIME-RL є фреймворком для моделювання і виконання завдань, створеним Prime Intellect для децентралізованих тренувальних сцен, спеціально розробленим для гетерогенних мереж і асинхронних учасників. Він використовує підкріплене навчання як пріоритетний об'єкт адаптації, структурно розділяючи процеси навчання, міркування та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно виконувати цикли завдань на місці і співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації еластичного навчання в середовищі без централізованого планування, що знижує складність системи і закладає основу для підтримки паралельного виконання кількох завдань і еволюції стратегій.

#TOPLOC:Легка система верифікації поведінки тренування

TOPLOC)Достовірне спостереження & Перевірка політики-локалізації### є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи дійсно вузол завершив ефективне навчання стратегії на основі спостережуваних даних. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а завершує верифікацію легкоструктурно, аналізуючи локальні узгоджені траєкторії між "послідовністю спостережень↔оновленням стратегії". Вперше він перетворює поведінкові траєкторії навчального процесу на об'єкти, які можна перевіряти, що є ключовою інновацією для реалізації довіри, нагороди за навчання, забезпечуючи можливий шлях для створення аудитованої, стимульованої децентралізованої мережі колективного навчання.

#SHARDCAST: Асинхронна агрегація та поширення вагових протоколів

SHARDCAST є протоколом зваженого поширення та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених по пропускній здатності та змінних станів вузлів у реальних мережевих середовищах. Він поєднує механізм поширення gossip з локальними синхронізаційними стратегіями, що дозволяє кільком вузлам продовжувати відправляти часткові оновлення в умовах несинхронізованого стану, досягаючи поступової конвергенції ваг та багатоверсійної еволюції. У порівнянні з централізованими або синхронізованими методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до збоїв децентралізованого навчання, є основою для побудови стабільного консенсусу ваг та безперервної ітерації навчання.

#OpenDiLoCo:Рідкісний асинхронний комунікаційний фреймворк

OpenDiLoCo є незалежно реалізованою та відкритою оптимізаційною платформою зв'язку, розробленою командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind, спеціально розробленою для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, що часто зустрічаються в децентралізованому навчанні. Його архітектура основана на паралельній обробці даних, шляхом побудови розріджених топологічних структур, таких як кільцеві, розширювачі, малосвітові, було уникнуто високих витрат на комунікацію, які зазвичай виникають через глобальну синхронізацію, і модельна спільна тренування може бути здійснена лише за рахунок сусідніх вузлів. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайовим пристроям стабільно брати участь у навчальних завданнях, значно підвищуючи можливість участі у глобальному співпраці по навчанню, що є однією з ключових комунікаційних інфраструктур для побудови децентралізованої тренувальної мережі.

#PCCL:Бібліотека спільної комунікації

PCCL(Prime Collective Communication Library) є легковаговою бібліотекою зв'язку, розробленою Prime Intellect для децентралізованого середовища навчання AI, яка має на меті вирішити адаптаційні вузькі місця традиційних бібліотек зв'язку(, таких як NCCL, Gloo), в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує рідкісну топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з контрольних точок, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронні можливості зв'язку протоколу OpenDiLoCo. Це значно підвищує толерантність до пропускної здатності навчальних мереж та сумісність пристроїв, прокладаючи "останню милю" комунікаційної інфраструктури для створення справді відкритих, без довіри, кооперативних навчальних мереж.

(# 03、Prime Intellect стимулююча мережа та розподіл ролей

Prime Intellect побудував мережу навчання, яка не потребує дозволу, є перевірною та має економічний механізм стимулювання, що дозволяє будь-кому брати участь у завданнях та отримувати винагороди на основі реальних внесків. Протокол працює на основі трьох основних ролей:

• Ініціатор завдання: визначає навчальне середовище, початкову модель, функцію винагороди та критерії валідації
• Тренувальний вузол: виконання локального навчання, подача оновлень ваг та спостереження за траєкторією
• Вузли верифікації: використання механізму TOPLOC для перевірки достовірності навчальної поведінки та участь у розрахунку винагороди та агрегації стратегій

Ядро процесу угоди включає публікацію завдань, навчання вузлів, перевірку траєкторій, агрегацію ваг )SHARDCAST### та розподіл винагород, що становить стимулюючий замкнутий цикл навколо "реальної тренувальної діяльності".

(# 04、INTELLECT-2: перший перевіряємий децентралізований модель навчання.

Prime Intellect випустила INTELLECT-2 у травні 2025 року, це перша у світі велика модель навчання з підкріпленням, створена за допомогою асинхронної, недовірчої Децентралізації вузлів. Модель INTELLECT-2 була навчена за допомогою 100+ гетерогенних вузлів з графічними процесорами, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, тривалість навчання перевищила 400 годин.