Святой Грааль Crypto AI: Передовые исследования децентрализованного обучения

В полной цепочке создания ценности ИИ моделирование является этапом с наибольшими затратами ресурсов и самым высоким технологическим барьером, который напрямую определяет пределы возможностей модели и фактическую эффективность её применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянных вложений в масштабные вычислительные мощности, сложные процессы обработки данных и поддержку высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализация, которую мы будем обсуждать в этой статье.

Централизованное обучение является наиболее распространенным традиционным способом, при котором единая организация завершает весь процесс обучения на локальном высокопроизводительном кластере, от аппаратного обеспечения, нижнего программного обеспечения, системы управления кластером до всех компонентов обучающего фреймворка, которые координируются единой контрольной системой. Эта архитектура глубокой кооперации позволяет добиться максимальной эффективности в совместном использовании памяти, синхронизации градиентов и механизмах отказоустойчивости, что делает ее очень подходящей для обучения крупномасштабных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно имея такие проблемы, как монополия данных, барьеры для ресурсов, потребление энергии и риски единой точки.

Распределенное обучение является основным способом обучения крупных моделей в настоящее время, его суть заключается в разбиении задач обучения модели и распределении их на несколько машин для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одной машине. Несмотря на то, что физически он обладает "распределенными" характеристиками, в целом он все еще контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологию высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:

• Параллельные данные: каждый узел обучает разные данные, параметры делятся, необходимо согласовать веса модели
• Модельное параллелизм: размещение различных частей модели на разных узлах для достижения высокой масштабируемости
• Параллельное выполнение: поэтапное последовательное выполнение, повышение пропускной способности
• Тензорное параллелизм: детализированное разделение матричных вычислений, повышение степени параллелизма

Распределённое обучение — это комбинация "централизованного контроля + распределённого выполнения", аналогично тому, как один и тот же начальник удалённо управляет несколькими сотрудниками в "офисах", чтобы совместно выполнять задачи. В настоящее время почти все основные большие модели обучаются таким образом.

Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь будущего. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов ( могут быть домашними компьютерами, облачными GPU или крайними устройствами ), которые совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, и с использованием механизмов криптоощущений для обеспечения честности вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:

• Проблемы с гетерогенностью устройств и разделением задач: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
• Бутылочное горлышко эффективности связи: нестабильная сетевое соединение, явное бутылочное горлышко синхронизации градиентов
• Отсутствие доверенного выполнения: отсутствие доверенной вычислительной среды, трудно проверить, действительно ли узлы участвуют в вычислениях.
• Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизм отката ошибок.

Децентрализация тренировки можно понять как: группа глобальных волонтеров, которые совместно вносят вычислительную мощность для тренировки модели, но "действительно жизнеспособная крупномасштабная децентрализация тренировки" все еще является системной инженерной задачей, охватывающей различные аспекты, такие как системная архитектура, коммуникационные протоколы, криптографическая безопасность, экономические механизмы, валидация модели и т.д., но вопрос о том, сможет ли это быть "совместным эффективным + стимулированием честности + правильными результатами", все еще находится на стадии раннего прототипирования.

Федеративное обучение как переходная форма между распределенными и Децентрализация подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности, таких как медицина, финансы (. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными способностями, одновременно имея преимущества распределенных данных в Децентрализация, но все же зависит от надежного координирующего лица и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в условиях соблюдения конфиденциальности, с относительно мягкими аспектами в задачах обучения, структуре доверия и механизмах связи, что делает его более подходящим для переходной архитектуры развертывания в промышленности.

Децентрализация тренировки: границы, возможности и реальные пути

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или высокой сложности сотрудничества, она по своей сути не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи с сильными ограничениями на конфиденциальность данных и суверенитет, такие как медицина, финансы, конфиденциальные данные ), ограничены юридическими нормами и этическими ограничениями и не могут быть открыто поделены; а задачи (, которые не имеют оснований для стимулирования сотрудничества, такие как закрытые модели предприятий или внутреннее обучение прототипов ), лишены внешнего участия. Эти границы вместе составляют реальные ограничения текущего Децентрализация обучения.

Но это не означает, что Децентрализация обучения является ложным утверждением. На самом деле, в задачах с легкой структурой, легкой параллельностью и возможностью стимулирования, Децентрализация обучения демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи после обучения, такие как RLHF, DPO(, задачи по обучению и аннотированию данных с краудсорсингом, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно обладают высокой параллельностью, низкой связанностью и толерантностью к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и другие методы.

![Крипто ИИ святой Грааль: Децентрализация обучения передового опыта])https://img-cdn.gateio.im/webp-social/moments-adb92bc4dfbaf26863cb0b4bb1081cd7.webp(

Децентрализация тренировки классических проектов анализа

В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмного дизайна, что представляет собой современные направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги к инженерным достижениям. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно рассмотрены их различия и взаимодополняющие отношения в рамках децентрализованной системы AI-обучения.

) Prime Intellect: тренируемая траектория проверяемой усиленной обучающей кооперативной сети пионера

Prime Intellect стремится построить сеть обучения ИИ, которая не требует доверия, позволяя любому участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклад. Prime Intellect надеется создать децентрализованную систему обучения ИИ с проверяемостью, открытостью и полноценным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.

(# 01、Структура протокола Prime Intellect и ценность ключевых модулей

![Святой Грааль Crypto AI: передовые исследования децентрализованного обучения])https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###

02, Подробное объяснение ключевых механизмов тренировки Prime Intellect

#PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией

PRIME-RL является моделью задач и исполняемым фреймворком, разработанным Prime Intellect для децентрализованных учебных сценариев, специально предназначенным для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разделяя процессы тренировки, вывода и загрузки весов, позволяя каждому узлу тренировки независимо выполнять цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами валидации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкой тренировки в средах без централизованного управления, снижая сложность системы и закладывая основу для поддержки параллельного выполнения множества задач и эволюции стратегий.

#TOPLOC:Легковесный механизм проверки поведения во время тренировки

TOPLOC(Доверенное Наблюдение & Проверка Политики-Локальности) является основной механизмом проверки обучаемости, предложенным Prime Intellect, который используется для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальную согласованность между "наблюдательной последовательностью↔обновлением стратегии". Он впервые преобразует поведенческие траектории верификации в объекты, что является ключевым нововведением для достижения распределения наград за обучение без доверия, предоставляя жизнеспособный путь для создания可审计、可激励的去中心化协作训练网络.

#SHARDCAST:Асинхронная агрегация и распространение весов

SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронным, ограниченным по пропускной способности и изменяющимся состоянием узлов. Он сочетает в себе механизм распространения gossip и локальную стратегию синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что обеспечивает постепенную сходимость весов и многоверсионную эволюцию. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.

#OpenDiLoCo: Разреженная асинхронная коммуникационная структура

OpenDiLoCo — это оптимизированный для связи фреймворк, независимая реализация и открытый исходный код идеи DiLoCo, предложенной командой Prime Intellect на основе DeepMind, специально разработанный для решения распространенных проблем в децентрализованном обучении, таких как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы. Его архитектура основана на параллелизме данных: путём построения разреженных топологических структур, таких как Ring, Expander и Small-World, он избегает высоких коммуникационных издержек глобальной синхронизации, полагаясь только на локальных соседей для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет обычным GPU и краевым устройствам стабильно участвовать в обучающих задачах, значительно увеличивая возможность участия в глобальном совместном обучении и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной обучающей сети.

#PCCL: Библиотека совместной связи

PCCL###Prime Collective Communication Library( является легковесной библиотекой связи, разработанной Prime Intellect для децентрализованной среды обучения ИИ, предназначенной для решения проблем адаптации традиционных библиотек связи), таких как NCCL и Gloo(, в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Он значительно увеличивает допустимую пропускную способность сети обучения и совместимость устройств, прокладывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, бездоверительной сети совместного обучения.

)# 03, Сеть стимулирования и ролевое подразделение Prime Intellect

Prime Intellect создал тренировочную сеть, которая не требует разрешений, является проверяемой и имеет экономические стимулы, позволяя любому участвовать в задачах и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:

• Инициатор задачи: определение тренировочной среды, начальной модели, функции вознаграждения и стандартов валидации
• Узел обучения: выполнение локального обучения, отправка обновлений веса и наблюдательных траекторий
• Узлы верификации: использование механизма TOPLOC для проверки подлинности учебного поведения и участия в расчете вознаграждений и агрегации стратегий.

Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траектории, агрегацию весов (SHARDCAST) и распределение вознаграждений, формируя замкнутый цикл стимулов, основанный на "реальных тренировочных действиях".

![Крипто ИИ Святой Грааль: Децентрализация обучения на переднем крае исследований]###https://img-cdn.gateio.im/webp-social/moments-b11af8d10db6e8baa0c19e87aa18dd82.webp(

)# 04、INTELLECT-2:Первая верифицируемая Децентрализация обучающая модель.

Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, обученная с помощью асинхронных, не требующих доверия Децентрализация узлов. Размер параметров составляет 32B. Модель INTELLECT-2 была обучена с использованием более 100 гетерогенных узлов GPU, распределенных по трем континентам, с использованием полностью асинхронной архитектуры, время обучения составило более 400 часов.