В полной цепочке создания стоимости ИИ этап обучения моделей является наиболее ресурсоемким и с самым высоким техническим барьером, напрямую определяющим предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что представляет собой настоящую "тяжелую промышленность" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данной статьи.
Централизованное обучение является наиболее распространенным традиционным способом, осуществляемым единственным учреждением в локальном высокопроизводительном кластере, который выполняет весь процесс обучения: от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до всех компонентов фреймворка обучения, все они координируются единой системой управления. Эта архитектура глубокой координации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения масштабных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно сталкиваясь с проблемами, такими как монополия на данные, барьеры доступа к ресурсам, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей на сегодняшний день, его суть заключается в том, чтобы разбить задачу обучения модели и распределить ее на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает характеристиками "Децентрализация", в целом он все равно контролируется и координируется централизованным учреждением, зачастую работает в среде высокоскоростной локальной сети, с единой координацией подзадач главным узлом. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельное параллелизм: развертывание разных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: детализированное разбиение матричных вычислений, повышение степени параллелизма
Распределенное обучение — это комбинация "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудничеством нескольких сотрудников в различных "офисах" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытую и устойчивую к цензуре будущую траекторию. Его основная характеристика заключается в том, что несколько недоверительных узлов совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов крипто-вознаграждений, обеспечивающих честность вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Гетерогенность устройств и трудности разделения: высокая степень сложности координации гетерогенных устройств, низкая эффективность разделения задач
П瓶颈 эффективности связи: нестабильная сетевая связь, явно выраженный瓶颈 синхронизации градиентов
Недостаток доверяемого выполнения: отсутствие доверяемой вычислительной среды, трудно проверить, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизм отката ошибок
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, которые вносят свои вычислительные мощности для совместной тренировки модели, но "действительно жизнеспособная крупномасштабная децентрализация тренировки" по-прежнему представляет собой системную инженерную задачу, затрагивающую архитектуру системы, протоколы связи, криптографическую безопасность, экономические механизмы, валидацию моделей и многие другие аспекты, но возможность "совместной эффективности + стимулирования честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и抗审查 характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или высокой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и сильными ограничениями суверенитета, ограничены юридическими и этическими нормами и не могут быть открыто разделены; а задачи, лишенные основ для кооперативных стимулов, не имеют внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения — это ложная концепция. На самом деле, в задачах с легкой структурой, которые легко параллелизуются и могут быть стимулируемыми, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи послеобучения для выравнивания поведения, задачи обучения и аннотирования данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно имеют высокую параллельность, низкую связанность и устойчивость к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения с использованием P2P сетей, протокола Swarm, распределенных оптимизаторов и т.д.
Децентрализация тренировки классических проектов
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и алгоритмическом дизайне, представляя собой передовые направления теоретических исследований; в то время как реализация Gensyn и Flock.io относительно ясна, и уже можно увидеть первоначальные инженерные достижения. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно обсуждены их различия и взаимодополняющие отношения в децентрализованной системе AI-обучения.
Prime Intellect: Проверяемая траектория обучения в сети усиленного обучения.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полной системой стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура и ключевые модули протокола Prime Intellect
Основная архитектура Prime Intellect включает в себя следующие ключевые модули:
PRIME-RL: Архитектура задач асинхронного обучения с подкреплением с декомпозицией
TOPLOC: легковесный механизм верификации поведения во время тренировки
SHARDCAST: Протокол асинхронной агрегации и распространения весов
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL — это фреймворк моделирования и выполнения задач, разработанный Prime Intellect для Децентрализация обучающих сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо выполнять задачи локально и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC является ядром механизма проверки обучаемости, предложенным Prime Intellect, и предназначен для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от громоздких решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию облегченной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует траектории поведения в процессе обучения в объекты, подлежащие проверке, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.
SHARDCAST является протоколом распространения и агрегации весов, разработанным Prime Intellect, оптимизированным для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip с локальной синхронизацией, позволяя нескольким узлам продолжать отправлять частичные обновления в несинхронизированном состоянии, что обеспечивает постепенную сходимость весов и многоверсионную эволюцию. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo - это оптимизированная коммуникационная платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, реализованная независимо и с открытым исходным кодом. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на связь, связанных с глобальной синхронизацией, полагаясь только на соседние узлы для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, существенно увеличивая участие в глобальном кооперативном обучении и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованных обучающих сетей.
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и низкоскоростных сетях. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность к пропускной способности обучающих сетей и совместимость устройств, открывая "последнюю милю" связи для построения действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал разрешительную, верифицируемую, экономически стимулирующую сеть обучения, которая позволяет любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Инициатор задачи: определение учебной среды, начальной модели, функции вознаграждения и критериев валидации
Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдаемых траекторий
Узлы проверки: Использование механизма TOPLOC для проверки подлинности обучающих действий и участия в расчете вознаграждений и агрегации стратегий.
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального обучающего поведения".
04、INTELLECT-2:Первая версия проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, обученная с помощью асинхронных, доверительных узлов, работающих в рамках Децентрализации, с параметрами размером 32B. Модель INTELLECT-2 была обучена на более чем 100 гетерогенных узлах с GPU, расположенных на трех континентах.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
11 Лайков
Награда
11
3
Поделиться
комментарий
0/400
airdrop_whisperer
· 07-04 00:05
Кто еще продал свои видеокарты ради ИИ?
Посмотреть ОригиналОтветить0
GateUser-aa7df71e
· 07-01 22:27
Эта волна тренировки ИИ обязательно приведет к большому пампу Создание позиции как раз вовремя
Децентрализация тренировки: Анализ передовых технологий ИИ и сравнение представительных проектов
Децентрализация тренировки: следующий рубеж AI
В полной цепочке создания стоимости ИИ этап обучения моделей является наиболее ресурсоемким и с самым высоким техническим барьером, напрямую определяющим предельные возможности модели и фактическую эффективность применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянных масштабных вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что представляет собой настоящую "тяжелую промышленность" в построении ИИ-систем. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данной статьи.
Централизованное обучение является наиболее распространенным традиционным способом, осуществляемым единственным учреждением в локальном высокопроизводительном кластере, который выполняет весь процесс обучения: от аппаратного обеспечения, базового программного обеспечения, системы управления кластером до всех компонентов фреймворка обучения, все они координируются единой системой управления. Эта архитектура глубокой координации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения масштабных моделей, таких как GPT и Gemini, обладая преимуществами высокой эффективности и контролируемых ресурсов, но одновременно сталкиваясь с проблемами, такими как монополия на данные, барьеры доступа к ресурсам, потребление энергии и риски единой точки отказа.
Распределенное обучение является основным способом обучения больших моделей на сегодняшний день, его суть заключается в том, чтобы разбить задачу обучения модели и распределить ее на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одном компьютере. Несмотря на то, что физически он обладает характеристиками "Децентрализация", в целом он все равно контролируется и координируется централизованным учреждением, зачастую работает в среде высокоскоростной локальной сети, с единой координацией подзадач главным узлом. Основные методы включают:
Распределенное обучение — это комбинация "централизованного управления + распределенного выполнения", аналогично тому, как один и тот же начальник удаленно управляет сотрудничеством нескольких сотрудников в различных "офисах" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.
Децентрализация обучения представляет собой более открытую и устойчивую к цензуре будущую траекторию. Его основная характеристика заключается в том, что несколько недоверительных узлов совместно выполняют задачи обучения без центрального координатора, обычно через протоколы, управляющие распределением задач и сотрудничеством, и с помощью механизмов крипто-вознаграждений, обеспечивающих честность вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, которые вносят свои вычислительные мощности для совместной тренировки модели, но "действительно жизнеспособная крупномасштабная децентрализация тренировки" по-прежнему представляет собой системную инженерную задачу, затрагивающую архитектуру системы, протоколы связи, криптографическую безопасность, экономические механизмы, валидацию моделей и многие другие аспекты, но возможность "совместной эффективности + стимулирования честности + правильности результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализация, но по-прежнему зависит от доверенной координирующей стороны и не обладает полностью открытыми и抗审查 характеристиками. Его можно рассматривать как "контролируемую Децентрализация" в сценариях соблюдения конфиденциальности, где задачи обучения, структура доверия и механизмы связи относительно мягкие, что делает его более подходящим в качестве переходной архитектуры для промышленного развертывания.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких требований к ресурсам или высокой сложности сотрудничества, она изначально не подходит для эффективного выполнения на гетерогенных, доверительных узлах. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытой сети; задачи, связанные с конфиденциальностью данных и сильными ограничениями суверенитета, ограничены юридическими и этическими нормами и не могут быть открыто разделены; а задачи, лишенные основ для кооперативных стимулов, не имеют внешнего мотива для участия. Эти границы вместе составляют реальные ограничения текущего Децентрализованного обучения.
Но это не означает, что Децентрализация обучения — это ложная концепция. На самом деле, в задачах с легкой структурой, которые легко параллелизуются и могут быть стимулируемыми, Децентрализация обучения демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи послеобучения для выравнивания поведения, задачи обучения и аннотирования данных через краудсорсинг, обучение небольших базовых моделей с контролируемыми ресурсами, а также сценарии кооперативного обучения с участием периферийных устройств. Эти задачи обычно имеют высокую параллельность, низкую связанность и устойчивость к гетерогенной вычислительной мощности, что делает их очень подходящими для кооперативного обучения с использованием P2P сетей, протокола Swarm, распределенных оптимизаторов и т.д.
Децентрализация тренировки классических проектов
В настоящее время в области децентрализованного обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технологической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в системной архитектуре и алгоритмическом дизайне, представляя собой передовые направления теоретических исследований; в то время как реализация Gensyn и Flock.io относительно ясна, и уже можно увидеть первоначальные инженерные достижения. В этой статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры этих пяти проектов, а также дополнительно обсуждены их различия и взаимодополняющие отношения в децентрализованной системе AI-обучения.
Prime Intellect: Проверяемая траектория обучения в сети усиленного обучения.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы любой мог участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется построить децентрализованную систему обучения ИИ с проверяемостью, открытостью и полной системой стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура и ключевые модули протокола Prime Intellect
Основная архитектура Prime Intellect включает в себя следующие ключевые модули:
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
PRIME-RL — это фреймворк моделирования и выполнения задач, разработанный Prime Intellect для Децентрализация обучающих сценариев, специально созданный для гетерогенных сетей и асинхронного участия. Он использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно декомпозируя процессы обучения, вывода и загрузки весов, что позволяет каждому обучающему узлу независимо выполнять задачи локально и сотрудничать через стандартизированные интерфейсы с механизмами проверки и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения нескольких задач и эволюции стратегий.
TOPLOC является ядром механизма проверки обучаемости, предложенным Prime Intellect, и предназначен для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от громоздких решений, таких как ZKML, TOPLOC не зависит от полной переработки модели, а завершает верификацию облегченной структуры, анализируя локальные последовательности согласованности между "наблюдательной последовательностью ↔ обновлением стратегии". Впервые он преобразует траектории поведения в процессе обучения в объекты, подлежащие проверке, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия и предоставляет жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.
SHARDCAST является протоколом распространения и агрегации весов, разработанным Prime Intellect, оптимизированным для реальных сетевых условий с асинхронностью, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизм распространения gossip с локальной синхронизацией, позволяя нескольким узлам продолжать отправлять частичные обновления в несинхронизированном состоянии, что обеспечивает постепенную сходимость весов и многоверсионную эволюцию. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основной основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo - это оптимизированная коммуникационная платформа, разработанная командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, реализованная независимо и с открытым исходным кодом. Она специально разработана для решения таких проблем, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллельной обработке данных и использует разреженные топологические структуры, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на связь, связанных с глобальной синхронизацией, полагаясь только на соседние узлы для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, существенно увеличивая участие в глобальном кооперативном обучении и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованных обучающих сетей.
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, предназначенная для решения проблем адаптации традиционных библиотек связи в гетерогенных устройствах и низкоскоростных сетях. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные возможности связи протокола OpenDiLoCo. Она значительно повышает толерантность к пропускной способности обучающих сетей и совместимость устройств, открывая "последнюю милю" связи для построения действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулов Prime Intellect и распределение ролей
Prime Intellect создал разрешительную, верифицируемую, экономически стимулирующую сеть обучения, которая позволяет любому участвовать в заданиях и получать вознаграждения на основе реального вклада. Протокол работает на основе трех основных ролей:
Ядро процесса соглашения включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального обучающего поведения".
04、INTELLECT-2:Первая версия проверяемой Децентрализация обучающей модели
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире большая модель обучения с подкреплением, обученная с помощью асинхронных, доверительных узлов, работающих в рамках Децентрализации, с параметрами размером 32B. Модель INTELLECT-2 была обучена на более чем 100 гетерогенных узлах с GPU, расположенных на трех континентах.