اللامركزية训练:AI的下一个前沿

في سلسلة القيمة الكاملة للذكاء الاصطناعي، تعتبر عملية تدريب النموذج هي المرحلة الأكثر استهلاكًا للموارد، والأعلى في الحواجز التقنية، حيث تحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية التطبيق الفعلي. بالمقارنة مع استدعاءات خفيفة الوزن في مرحلة الاستدلال، تتطلب عملية التدريب استثمارًا مستمرًا في قوة الحوسبة الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء أنظمة الذكاء الاصطناعي. من منظور نماذج الهيكل، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يناقش في هذه المقالة.

تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة محلية عالية الأداء، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تسمح هذه البنية العميقة المتناغمة بمشاركة الذاكرة وتزامن التدرجات وآليات تحمل الأخطاء لتحقيق أقصى كفاءة، مما يجعلها مثالية لتدريب نماذج كبيرة مثل GPT وGemini، ولها مزايا الكفاءة العالية والموارد القابلة للتحكم، لكنها في نفس الوقت تعاني من مشاكل الاحتكار البياني، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، ويكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات لتنفيذها بالتعاون، بهدف التغلب على قيود الحساب والتخزين في الآلة الواحدة. على الرغم من أنها تتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والتزامن، وغالبًا ما تعمل في بيئات الشبكة المحلية عالية السرعة، حيث يتم تنسيق المهام الفرعية بشكل موحد بواسطة العقدة الرئيسية. تشمل الطرق السائدة ما يلي:

• التوازي البياني: كل عقدة تدرب معلمات بيانات مختلفة، يجب مشاركة الوزن النموذجي.
• التوازي النموذجي: نشر أجزاء مختلفة من النموذج على نقاط مختلفة، لتحقيق قابلية التوسع العالية
• تنفيذ متسلسل على مراحل: زيادة معدل نقل البيانات
• التوازي بالموتر: تقسيم دقيق لحساب المصفوفات، تعزيز درجة التوازي

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، وهو يشبه كيفية قيام نفس المدير بالتوجيه عن بُعد لموظفين في عدة "مكاتب" للتعاون في إنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.

اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل السمات الأساسية في: عدة عقد غير موثوقة تعمل معًا لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وتستفيد من آليات تحفيز مشفرة لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:

• صعوبة تنسيق الأجهزة المتنوعة وتقسيم المهام: صعوبة تنسيق الأجهزة المتنوعة وكفاءة تقسيم المهام منخفضة
• عائق كفاءة الاتصال: الاتصالات الشبكية غير مستقرة، وعائق تزامن التدرجات واضح
• نقص في التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب.
• عدم وجود تنسيق موحد: لا يوجد جهاز توجيه مركزي، توزيع المهام، وآلية التراجع عن الأخطاء معقدة

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم، يساهمون بشكل فردي في قوة الحوسبة لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي على نطاق واسع القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويشمل جوانب متعددة مثل بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج، لكن ما إذا كان يمكن تحقيق "التعاون الفعال + تحفيز الصدق + النتائج الصحيحة" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.

يعتبر التعلم الفيدرالي شكلاً انتقالياً بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يمتلك التعلم الفيدرالي هيكلًا هندسيًا للتدريب الموزع وقدرة على التعاون المحلي، بينما يتمتع أيضًا بمزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للسيطرة" في سيناريوهات الامتثال للخصوصية، حيث يكون كل من مهام التدريب وبنية الثقة وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.

حدود التدريب اللامركزي، الفرص والطرق الواقعية

من حيث نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية للغاية، أو صعوبة التعاون، فإنه ليس مناسبًا بشكل طبيعي لإكمال المهمة بكفاءة بين العقد الموزعة وغير الموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة وصول عشوائي عالية، وزمن استجابة منخفض، وعرض نطاق ترددي مرتفع، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكات المفتوحة؛ وتقتصر المهام التي تتطلب خصوصية البيانات والقيود السيادية على الامتثال القانوني والأخلاقي، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى حوافز التعاون إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الحقيقية الحالية على التدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو مسألة خاطئة. في الواقع، يُظهر التدريب اللامركزي آفاق تطبيق واضحة في أنواع المهام التي تتميز بخفة الهيكل، وسهولة التوازي، والتحفيز. بما في ذلك، على سبيل المثال لا الحصر: تعديل LoRA، مهام التدريب اللاحق المتوافقة مع السلوك، مهام التدريب والتعليق من خلال حشد البيانات، تدريب نماذج أساسية صغيرة يمكن التحكم في مواردها، فضلاً عن سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عادةً بخصائص عالية من التوازي، وانخفاض الترابط، وقابلية التحمل للقوى الحاسوبية المتنوعة، مما يجعلها مناسبة جداً للتدريب التعاوني من خلال الشبكات الند للند، بروتوكول Swarm، والمحسنات الموزعة.

تحليل المشاريع الكلاسيكية للتدريب اللامركزي

حاليًا في مجال التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع البارزة في تقنية blockchain بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما تعتبر مسارات التنفيذ لـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهياكل الهندسية وراء هذه المشاريع الخمسة، وستبحث أيضًا في اختلافاتها وعلاقاتها التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.

Prime Intellect: روّاد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسار التدريب

تسعى Prime Intellect لبناء شبكة تدريب AI لا تتطلب الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST، في إنشاء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية تحفيز كاملة.

01، بنية بروتوكول Prime Intellect وهيكل قيمة الوحدات الأساسية

تتضمن البنية الأساسية لـ Prime Intellect الوحدات الرئيسية التالية:

• PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفصول
• TOPLOC: آلية التحقق من سلوك التدريب الخفيف الوزن
• SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
• OpenDiLoCo: إطار التواصل غير المتزامن النادر
• PCCL: مكتبة الاتصالات التعاونية

02، شرح آلية تدريب Prime Intellect الرئيسية

PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لسيناريوهات التدريب اللامركزية من قبل Prime Intellect، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. إنه يعتمد على التعلم المعزز كهدف أساسي للتكيف، ويفصل هيكليًا بين عمليات التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال حلقة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. مقارنة بعمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور السياسات.

TOPLOC هو آلية جوهرية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان العقدة قد أكملت فعليًا تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يحقق التحقق الهيكلي الخفيف من خلال تحليل "سلسلة المراقبة ↔ تحديث الاستراتيجية" بين المسارات المحلية المتسقة. إنه يحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات قابلة للتحقق، وهو ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون حاجة للثقة، مما يوفر مسارًا قابلًا للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

SHARDCAST هو بروتوكول لنشر وتجميع الوزن تم تصميمه بواسطة Prime Intellect، ومصمم خصيصًا للبيئات الشبكية الحقيقية غير المتزامنة والمقيدة بالنطاق والمتغيرة حالة العقد. يجمع بين آلية نشر gossip واستراتيجيات المزامنة المحلية، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات غير متزامنة، مما يحقق التقارب التدريجي للوزن وتطور الإصدارات المتعددة. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، يُحسن SHARDCAST بشكل كبير من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق وزن مستقر وتكرار تدريب مستمر.

OpenDiLoCo هو إطار تحسين الاتصالات الذي نفذه فريق Prime Intellect بشكل مستقل ومفتوح المصدر بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، والذي صمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. تعتمد هيكليته على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل الحلبة، والموسع، وعالم صغير، مما يتجنب التكاليف العالية للاتصالات الناتجة عن التزامن العالمي، ويعتمد فقط على العقد الجوار المحلية لإكمال تدريب النموذج التعاوني. من خلال دمج التحديثات غير المتزامنة وآلية تحمل نقاط التوقف، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل ملحوظ إمكانية المشاركة في التدريب التعاوني العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف الذي تواجهه مكتبات الاتصالات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة، واستعادة النقاط المنقطعة، ويمكن تشغيله على وحدات المعالجة الرسومية الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد عزز بشكل كبير من قدرة الشبكة التدريبية على تحمل النطاق الترددي وتوافق الأجهزة، مما فتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.

03، شبكة Prime Intellect للتحفيز وتقسيم الأدوار

بني Prime Intellect شبكة تدريب قابلة للتحقق وبدون إذن، مزودة بنظام تحفيز اقتصادي، مما يتيح لأي شخص المشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاثة أنواع من الأدوار الأساسية:

• مُطلق المهمة: تحديد بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
• عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقدة التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات

تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "السلوك التدريبي الحقيقي".

04، INTELLECT-2: أول إصدار لنموذج تدريب اللامركزية القابل للتحقق

أصدرت Prime Intellect في مايو 2025 نموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه من خلال التعاون بين عقد غير مركزية وغير موثوقة، ويصل حجم المعلمات إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU متغايرة موزعة عبر ثلاث قارات.