تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التكنولوجية للتعاون اللامركزي

في سلسلة القيمة الكاملة لـ AI، تعتبر تدريب النماذج هي المرحلة الأكثر استهلاكًا للموارد، وأعلى مستوى من التقنية، حيث تحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعاليته في التطبيق العملي. بالمقارنة مع الاستدعاءات الخفيفة في مرحلة الاستدلال، تتطلب عملية التدريب استثمارًا مستمرًا كبيرًا في القدرة الحاسوبية، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء أنظمة الذكاء الاصطناعي. من حيث نماذج الهيكل، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي يناقش في هذه المقالة.

التدريب المركز هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة محلية عالية الأداء، من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعة، إلى جميع مكونات إطار التدريب، يتم تنسيقها جميعًا بواسطة نظام تحكم موحد. تُحقق هذه البنية المعمارية المتقدمة كفاءة مثالية في مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، وهي مناسبة جدًا لتدريب النماذج الكبيرة مثل GPT وGemini، حيث تتمتع بمزايا عالية الكفاءة وقابلية التحكم في الموارد، ولكنها تعاني في نفس الوقت من مشكلات مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.

التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يتمثل جوهره في تقسيم مهام تدريب النموذج وتوزيعها على عدة آلات لتنفيذها بشكل متعاون، وذلك لتجاوز قيود الحوسبة والتخزين على جهاز واحد. على الرغم من أن لها ميزات "موزعة" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والتزامن، وغالبًا ما تعمل في بيئة شبكة محلية سريعة، من خلال تقنية NVLink للاتصال السريع، حيث يتم تنسيق المهام الفرعية بواسطة العقدة الرئيسية بشكل موحد. تشمل الأساليب السائدة:

• البيانات المتوازية: كل عقدة تدرب بيانات مختلفة مع مشاركة المعلمات، تحتاج إلى مطابقة أوزان النموذج
• التوازي في النماذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق توسيع قوي;
• مواسير متوازية: تنفيذ تسلسلي مرحلي، لزيادة معدل النقل؛
• التوازي الموتر: تقسيم دقيق لحساب المصفوفات، مما يعزز من حجم التوازي.

التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، وهو يشبه توجيه نفس الرئيس للعديد من موظفي "المكاتب" عن بُعد للتعاون في إنجاز المهام. حاليًا، يتم تدريب تقريبًا جميع النماذج الكبرى الرائجة بهذه الطريقة.

اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا وخصائص مقاومة للرقابة. تتمثل الميزات الأساسية في: عدة عقد غير موثوقة تتعاون لإنجاز مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكول يدفع توزيع المهام والتعاون، ويعتمد على آلية تحفيز مشفرة لضمان نزاهة المساهمات. التحديات الرئيسية التي تواجه هذا النموذج تشمل:

• صعوبة التوافق بين الأجهزة المتباينة وتقسيم المهام: صعوبة عالية في تنسيق الأجهزة المتباينة، وكفاءة منخفضة في تقسيم المهام؛
• عنق زجاجة كفاءة الاتصال: الشبكة غير مستقرة، وعقبة تزامن التدرج واضحة؛
• نقص التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك بالفعل في الحساب;
• نقص التنسيق الموحد: لا يوجد جهاز توجيه مركزي، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة.

يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم بقوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا نظاميًا، ويتضمن جوانب متعددة مثل بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج. ومع ذلك، فإن إمكانية "التعاون الفعال + تحفيز النزاهة + نتائج صحيحة" لا تزال في مرحلة استكشاف النموذج الأولي المبكر.

يعتبر التعلم الفيدرالي كمرحلة انتقالية بين التوزيع واللامركزية، حيث يركز على الاحتفاظ بالبيانات محليًا وجمع معلمات النموذج مركزيًا، مما يجعله مناسبًا للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يحتفظ أيضًا بميزة توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على جهة موثوقة للتنسيق، وليس لديه خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث تكون مهام التدريب وبنية الثقة وآلية الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل لنشر انتقائي في الصناعة.

اللامركزية تدريب الحدود، الفرص والواقع المسار

من حيث نماذج التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، وارتفاع الطلب على الموارد، أو صعوبة التعاون، فإنه بشكل طبيعي لا يكون مناسباً لإنجازه بكفاءة بين العقد غير الموثوقة والمتنوعة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالباً على ذاكرة وصول عشوائي عالية، وزمن تأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بشكل فعال في الشبكات المفتوحة؛ كما أن المهام التي تتعلق بخصوصية البيانات وقيود السيادة تكون مقيدة بالامتثال القانوني والقيود الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي لا تمتلك أساسيات حوافز التعاون إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معاً القيود الواقعية الحالية لتدريب اللامركزي.

لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، في أنواع المهام التي تتميز بكونها خفيفة الهيكل، وسهلة التوازي، وقابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك على سبيل المثال لا الحصر: ضبط LoRA، مهام التدريب بعد التوافق السلوكي، مهام تدريب وتوسيم البيانات الجماعية، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وسيناريوهات التدريب التعاوني التي تشارك فيها أجهزة الحافة. تتمتع هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وقابلية التحمل للقدرات الحوسبية المتغايرة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال الشبكات P2P، بروتوكول Swarm، والمُحسِّنات الموزعة.

اللامركزية تدريب المشاريع الكلاسيكية التحليل

حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai عددًا من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما تعتبر طرق التنفيذ الخاصة بـ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل تقنيات المشروعين الرئيسيين وخلفيات الهندسة الخاصة بهم، بالإضافة إلى مناقشة الاختلافات والعلاقات التكاملية في نظام تدريب الذكاء الاصطناعي اللامركزي.

Prime Intellect: رائد شبكة التعلم المعزز التعاوني القابلة للتحقق من المسار التدريبي

تسعى Prime Intellect لبناء شبكة تدريب AI لا تتطلب الثقة، مما يتيح لأي شخص المشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات هي PRIME-RL + TOPLOC + SHARDCAST، بناء نظام تدريب AI لامركزي يتمتع بالتحقق، والانفتاح، وآلية تحفيز مكتملة.

أولاً، هيكل بروتوكول Prime Intellect وقيمة الوحدات الأساسية

ثانياً، شرح آلية التدريب الرئيسية ل Prime Intellect

PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك

PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لسيناريوهات التدريب اللامركزية من Prime Intellect، مصمم خصيصًا للشبكات المتنوعة والمشاركة غير المتزامنة. يستخدم التعلم المعزز كهدف تكيفي رئيسي، حيث يفصل بشكل هيكلي بين عمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.

TOPLOC: آلية التحقق من سلوك التدريب خفيف الوزن

TOPLOC هو آلية جوهرية للتحقق من قابلية التدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كان العقدة قد أكملت فعلاً تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل من خلال تحليل مسارات الاتساق المحلي بين "سلسلة المراقبة ↔ تحديث الاستراتيجية"، يكمل التحقق الهيكلي الخفيف. لقد حولت لأول مرة مسارات السلوك في عملية التدريب إلى كائنات قابلة للتحقق، وهي ابتكار رئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مساراً قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.

SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن

SHARDCAST هو بروتوكول لنشر الوزن وتجميعه مصمم من قبل Prime Intellect ، تم تحسينه خصيصًا للبيئات الشبكية الحقيقية التي تتميز باللامركزية والقيود المتعلقة بالنطاق الترددي وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجيات المزامنة المحلية ، مما يسمح لعدة عقد بتقديم تحديثات جزئية مستمرة في حالة عدم المزامنة ، مما يحقق تقاربًا تدريجيًا للوزن وتطورًا متعدد الإصدارات. مقارنة بأساليب AllReduce المركزية أو المزامنة ، يعزز SHARDCAST بشكل ملحوظ قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي ، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتدريب المستمر.

OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر

OpenDiLoCo هو إطار تحسين الاتصال الذي تم تنفيذه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على فكرة DiLoCo التي اقترحتها DeepMind، وقد تم تصميمه خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجيا نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للتزامن العالمي، ويعتمد فقط على العقد الجيران المحلية لإكمال تدريب النموذج التعاوني. مع دمج التحديثات غير المتزامنة وآلية التحمل عند انقطاع الاتصال، يسمح OpenDiLoCo لمعدات GPU الاستهلاكية والأجهزة الطرفية بالمشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير من قابلية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.

PCCL: مكتبة الاتصالات التعاونية

PCCL هو مكتبة اتصال خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل اختناقات التكيف في المكتبات التقليدية في الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد عزز بشكل كبير من تحمل النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما مهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وبدون حاجة للثقة.

ثالثاً، شبكة Prime Intellect والحوافز وتوزيع الأدوار

بنيت Prime Intellect شبكة تدريبية قابلة للتحقق وبدون إذن، مزودة بآلية تحفيز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاث فئات من الأدوار الأساسية:

• مُطلق المهمة: تعريف بيئة التدريب، النموذج الأولي، وظيفة المكافأة ومعايير التحقق
• عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
• عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت ودمج السياسات

تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وإصدار المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".

رابعاً، INTELLECT-2: إطلاق أول نموذج تدريب لامركزي قابل للتحقق

أطلقت Prime Intellect في مايو 2025 INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة عقد لامركزية غير موثوقة ومتزامنة، حيث يصل حجم المعاملات إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU هرمية منتشرة عبر ثلاث قارات، باستخدام بنية متزامنة بالكامل، واستغرق وقت التدريب أكثر من 400 ساعة، مما يظهر الجدوى والاستقرار لشبكة التعاون غير المتزامن. لا يمثل هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا أول تطبيق نظامي للنموذج الذي اقترحته Prime Intellect "التدريب هو التوافق". يتكامل INTELLECT-2 مع بروتوكولات رئيسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى التدريب اللامركزي.