Crypto AI'nin Kutsal Kâsesi: Merkeziyetsizlik Eğitiminde Sınırları Zorlamak

AI'nin tam değer zincirinde, model eğitimi en fazla kaynak tüketen ve en yüksek teknik engellerin bulunduğu aşamadır, doğrudan modelin yetenek sınırını ve pratik uygulama etkisini belirler. Çıkarım aşamasının hafif çağrısı ile karşılaştırıldığında, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunluklu optimizasyon algoritması desteği gerektirir, bu da AI sisteminin inşasının gerçek "ağır sanayi"sidir. Mimari paradigmalar açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede odaklanılan Merkeziyetsizlik eğitimi.

Merkeziyetsizlik eğitimi, tek bir kuruluşun yerel yüksek performanslı küme içinde tüm eğitim sürecini tamamladığı en yaygın geleneksel yöntemdir; donanım, alt yazılım, küme zamanlama sistemi ve eğitim çerçevesinin tüm bileşenleri, tek bir kontrol sistemi tarafından koordine edilir. Bu derin işbirliği mimarisi, bellek paylaşımı, gradyan senkronizasyonu ve hata tolerans mekanizmalarının verimliliğini en üst düzeye çıkarır; GPT, Gemini gibi büyük ölçekli modellerin eğitimi için son derece uygundur ve yüksek verimlilik ile kontrol edilebilir kaynaklar gibi avantajlara sahiptir. Ancak aynı zamanda veri tekeli, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunlar da barındırır.

Dağıtık eğitim, günümüzde büyük model eğitiminde ana akım bir yöntemdir, bunun temeli model eğitim görevlerinin parçalanarak birden fazla makineye dağıtılması ve işbirliği içinde gerçekleştirilmesidir; bu yöntem tek bir makinenin hesaplama ve depolama darboğazlarını aşmayı hedefler. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kuruluş tarafından kontrol edilen, planlanan ve senkronize edilen bir yapıdadır, genellikle yüksek hızlı yerel alan ağları ortamında çalışır, NVLink yüksek hızlı bağlantı teknolojisi ile ana düğüm, alt görevleri koordineli bir şekilde yönetir. Ana akım yöntemler şunları içerir:

• Veri paralelliği: Her düğüm farklı veri parametrelerini eğitir, model ağırlıklarının eşleşmesi gerekir.
• Model paralelliği: Modelin farklı bölümlerini farklı düğümlere yerleştirerek güçlü ölçeklenebilirlik sağlama
• Boru hattı paralel: Aşamalı seri yürütme, verimliliği artırır
• Tensör paralelliği: Matris hesaplamalarını ince bir şekilde bölerek paralellik granülünü artırma

Dağıtık eğitim, "merkezi kontrol + dağıtık yürütme" kombinasyonudur; aynı patronun birden fazla "ofis" çalışanını uzaktan yönlendirerek bir görevi tamamlamasına benzer. Şu anda neredeyse tüm ana akım büyük modeller bu şekilde eğitim alıyor.

Merkeziyetsizlik eğitimi, daha açık ve sansüre dayanıklı bir gelecek yolu temsil eder. Temel özellikleri şunlardır: birbirine güvenmeyen birden fazla düğüm (, ev bilgisayarları, bulut GPU'ları veya kenar cihazları ), merkezi bir koordinatör olmadan eğitim görevlerini işbirliği içinde tamamlayabilir, genellikle protokoller aracılığıyla görev dağıtımı ve işbirliği sağlanır ve katkıların dürüstlüğünü sağlamak için kriptografik teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı başlıca zorluklar şunlardır:

• Cihaz heterojenliği ve bölme zorluğu: Heterojen cihazların koordine edilmesi zor, görev bölme verimliliği düşük
• İletişim verimliliği darboğazı: Ağ iletişimi istikrarsız, gradyan senkronizasyonu darboğazı belirgin
• Güvenilir yürütme eksikliği: Güvenilir yürütme ortamı yok, düğümlerin gerçekten hesaplamaya katılıp katılmadığını doğrulamak zor.
• Birlikte koordinasyon eksikliği: Merkezi bir denetleyici yok, görev dağıtımı ve istisna geri alma mekanizması karmaşık.

Merkeziyetsizlik eğitimi, dünyanın dört bir yanındaki gönüllülerin, kendi hesaplama güçlerini katkıda bulunarak modeli birlikte eğitmesi olarak anlaşılabilir. Ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala sistematik bir mühendislik zorluğudur ve sistem mimarisi, iletişim protokolleri, kripto güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok boyutu kapsamaktadır. Ancak "işbirliği etkili + dürüstlük teşviki + sonuçların doğruluğu" konuları hala erken prototip keşif aşamasındadır.

Federated learning, bir geçiş şekli olarak dağıtık ve merkeziyetsiz arasında, verilerin yerel olarak saklanmasını, model parametrelerinin merkezi olarak toplanmasını vurgulamakta ve gizlilik uyumuna önem veren senaryolar için uygundur, örneğin sağlık, finans. Federated learning, dağıtık eğitim mühendislik yapısına ve yerel iş birliği yeteneğine sahiptir, aynı zamanda merkeziyetsiz eğitimin veri dağıtım avantajlarını da taşımaktadır, ancak yine de güvenilir bir koordinatöre bağımlıdır ve tamamen açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyumu senaryolarında "kontrol altındaki merkeziyetsizlik" çözümü olarak düşünülebilir; eğitim görevleri, güven yapısı ve iletişim mekanizmaları açısından nispeten ılımlıdır ve sanayi için geçiş aşaması dağıtım yapısı olarak daha uygundur.

Merkeziyetsizlik eğitimindeki sınırlar, fırsatlar ve gerçek yollar

Eğitim paradigması açısından, Merkeziyetsizlik eğitimi tüm görev türleri için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin çok yüksek olması veya iş birliği zorluğu nedeniyle, doğal olarak heterojen, güvenilir olmayan düğümler arasında etkili bir şekilde tamamlanması zordur. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliği gerektirir, açık ağlarda etkili bir şekilde bölünmesi ve senkronize edilmesi zordur; veri gizliliği ve egemenlik kısıtlamaları olan görevler ( gibi sağlık, finans ve gizli veriler ), yasal uyum ve etik kısıtlamalar nedeniyle açıkça paylaşılamaz; ve iş birliği teşvik temeli olmayan görevler ( gibi işletme kapalı kaynak modeli veya iç prototip eğitimi ) dış katılım motivasyonundan yoksundur. Bu sınırlar, günümüzde merkeziyetsiz eğitimin gerçek sınırlamalarını oluşturmaktadır.

Ancak bu, merkeziyetsizlik eğitiminin sahte bir önerme olduğu anlamına gelmez. Aslında, yapı olarak hafif, paralel işlemeye uygun ve teşvik edici görev türlerinde merkeziyetsizlik eğitimi net uygulama potansiyeli göstermektedir. Bunlar arasında ancak bunlarla sınırlı olmamak kaydıyla: LoRA ince ayarı, RLHF gibi davranış hizalama sonrası eğitim görevleri (, DPO ), veri toplama eğitimi ve etiketleme görevleri, kaynak kontrolüne sahip küçük temel model eğitimi ve kenar cihazların katıldığı işbirlikçi eğitim senaryoları bulunmaktadır. Bu görevler genellikle yüksek paralellik, düşük bağlılık ve heterojen hesaplama gücüne tolerans özelliklerine sahiptir, bu nedenle P2P ağları, Swarm protokolleri, dağıtık optimizatörler gibi yöntemler aracılığıyla işbirlikçi eğitim için son derece uygundur.

Merkeziyetsizlik Eğitim Klasik Proje Analizi

Şu anda merkeziyetsizlik eğitimi ve federatif öğrenme öncülüğündeki alanlarda, temsilci blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknolojik yenilikçilik ve mühendislik gerçekleştirme zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımı konusunda birçok özgün keşif önermekte, mevcut teorik araştırmanın öncü yönlerini temsil etmektedir; Gensyn ve Flock.io'nun gerçekleştirme yolları ise nispeten net olup, ilk mühendislik ilerlemeleri görülmektedir. Bu makale, bu beş projenin arkasındaki temel teknolojileri ve mühendislik mimarisini sırayla analiz edecek ve merkeziyetsiz AI eğitim sistemindeki farklılıklar ve tamamlayıcı ilişkilerini daha da tartışacaktır.

( Prime Intellect: Eğitim izleri doğrulanabilir güçlendirilmiş öğrenme iş birliği ağı öncüsü

Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye kararlıdır; böylece herkes eğitime katılabilir ve hesaplama katkıları için güvenilir ödüller alabilir. Prime Intellect, doğrulanabilir, açık ve teşvik mekanizmaları tam olan bir AI merkeziyetsizlik eğitim sistemi oluşturmayı hedeflemektedir ve bunu PRIME-RL + TOPLOC + SHARDCAST üç ana modülü ile gerçekleştirmeyi planlamaktadır.

)# 01, Prime Intellect protokol yığını yapısı ve ana modül değeri

![Crypto AI'nin Kutsal Kâsesi: Merkeziyetsizlik Eğitiminin Sınır Tanımayan Keşfi]###https://img-cdn.gateio.im/webp-social/moments-69eb6c2dab3d6284b890285c71e7a47f.webp###

(# 02, Prime Intellect eğitim ana mekanizmalarının detaylı açıklaması

#PRIME-RL: Ayrık Asenkron Güçlendirme Öğrenimi Görev Mimarisi

PRIME-RL, Prime Intellect tarafından merkeziyetsizlik eğitim senaryoları için özelleştirilmiş bir görev modelleme ve yürütme çerçevesidir, heterojen ağlar ve asenkron katılım için özel olarak tasarlanmıştır. Güçlü öğrenmeyi öncelikli uyum nesnesi olarak benimsemiş ve eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırmıştır, böylece her eğitim düğümü yerel olarak bağımsız bir şekilde görev döngüsünü tamamlayabilir ve standart arayüzler aracılığıyla doğrulama ve toplama mekanizmalarıyla işbirliği yapabilir. Geleneksel denetimli öğrenme süreçleriyle karşılaştırıldığında, PRIME-RL merkezi bir planlama olmayan ortamlarda esnek eğitim sağlamak için daha uygundur, bu hem sistem karmaşıklığını azaltmakta hem de çoklu görev paralelliği ve strateji evrimi desteklemek için bir temel oluşturmaktadır.

#TOPLOC:Ağırlıksız eğitim davranış doğrulama mekanizması

TOPLOC)Güvenilir Gözlem & Politika-Yerellik Kontrolü###, Prime Intellect tarafından önerilen eğitim doğrulanabilirliği çekirdek mekanizmasıdır ve bir düğümün gerçekten gözlem verilerine dayalı olarak geçerli bir strateji öğrenip öğrenmediğini belirlemek için kullanılır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC, tüm modelin yeniden hesaplanmasına dayanmaz; bunun yerine "gözlem dizisi↔strateji güncelleme" arasındaki yerel tutarlılık izini analiz ederek hafif yapı doğrulamasını tamamlar. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk uygulamadır ve güvene dayanmayan eğitim ödül dağıtımını gerçekleştirmek için anahtar bir yenilik sunar. Denetlenebilir ve teşvik edilebilir merkeziyetsiz işbirlikçi eğitim ağı inşa etmek için uygulanabilir bir yol sağlar.

#SHARDCAST: Asenkron Ağırlık Toplama ve Yayılma Protokolü

SHARDCAST, Prime Intellect tarafından tasarlanan bir ağırlık yayılımı ve toplama protokolüdür, asenkron, bant genişliği sınırlı ve düğüm durumunun sürekli değiştiği gerçek ağ ortamları için optimize edilmiştir. Gossip yayılım mekanizması ile yerel senkronizasyon stratejilerini birleştirerek, birden fazla düğümün senkronize olmayan durumlarda sürekli olarak kısmi güncellemeler göndermesine olanak tanır ve ağırlıkların kademeli olarak yakınsamasını ve çoklu versiyon evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemleriyle karşılaştırıldığında, SHARDCAST merkeziyetsizlik eğitiminde ölçeklenebilirlik ve hata toleransı yeteneklerini önemli ölçüde artırmaktadır ve istikrarlı ağırlık konsensüsü ve sürekli eğitim iterasyonu oluşturmanın temel temelidir.

#OpenDiLoCo:Seyrek Asenkron İletişim Çerçevesi

OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak gerçekleştirdiği ve açık kaynak olarak sunduğu bir iletişim optimizasyon çerçevesidir. Özellikle merkeziyetsizlik eğitiminde sıkça karşılaşılan bant genişliği kısıtlamaları, cihaz heterojenliği ve düğüm istikrarsızlığı gibi zorluklara yönelik olarak tasarlanmıştır. Mimarisi, veri paralelliğine dayanır ve Ring, Expander, Small-World gibi seyrek topoloji yapıları oluşturarak küresel senkronizasyonun yüksek iletişim maliyetinden kaçınır; model işbirlikçi eğitimini tamamlamak için yalnızca yerel komşu düğümlere bağımlıdır. Asenkron güncellemeler ve kesinti toleransı mekanizması ile OpenDiLoCo, tüketici sınıfı GPU'ların ve kenar cihazlarının eğitim görevlerine istikrarlı bir şekilde katılmasına olanak tanır, küresel işbirlikçi eğitimin katılımcılığını önemli ölçüde artırır ve merkeziyetsiz eğitim ağlarının inşasında kritik bir iletişim altyapılarından biridir.

#PCCL: İşbirliği İletişim Kütüphanesi

PCCL(Prime Collective Communication Library), Prime Intellect tarafından Merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir. Geleneksel iletişim kütüphanesi (, NCCL, Gloo) gibi heterojen cihazlar ve düşük bant genişliğine sahip ağlardaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojileri, gradyan sıkıştırmasını, düşük hassasiyetli senkronizasyonu ve kesintiden kurtarmayı destekler; tüketici sınıfı GPU'larda ve kararsız düğümlerde çalışabilir ve OpenDiLoCo protokolü için asenkron iletişim yeteneklerinin temel bileşenidir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçekten açık ve güvene dayanmayan işbirlikçi eğitim ağlarının "son bir mil" iletişim altyapısını sağlamlaştırır.

(# 03, Prime Intellect teşvik ağı ve rol dağılımı

Prime Intellect, herkesin görevlere katılabildiği ve gerçek katkılara dayalı ödüller kazanabildiği, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizmalarına sahip bir eğitim ağı inşa etti. Protokol, üç ana rol üzerine çalışmaktadır:

• Görev başlatıcısı: eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımlama
• Eğitim düğümü: Yerel eğitim yap, ağırlık güncellemelerini ve gözlem izlerini gönder
• Doğrulama Düğümü: Eğitim davranışının gerçekliğini doğrulamak için TOPLOC mekanizmasını kullanır ve ödül hesaplaması ile strateji birleştirmeye katılır.

Protokolün temel süreçleri görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme )SHARDCAST### ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik döngüsü oluşturur.

(# 04, INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayınlanması

Prime Intellect, 2025 yılının Mayıs ayında, 32B parametre ölçeğine sahip, asenkron, güvene ihtiyaç duymayan Merkeziyetsizlik düğümleri ile işbirliği yaparak eğitilen dünyanın ilk güçlendirme öğrenme büyük modelini, INTELLECT-2'yi piyasaya sürdü. INTELLECT-2 modeli, üç kıtada bulunan 100'den fazla GPU heterojen düğüm tarafından işbirliği ile tamamlandı ve tamamen asenkron bir yapı kullanarak 400 saati aşkın bir eğitim süresi geçirdi.