الكأس المقدس للذكاء الاصطناعي في العملات المشفرة: استكشاف الحدود للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النموذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، حيث يحدد بشكل مباشر الحد الأقصى لقدرة النموذج وتأثيره العملي. مقارنةً بمرحلة الاستدلال التي تتطلب استدعاءً خفيف الوزن، تتطلب عملية التدريب استثمارًا مستمرًا في قوة حسابية كبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين قوية، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء نظم الذكاء الاصطناعي. من منظور نماذج البنية، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.
تعتبر التدريبات المركزية هي الطريقة التقليدية الأكثر شيوعًا، حيث يتم إكمال جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة محلية عالية الأداء، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية التحتية المتعمقة التعاون كفاءة مثالية لمشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT و Gemini، ولها مزايا كفاءة عالية، وموارد قابلة للتحكم، ولكن في نفس الوقت تعاني من مشكلات احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يكمن جوهرها في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ التعاوني، لتجاوز قيود الحساب والتخزين في الآلة الواحدة. على الرغم من توافر الخصائص "الموزعة" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والتزامن، وغالبًا ما يتم تشغيله في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink للربط السريع، حيث يتم تنسيق المهام الفرعية من قبل العقدة الرئيسية.
التوازي البياني: كل عقدة تدرب معلمات بيانات مختلفة مع مشاركة الوزن النموذجي، تحتاج إلى مطابقة وزن النموذج
توزيع النموذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع العالية
الأنابيب المتوازية: تنفيذ تسلسلي على مراحل، لزيادة معدل الإنتاج
التوازي المتجه: تقسيم دقيق لحساب المصفوفة، تعزيز درجة التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، وهو مشابه لمدير واحد يقوم بالتحكم عن بعد في تعاون موظفي "مكاتب" متعددة لإنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزتها الأساسية في: العديد من العقد غير الموثوقة تتعاون لإكمال مهام التدريب بدون منسق مركزي، وعادةً ما يتم توزيع المهام والتعاون من خلال بروتوكولات، وتساعد آلية التحفيز المشفرة في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:
صعوبة التوافق بين الأجهزة المتنوعة وتقسيم المهام: صعوبة عالية في تنسيق الأجهزة المتنوعة، وكفاءة منخفضة في تقسيم المهام
عنق الزجاجة في كفاءة الاتصال: اتصالات الشبكة غير مستقرة، وعائق تزامن التدرج واضح.
نقص التنفيذ الموثوق: يفتقر إلى بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعلاً في الحساب
نقص التنسيق الموحد: لا يوجد جهاز مركزي للتنسيق، توزيع المهام وآلية التراجع عن الأخطاء معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم يساهمون بقوة الحوسبة لتدريب النموذج بشكل مشترك، لكن "التدريب اللامركزي واسع النطاق القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، ويتعلق بهيكل النظام، وبروتوكولات الاتصال، وأمان التشفير، والآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن أن يكون "تعاون فعال + تحفيز الصدق + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي باعتباره شكلًا انتقالياً بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي ببنية هندسية للتدريب الموزع وقدرة على التعاون المحلي، وفي الوقت نفسه يتمتع بمزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية المُتحكم بها" في سياقات الامتثال للخصوصية، حيث تكون المهام التدريبية، وبنية الثقة، وآليات الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص وطرق الواقع
من حيث نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية جداً، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الانتهاء من المهام بكفاءة بين العقد الموزعة والموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالباً على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في شبكة مفتوحة؛ وتكون المهام التي تفرض قيوداً قوية على خصوصية البيانات والسيادة محددة وفقاً للامتثال القانوني والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما تفتقر المهام التي تفتقر إلى أساس الحوافز التعاونية إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معاً القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، في أنواع المهام الخفيفة الهيكل، السهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك ولكن لا تقتصر على: ضبط LoRA، مهام التدريب اللاحق الموجهة للسلوك، التدريب والتوسيم المستند إلى حشد البيانات، تدريب النماذج الأساسية الصغيرة القابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية المتنوعة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكات P2P، بروتوكول Swarm، المحسنات الموزعة، وغيرها من الطرق.
تحليل مشاريع التدريب الكلاسيكية اللامركزية
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما المسارات التنفيذية لـ Gensyn وFlock.io أكثر وضوحًا، وقد أصبح من الممكن رؤية تقدم أولي في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، وستستكشف المزيد من الفروقات والعلاقات التكميلية فيما يتعلق بنظام التدريب اللامركزي للذكاء الاصطناعي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من المسار التدريبي
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، حيث يمكن لأي شخص المشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في إنشاء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية حوافز كاملة.
هيكل بروتوكول Prime Intellect وقيمة الوحدات الرئيسية
شرح آلية التدريب الأساسية لـ Prime Intellect
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لسيناريوهات التدريب اللامركزية من Prime Intellect، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولوي، ويفصل بشكل هيكلي بين عمليات التدريب والاستنتاج ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام محليًا بشكل مستقل، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع أساسًا لدعم المهام المتعددة بالتوازي وتطور السياسات.
TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هو آلية أساسية للتحقق من التدريب قدمها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم استراتيجية فعالة استنادًا إلى بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بإجراء تحليل لتتبع الاتساق المحلي بين "تسلسل الملاحظات ↔ تحديث الاستراتيجية"، لإكمال التحقق الهيكلي الخفيف. إنه يحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهو ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى ثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الأوزان غير المتزامنة
SHARDCAST هو بروتوكول نشر وتجمع الوزن المصمم بواسطة Prime Intellect، تم تحسينه خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، وقيود العرض الترددي، وتغير حالة العقد. يجمع بين آلية نشر القيل والقال واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالات غير متزامنة، مما يحقق تقاربًا تدريجيًا للوزن وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، فإن SHARDCAST يعزز بشكل ملحوظ قابلية التوسع وقدرة التحمل في التدريب اللامركزي، ويعتبر الأساس الأساسي لبناء توافق وزني مستقر وتدريب متواصل.
OpenDiLoCo:إطار الاتصال غير المتزامن الرفيع
OpenDiLoCo هو إطار تحسين الاتصالات الذي تم تطويره بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للاتصال الناتجة عن التزامن العالمي، ويعتمد فقط على جيران العقد المحلية لإكمال تدريب النموذج بشكل تعاوني. بالاشتراك مع التحديثات غير المتزامنة وآلية تحمل الأخطاء، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف لمكتبات الاتصالات التقليدية على الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسومات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.
شبكة Prime Intellect وتحفيز تقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق وغير مصرح بها، مزودة بآلية تحفيز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
عقد التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات الملاحظة
عقد تحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وإصدار المكافآت، مما يشكل حلقة تحفيزية تدور حول "السلوك التدريبي الحقيقي".
INTELLECT-2:إطلاق أول نموذج تدريب قابل للتحقق اللامركزي
أصدرت Prime Intellect في مايو 2025 نموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد غير مركزية، غير موثوقة، ومتزامنة. حجم المعلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بالتعاون مع أكثر من 100 عقدة GPU متوزعة على ثلاث قارات، باستخدام بنية متزامنة تمامًا، حيث استمر التدريب لأكثر من 400 ساعة، مما يظهر قابلية الشبكة المتزامنة واستقرارها. لا يعد هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا التنفيذ النظامي الأول لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى أن الشبكة التدريبية اللامركزية قد حققت لأول مرة انفتاحًا وموثوقية واقتصادًا في عملية التدريب.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 17
أعجبني
17
6
مشاركة
تعليق
0/400
MetaDreamer
· منذ 20 س
عودة موجة التدريب على إزالة المركز化!
شاهد النسخة الأصليةرد0
CryptoMom
· منذ 20 س
مرة أخرى عالق بقوة الحوسبة
شاهد النسخة الأصليةرد0
CryptoAdventurer
· منذ 20 س
لقد بدأوا مرة أخرى في رسم البيتكوين، هذه النكهة قوية جدًا.
شاهد النسخة الأصليةرد0
HappyMinerUncle
· منذ 20 س
قوة الحوسبة غالية للغاية هنا
شاهد النسخة الأصليةرد0
retroactive_airdrop
· منذ 20 س
يبدو أنه متعب قليلاً
شاهد النسخة الأصليةرد0
BearMarketSurvivor
· منذ 20 س
هل يمكن أن تخرج من الدائرة مع قوة الحوسبة؟ لا أستطيع اللعب.
استكشاف تدريب الذكاء الاصطناعي اللامركزي: الاختراقات الرائدة لـ Prime Intellect و Pluralis
الكأس المقدس للذكاء الاصطناعي في العملات المشفرة: استكشاف الحدود للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يعتبر تدريب النموذج هو المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث العوائق التقنية، حيث يحدد بشكل مباشر الحد الأقصى لقدرة النموذج وتأثيره العملي. مقارنةً بمرحلة الاستدلال التي تتطلب استدعاءً خفيف الوزن، تتطلب عملية التدريب استثمارًا مستمرًا في قوة حسابية كبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين قوية، مما يجعلها "الصناعة الثقيلة" الحقيقية في بناء نظم الذكاء الاصطناعي. من منظور نماذج البنية، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.
تعتبر التدريبات المركزية هي الطريقة التقليدية الأكثر شيوعًا، حيث يتم إكمال جميع عمليات التدريب بواسطة مؤسسة واحدة داخل مجموعة محلية عالية الأداء، من الأجهزة، والبرامج الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تتيح هذه البنية التحتية المتعمقة التعاون كفاءة مثالية لمشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT و Gemini، ولها مزايا كفاءة عالية، وموارد قابلة للتحكم، ولكن في نفس الوقت تعاني من مشكلات احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة السائدة حاليًا في تدريب النماذج الكبيرة، حيث يكمن جوهرها في تقسيم مهام تدريب النموذج ثم توزيعها على عدة آلات للتنفيذ التعاوني، لتجاوز قيود الحساب والتخزين في الآلة الواحدة. على الرغم من توافر الخصائص "الموزعة" من الناحية الفيزيائية، إلا أن الكل لا يزال تحت سيطرة مؤسسة مركزية للتحكم في الجدولة والتزامن، وغالبًا ما يتم تشغيله في بيئة شبكة محلية عالية السرعة، من خلال تقنية NVLink للربط السريع، حيث يتم تنسيق المهام الفرعية من قبل العقدة الرئيسية.
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، وهو مشابه لمدير واحد يقوم بالتحكم عن بعد في تعاون موظفي "مكاتب" متعددة لإنجاز المهام. في الوقت الحالي، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
اللامركزية التدريب تمثل مسارًا مستقبليًا أكثر انفتاحًا ومقاومة للرقابة. تتمثل ميزتها الأساسية في: العديد من العقد غير الموثوقة تتعاون لإكمال مهام التدريب بدون منسق مركزي، وعادةً ما يتم توزيع المهام والتعاون من خلال بروتوكولات، وتساعد آلية التحفيز المشفرة في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي يواجهها هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين من جميع أنحاء العالم يساهمون بقوة الحوسبة لتدريب النموذج بشكل مشترك، لكن "التدريب اللامركزي واسع النطاق القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، ويتعلق بهيكل النظام، وبروتوكولات الاتصال، وأمان التشفير، والآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، ولكن ما إذا كان يمكن أن يكون "تعاون فعال + تحفيز الصدق + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكر.
التعلم الفيدرالي باعتباره شكلًا انتقالياً بين التوزيع واللامركزية، يركز على الاحتفاظ بالبيانات محليًا، وتجمع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي ببنية هندسية للتدريب الموزع وقدرة على التعاون المحلي، وفي الوقت نفسه يتمتع بمزايا توزيع البيانات في التدريب اللامركزي، لكنه لا يزال يعتمد على طرف موثوق للتنسيق، ولا يمتلك خصائص مفتوحة تمامًا ومقاومة للرقابة. يمكن اعتباره نوعًا من "اللامركزية المُتحكم بها" في سياقات الامتثال للخصوصية، حيث تكون المهام التدريبية، وبنية الثقة، وآليات الاتصال أكثر اعتدالًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص وطرق الواقع
من حيث نمط التدريب، فإن التدريب اللامركزي لا يناسب جميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، ومتطلبات الموارد العالية جداً، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الانتهاء من المهام بكفاءة بين العقد الموزعة والموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالباً على ذاكرة عالية، ووقت استجابة منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في شبكة مفتوحة؛ وتكون المهام التي تفرض قيوداً قوية على خصوصية البيانات والسيادة محددة وفقاً للامتثال القانوني والقيود الأخلاقية، ولا يمكن مشاركتها بشكل مفتوح؛ بينما تفتقر المهام التي تفتقر إلى أساس الحوافز التعاونية إلى الدافع الخارجي للمشاركة. تشكل هذه الحدود معاً القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، في أنواع المهام الخفيفة الهيكل، السهلة التوازي، القابلة للتحفيز، يظهر التدريب اللامركزي آفاق تطبيق واضحة. بما في ذلك ولكن لا تقتصر على: ضبط LoRA، مهام التدريب اللاحق الموجهة للسلوك، التدريب والتوسيم المستند إلى حشد البيانات، تدريب النماذج الأساسية الصغيرة القابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. تتمتع هذه المهام عمومًا بخصائص عالية من التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية المتنوعة، مما يجعلها مناسبة جدًا للتدريب التعاوني من خلال شبكات P2P، بروتوكول Swarm، المحسنات الموزعة، وغيرها من الطرق.
تحليل مشاريع التدريب الكلاسيكية اللامركزية
حاليًا، تشمل المشاريع البارزة في مجال التدريب اللامركزي والتعلم الفيدرالي بشكل رئيسي Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما المسارات التنفيذية لـ Gensyn وFlock.io أكثر وضوحًا، وقد أصبح من الممكن رؤية تقدم أولي في الهندسة. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، وستستكشف المزيد من الفروقات والعلاقات التكميلية فيما يتعلق بنظام التدريب اللامركزي للذكاء الاصطناعي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من المسار التدريبي
تسعى Prime Intellect إلى بناء شبكة تدريب AI لا تتطلب الثقة، حيث يمكن لأي شخص المشاركة في التدريب، والحصول على مكافآت موثوقة مقابل مساهماته الحاسوبية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في إنشاء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية حوافز كاملة.
هيكل بروتوكول Prime Intellect وقيمة الوحدات الرئيسية
شرح آلية التدريب الأساسية لـ Prime Intellect
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار نمذجة وتنفيذ المهام المخصص لسيناريوهات التدريب اللامركزية من Prime Intellect، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز كهدف تكييف أولوي، ويفصل بشكل هيكلي بين عمليات التدريب والاستنتاج ورفع الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام محليًا بشكل مستقل، والتعاون من خلال واجهات موحدة وآليات التحقق والتجميع. بالمقارنة مع عمليات التعلم الخاضعة للإشراف التقليدية، فإن PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام، ويضع أساسًا لدعم المهام المتعددة بالتوازي وتطور السياسات.
TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هو آلية أساسية للتحقق من التدريب قدمها Prime Intellect، تُستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم استراتيجية فعالة استنادًا إلى بيانات الملاحظة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يقوم بإجراء تحليل لتتبع الاتساق المحلي بين "تسلسل الملاحظات ↔ تحديث الاستراتيجية"، لإكمال التحقق الهيكلي الخفيف. إنه يحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهو ابتكار رئيسي لتحقيق توزيع مكافآت التدريب دون الحاجة إلى ثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
SHARDCAST: بروتوكول تجميع ونشر الأوزان غير المتزامنة
SHARDCAST هو بروتوكول نشر وتجمع الوزن المصمم بواسطة Prime Intellect، تم تحسينه خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، وقيود العرض الترددي، وتغير حالة العقد. يجمع بين آلية نشر القيل والقال واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالات غير متزامنة، مما يحقق تقاربًا تدريجيًا للوزن وتطورات متعددة النسخ. بالمقارنة مع طرق AllReduce المركزية أو المتزامنة، فإن SHARDCAST يعزز بشكل ملحوظ قابلية التوسع وقدرة التحمل في التدريب اللامركزي، ويعتبر الأساس الأساسي لبناء توافق وزني مستقر وتدريب متواصل.
OpenDiLoCo:إطار الاتصال غير المتزامن الرفيع
OpenDiLoCo هو إطار تحسين الاتصالات الذي تم تطويره بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على مفهوم DiLoCo الذي اقترحته DeepMind، وهو مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البيانات، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكاليف العالية للاتصال الناتجة عن التزامن العالمي، ويعتمد فقط على جيران العقد المحلية لإكمال تدريب النموذج بشكل تعاوني. بالاشتراك مع التحديثات غير المتزامنة وآلية تحمل الأخطاء، يجعل OpenDiLoCo وحدات معالجة الرسوميات الاستهلاكية والأجهزة الطرفية قادرة على المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب العالمي، وهو أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، تهدف إلى حل عنق الزجاجة في التكيف لمكتبات الاتصالات التقليدية على الأجهزة المتنوعة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتناثرة، وضغط التدرجات، والتزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسومات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنه يعزز بشكل ملحوظ تحمل عرض النطاق الترددي لشبكة التدريب وتوافق الأجهزة، مما يفتح "آخر كيلومتر" من البنية التحتية للاتصالات لبناء شبكة تدريب تعاونية مفتوحة حقًا وغير موثوقة.
شبكة Prime Intellect وتحفيز تقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق وغير مصرح بها، مزودة بآلية تحفيز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول بناءً على ثلاث فئات من الأدوار الأساسية:
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وإصدار المكافآت، مما يشكل حلقة تحفيزية تدور حول "السلوك التدريبي الحقيقي".
INTELLECT-2:إطلاق أول نموذج تدريب قابل للتحقق اللامركزي
أصدرت Prime Intellect في مايو 2025 نموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز في العالم تم تدريبه بواسطة عقد غير مركزية، غير موثوقة، ومتزامنة. حجم المعلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بالتعاون مع أكثر من 100 عقدة GPU متوزعة على ثلاث قارات، باستخدام بنية متزامنة تمامًا، حيث استمر التدريب لأكثر من 400 ساعة، مما يظهر قابلية الشبكة المتزامنة واستقرارها. لا يعد هذا النموذج مجرد اختراق في الأداء، بل هو أيضًا التنفيذ النظامي الأول لنموذج "التدريب هو التوافق" الذي اقترحته Prime Intellect. يدمج INTELLECT-2 بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى أن الشبكة التدريبية اللامركزية قد حققت لأول مرة انفتاحًا وموثوقية واقتصادًا في عملية التدريب.