تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النماذج المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث الحواجز التقنية، حيث يحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. بالمقارنة مع استدعاء المرحلة الخفيفة خلال الاستنتاج، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحساب الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج العمارة، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.
تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل مؤسسة واحدة في مجموعة عالية الأداء محليًا، بدءًا من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعة، وصولاً إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المتعمقة التآزر من مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، تحقق أقصى كفاءة، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT و Gemini، حيث تتمتع بميزات كفاءة عالية، وموارد قابلة للتحكم، ولكنها تواجه أيضًا مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.
التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على العديد من الآلات للتنفيذ التعاوني، وذلك لتجاوز قيود الحوسبة والتخزين على جهاز واحد. على الرغم من أنه يمتلك خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال يتم بواسطة مؤسسة مركزية، وغالبًا ما يعمل في بيئات الشبكة المحلية عالية السرعة، من خلال تقنية NVLink عالية السرعة، حيث يتم تنسيق المهام الفرعية بشكل موحد بواسطة العقدة الرئيسية. تشمل الأساليب الشائعة ما يلي:
البيانات المتوازية: كل عقدة تدرب معلمات بيانات مختلفة تتشارك في الوزن النموذجي، يجب أن تتطابق.
التوازي في النماذج: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية توسيع قوية
الأنابيب المتوازية: تنفيذ تسلسلي على مراحل، وزيادة معدل الإنتاج
توزيع المصفوفات: تقسيم دقيق لحساب المصفوفات، وزيادة مستوى التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مقارنةً بكيفية توجيه نفس المدير عن بُعد عدة موظفين في "مكاتب" مختلفة للتعاون في إنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
اللامركزية التدريب تمثل طريقاً مستقبلياً أكثر انفتاحاً ومقاومة للرقابة. يتمثل جوهرها في: عدة نقاط غير موثوقة تتعاون لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تحفز توزيع المهام والتعاون، وتساعد آليات الحوافز التشفيرية في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة التباين والتقسيم في الأجهزة: صعوبة تنسيق الأجهزة المتباينة، وانخفاض كفاءة تقسيم المهام
عنق الزجاجة في كفاءة الاتصال: الاتصال الشبكي غير مستقر, وظهور واضح لعنق الزجاجة في مزامنة التدرجات
نقص في التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب.
نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، كل منهم يسهم في قوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يشمل بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان من الممكن "التعاون بشكل فعال + تحفيز الأمانة + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.
تعتبر التعلم الفيدرالي كحالة انتقالية بين الموزع واللامركزية، حيث تؤكد على الاحتفاظ بالبيانات محليًا، وتركز على تجميع معلمات النموذج، مما يجعلها مناسبة للمشاهد التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بالهيكل الهندسي للتدريب الموزع والقدرة على التعاون المحلي، بالإضافة إلى المزايا الموزعة للتدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومضادة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث تكون المهام التدريبية، وبنية الثقة، وآليات الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من حيث نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو متطلبات الموارد العالية جدًا، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الإكمال بكفاءة بين العقد غير المتجانسة والموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وتأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة مقيدة بالامتثال القانوني والقيود الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى أسس الحوافز التعاونية إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، أظهر التدريب اللامركزي آفاقًا تطبيقية واضحة في أنواع المهام الخفيفة البنية، والسهل التوازي، والقابلة للتحفيز. بما في ذلك ولكن لا تقتصر على: ضبط LoRA، مهام التدريب بعد التوافق السلوكي، تدريب وتصنيف البيانات المجمعة، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وأيضًا سيناريوهات التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. تمتاز هذه المهام عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة.
اللامركزية تدريب المشاريع الكلاسيكية التحليل
حاليا، في مجال التدريب اللامركزي وتعلم الفدرالية، تشمل المشاريع البارزة في مجال البلوكشين بشكل رئيسي Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما المسارات التنفيذية لـ Gensyn و Flock.io واضحة نسبيًا، ويمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية الخمس مشاريع المذكورة، واستكشاف الاختلافات والعلاقات التكاملية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect لبناء شبكة تدريب للذكاء الاصطناعي لا تتطلب الثقة، مما يسمح للجميع بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماتهم الحسابية. تأمل Prime Intellect في بناء نظام تدريب للذكاء الاصطناعي اللامركزي مع قابلية التحقق، والانفتاح، وآلية تحفيز متكاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
أولاً، هيكل مجموعة بروتوكول Prime Intellect والقيمة الأساسية للوحدات الرئيسية
ثانياً، شرح آلية التدريب الرئيسية لـ Prime Intellect
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار عمل مخصص لنمذجة المهام وتنفيذها تم تطويره بواسطة Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز ككائن تكيفي مفضل، ويفصل بشكل هيكلي بين عمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون مع آليات التحقق والتجميع من خلال واجهات موحدة. بالمقارنة مع العمليات التقليدية للتعلم الخاضع للإشراف، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم تعدد المهام بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب خفيفة الوزن
TOPLOC هو آلية أساسية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان عقدة ما قد أنهت فعليًا تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف الوزن من خلال تحليل المسارات المحلية للتناسق بين "تسلسل المراقبة ↔ تحديث الاستراتيجية". إنها تحول لأول مرة المسارات السلوكية خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية قابلة للتدقيق والتحفيز ذات اللامركزية.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر وتجمع الأوزان تم تصميمه بواسطة Prime Intellect، وهو مُحسَّن بشكل خاص للبيئات الشبكية الحقيقية التي تتميز باللامركزية، وقيود عرض النطاق الترددي، وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجية التزام محلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالة غير متزامنة، مما يحقق التقارب التدريجي للأوزان وتطورات متعددة الإصدارات. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ قابلية التوسع والقدرة على التحمل في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق مستقر في الأوزان والتكرار المستمر للتدريب.
OpenDiLoCo: إطار الاتصالات اللامركزية المتناثرة
OpenDiLoCo هو إطار تحسين الاتصال الذي تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على فكرة DiLoCo التي اقترحتها DeepMind، مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب النفقات العالية للاتصال الناتجة عن التزامن العالمي، ويعتمد فقط على جيرانه المحليين لإكمال تدريب النموذج بشكل متعاون. من خلال دمج التحديثات غير المتزامنة وآلية تحمل الأخطاء، يجعل OpenDiLoCo من الممكن لمعدات GPU الاستهلاكية والأجهزة الطرفية المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للاتصال لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل اختناقات التكيف في المكتبات التقليدية في الأجهزة المتغايرة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL التخطيط النادر، وضغط التدرجات، والتزامن بدقة منخفضة واستئناف النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات من الفئة الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنها تعزز بشكل ملحوظ من تحمل النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وبدون ثقة من خلال "آخر كيلومتر" من البنية التحتية للاتصالات.
ثالثاً، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، وتتمتع بآلية تحفيز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاثة أنواع من الأدوار الأساسية:
عقدة التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب، والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
أربعة، INTELLECT-2: إصدار أول نموذج تدريب لامركزي قابل للتحقق
أصدرت Prime Intellect في مايو 2025 نموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة عقد غير مركزية تتعاون بشكل غير متزامن وبدون ثقة، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU غير متجانسة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرقت عملية التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يعد هذا النموذج مجرد اختراق في الأداء، بل يمثل أيضًا أول تطبيق نظامي للبارادغم الذي اقترحته Prime Intellect "التدريب هو الإجماع". يتكامل INTELLECT-2 مع بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة فتح عملية التدريب.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 10
أعجبني
10
5
مشاركة
تعليق
0/400
PumpBeforeRug
· 07-29 08:34
هذه الموجة من big pump محددة، تابعها جيدًا!
شاهد النسخة الأصليةرد0
WhaleStalker
· 07-29 00:52
لقد تم الترويج لفكرة التعلم الفيدرالي بشكل مفرط.
شاهد النسخة الأصليةرد0
PaperHandsCriminal
· 07-29 00:46
الصناعة الثقيلة، أليس كذلك... يمكن أن تتنافس مع مركز ثقيل في الوقوع في الفخ.
ثورة نماذج تدريب الذكاء الاصطناعي: من التركيز إلى اللامركزية في التطور التكنولوجي
تطور نماذج تدريب الذكاء الاصطناعي: من التحكم المركزي إلى الثورة التكنولوجية للتعاون اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعتبر تدريب النماذج المرحلة الأكثر استهلاكًا للموارد والأعلى من حيث الحواجز التقنية، حيث يحدد بشكل مباشر الحد الأقصى لقدرات النموذج وفعالية تطبيقه الفعلية. بالمقارنة مع استدعاء المرحلة الخفيفة خلال الاستنتاج، يتطلب عملية التدريب استثمارًا مستمرًا في قوة الحساب الكبيرة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نماذج العمارة، يمكن تقسيم طرق التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، والتدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.
تدريب مركزي هو الطريقة التقليدية الأكثر شيوعًا، حيث يتم تنفيذ جميع عمليات التدريب من قبل مؤسسة واحدة في مجموعة عالية الأداء محليًا، بدءًا من الأجهزة، والبرمجيات الأساسية، ونظام جدولة المجموعة، وصولاً إلى جميع مكونات إطار التدريب التي يتم تنسيق تشغيلها بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية المتعمقة التآزر من مشاركة الذاكرة، وتزامن التدرجات، وآليات التحمل، تحقق أقصى كفاءة، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT و Gemini، حيث تتمتع بميزات كفاءة عالية، وموارد قابلة للتحكم، ولكنها تواجه أيضًا مشاكل مثل احتكار البيانات، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقطة الواحدة.
التدريب الموزع هو الأسلوب السائد حاليًا في تدريب النماذج الكبيرة، حيث يكمن جوهره في تقسيم مهام تدريب النموذج ثم توزيعها على العديد من الآلات للتنفيذ التعاوني، وذلك لتجاوز قيود الحوسبة والتخزين على جهاز واحد. على الرغم من أنه يمتلك خصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال يتم بواسطة مؤسسة مركزية، وغالبًا ما يعمل في بيئات الشبكة المحلية عالية السرعة، من خلال تقنية NVLink عالية السرعة، حيث يتم تنسيق المهام الفرعية بشكل موحد بواسطة العقدة الرئيسية. تشمل الأساليب الشائعة ما يلي:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مقارنةً بكيفية توجيه نفس المدير عن بُعد عدة موظفين في "مكاتب" مختلفة للتعاون في إنجاز المهام. حاليًا، يتم تدريب جميع النماذج الكبيرة الرئيسية تقريبًا بهذه الطريقة.
اللامركزية التدريب تمثل طريقاً مستقبلياً أكثر انفتاحاً ومقاومة للرقابة. يتمثل جوهرها في: عدة نقاط غير موثوقة تتعاون لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تحفز توزيع المهام والتعاون، وتساعد آليات الحوافز التشفيرية في ضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، كل منهم يسهم في قوة الحوسبة لتدريب النموذج بشكل متعاون، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال يمثل تحديًا هندسيًا منهجيًا، يشمل بنية النظام، بروتوكولات الاتصال، أمان التشفير، الآليات الاقتصادية، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان من الممكن "التعاون بشكل فعال + تحفيز الأمانة + نتائج صحيحة" لا يزال في مرحلة استكشاف النموذج الأولي المبكرة.
تعتبر التعلم الفيدرالي كحالة انتقالية بين الموزع واللامركزية، حيث تؤكد على الاحتفاظ بالبيانات محليًا، وتركز على تجميع معلمات النموذج، مما يجعلها مناسبة للمشاهد التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بالهيكل الهندسي للتدريب الموزع والقدرة على التعاون المحلي، بالإضافة إلى المزايا الموزعة للتدريب اللامركزي، ولكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يتمتع بخصائص مفتوحة تمامًا ومضادة للرقابة. يمكن اعتباره نوعًا من "اللامركزية الخاضعة للرقابة" في سياقات الامتثال للخصوصية، حيث تكون المهام التدريبية، وبنية الثقة، وآليات الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كنموذج نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والطرق الواقعية
من حيث نماذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو متطلبات الموارد العالية جدًا، أو صعوبة التعاون، فإنه بطبيعته لا يناسب الإكمال بكفاءة بين العقد غير المتجانسة والموثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة عالية، وتأخير منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمها ومزامنتها بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة مقيدة بالامتثال القانوني والقيود الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما تفتقر المهام التي تفتقر إلى أسس الحوافز التعاونية إلى الدافع للمشاركة الخارجية. تشكل هذه الحدود معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو فكرة زائفة. في الواقع، أظهر التدريب اللامركزي آفاقًا تطبيقية واضحة في أنواع المهام الخفيفة البنية، والسهل التوازي، والقابلة للتحفيز. بما في ذلك ولكن لا تقتصر على: ضبط LoRA، مهام التدريب بعد التوافق السلوكي، تدريب وتصنيف البيانات المجمعة، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وأيضًا سيناريوهات التدريب التعاوني التي تشارك فيها الأجهزة الطرفية. تمتاز هذه المهام عمومًا بخصائص عالية التوازي، وانخفاض الترابط، وتحمل القدرة الحاسوبية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكول Swarm، والمحسنات الموزعة.
اللامركزية تدريب المشاريع الكلاسيكية التحليل
حاليا، في مجال التدريب اللامركزي وتعلم الفدرالية، تشمل المشاريع البارزة في مجال البلوكشين بشكل رئيسي Prime Intellect و Pluralis.ai و Gensyn و Nous Research و Flock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect و Nous Research و Pluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، مما يمثل الاتجاهات الرائدة في الأبحاث النظرية الحالية؛ بينما المسارات التنفيذية لـ Gensyn و Flock.io واضحة نسبيًا، ويمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية الخمس مشاريع المذكورة، واستكشاف الاختلافات والعلاقات التكاملية بينها في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية للتعلم المعزز القابل للتحقق من مسارات التدريب
تسعى Prime Intellect لبناء شبكة تدريب للذكاء الاصطناعي لا تتطلب الثقة، مما يسمح للجميع بالمشاركة في التدريب والحصول على مكافآت موثوقة مقابل مساهماتهم الحسابية. تأمل Prime Intellect في بناء نظام تدريب للذكاء الاصطناعي اللامركزي مع قابلية التحقق، والانفتاح، وآلية تحفيز متكاملة من خلال ثلاثة وحدات: PRIME-RL + TOPLOC + SHARDCAST.
أولاً، هيكل مجموعة بروتوكول Prime Intellect والقيمة الأساسية للوحدات الرئيسية
ثانياً، شرح آلية التدريب الرئيسية لـ Prime Intellect
PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفكك
PRIME-RL هو إطار عمل مخصص لنمذجة المهام وتنفيذها تم تطويره بواسطة Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز ككائن تكيفي مفضل، ويفصل بشكل هيكلي بين عمليات التدريب والاستدلال وتحميل الأوزان، مما يسمح لكل عقدة تدريب بإكمال دورة المهام بشكل مستقل محليًا، والتعاون مع آليات التحقق والتجميع من خلال واجهات موحدة. بالمقارنة مع العمليات التقليدية للتعلم الخاضع للإشراف، فإن PRIME-RL أكثر ملاءمة لتحقيق تدريب مرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويؤسس لدعم تعدد المهام بالتوازي وتطور الاستراتيجيات.
TOPLOC: آلية تحقق سلوك التدريب خفيفة الوزن
TOPLOC هو آلية أساسية للتحقق من التدريب اقترحها Prime Intellect، تُستخدم لتحديد ما إذا كان عقدة ما قد أنهت فعليًا تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف الوزن من خلال تحليل المسارات المحلية للتناسق بين "تسلسل المراقبة ↔ تحديث الاستراتيجية". إنها تحول لأول مرة المسارات السلوكية خلال عملية التدريب إلى كائنات قابلة للتحقق، وهي الابتكار الرئيسي لتحقيق توزيع مكافآت التدريب بدون ثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية قابلة للتدقيق والتحفيز ذات اللامركزية.
SHARDCAST: بروتوكول تجميع ونشر الوزن غير المتزامن
SHARDCAST هو بروتوكول لنشر وتجمع الأوزان تم تصميمه بواسطة Prime Intellect، وهو مُحسَّن بشكل خاص للبيئات الشبكية الحقيقية التي تتميز باللامركزية، وقيود عرض النطاق الترددي، وتغير حالة العقد. يجمع بين آلية نشر gossip واستراتيجية التزام محلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية باستمرار في حالة غير متزامنة، مما يحقق التقارب التدريجي للأوزان وتطورات متعددة الإصدارات. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يعزز SHARDCAST بشكل ملحوظ قابلية التوسع والقدرة على التحمل في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق مستقر في الأوزان والتكرار المستمر للتدريب.
OpenDiLoCo: إطار الاتصالات اللامركزية المتناثرة
OpenDiLoCo هو إطار تحسين الاتصال الذي تم تحقيقه بشكل مستقل ومفتوح المصدر من قبل فريق Prime Intellect بناءً على فكرة DiLoCo التي اقترحتها DeepMind، مصمم خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على البيانات المتوازية، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب النفقات العالية للاتصال الناتجة عن التزامن العالمي، ويعتمد فقط على جيرانه المحليين لإكمال تدريب النموذج بشكل متعاون. من خلال دمج التحديثات غير المتزامنة وآلية تحمل الأخطاء، يجعل OpenDiLoCo من الممكن لمعدات GPU الاستهلاكية والأجهزة الطرفية المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعتبر أحد البنى التحتية الأساسية للاتصال لبناء شبكة تدريب لامركزية.
PCCL: مكتبة الاتصالات التعاونية
PCCL هو مكتبة اتصالات خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب الذكاء الاصطناعي اللامركزية، وتهدف إلى حل اختناقات التكيف في المكتبات التقليدية في الأجهزة المتغايرة والشبكات ذات النطاق الترددي المنخفض. تدعم PCCL التخطيط النادر، وضغط التدرجات، والتزامن بدقة منخفضة واستئناف النقاط، ويمكن تشغيلها على وحدات معالجة الرسوميات من الفئة الاستهلاكية والعقد غير المستقرة، وهي مكون أساسي يدعم القدرة على الاتصال غير المتزامن لبروتوكول OpenDiLoCo. إنها تعزز بشكل ملحوظ من تحمل النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يمهد الطريق لبناء شبكة تدريب تعاونية مفتوحة حقًا وبدون ثقة من خلال "آخر كيلومتر" من البنية التحتية للاتصالات.
ثالثاً، شبكة Prime Intellect للتحفيز وتقسيم الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، وتتمتع بآلية تحفيز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على أساس ثلاثة أنواع من الأدوار الأساسية:
تشمل العملية الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
أربعة، INTELLECT-2: إصدار أول نموذج تدريب لامركزي قابل للتحقق
أصدرت Prime Intellect في مايو 2025 نموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز تم تدريبه بواسطة عقد غير مركزية تتعاون بشكل غير متزامن وبدون ثقة، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU غير متجانسة عبر ثلاث قارات، باستخدام بنية غير متزامنة بالكامل، واستغرقت عملية التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. لا يعد هذا النموذج مجرد اختراق في الأداء، بل يمثل أيضًا أول تطبيق نظامي للبارادغم الذي اقترحته Prime Intellect "التدريب هو الإجماع". يتكامل INTELLECT-2 مع بروتوكولات أساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يرمز إلى أن شبكة التدريب اللامركزية قد حققت لأول مرة فتح عملية التدريب.