نهج نظام متعدد الوكلاء لتحقيق التوازن في الحمل وتخصيص الموارد للحوسبة الموزعة

جدول المحتويات

1. الملخص

يقدم هذا البحث نهجًا لا مركزيًا لتخصيص المهام وجدولتها على شبكات موزعة واسعة النطاق. تستفيد الخوارزمية المقترحة، بروتوكول تخصيص الموارد الموزع (dRAP)، من الخصائص الناشئة للأنظمة متعددة الوكلاء لتشكيل مجموعات حاسوبية وحلها ديناميكيًا بناءً على المتطلبات المتغيرة لقائمة انتظار المهام العالمية. تظهر عمليات المحاكاة التجريبية أن dRAP تتفوق على برنامج جدولة الوارد أولاً يصرف أولاً (FIFO) القياسي في المقاييس الرئيسية: الوقت اللازم لإفراغ قائمة الانتظار، متوسط وقت انتظار المهمة، ومعدل استخدام وحدة المعالجة المركزية الإجمالي. يُظهر هذا النموذج اللامركزي وعدًا كبيرًا لبيئات المعالجة الموزعة واسعة النطاق مثل SETI@home وGoogle MapReduce.

2. المقدمة

أتاح توجه تحويل أعباء العمل الحسابية الكبيرة إلى شبكات موزعة جغرافيًا من أجهزة الكمبيوتر التجارية الجاهزة غير المكلفة، الوصول إلى الحوسبة عالية الأداء للجميع. تمثل أنظمة مثل SETI@home وGoogle MapReduce هذا التحول، مما يخلق حاجة ماسة لخوارزميات فعالة وقابلة للتوسع وقوية لتخصيص المهام. تشكل المرسلات المركزية نقاط فشل مفردة واختناقات في قابلية التوسع. يستكشف هذا البحث بديلاً لا مركزيًا باستخدام الأنظمة متعددة الوكلاء (MAS)، التي تولد سلوكيات عالمية معقدة من تفاعلات محلية بسيطة، وقد نجحت سابقًا في نمذجة الأنظمة البيولوجية وحل المشكلات الهندسية. تم تنظيم الورقة البحثية لصياغة المشكلة، ومراجعة الحوسبة اللامركزية والأنظمة متعددة الوكلاء، ووصف برنامج المحاكاة وخوارزمية dRAP، وعرض النتائج التجريبية، ومناقشة الأعمال ذات الصلة، والختام.

3. بيان المشكلة والافتراضات

تتمثل المشكلة الأساسية في تخصيص العمليات من قائمة الانتظار العالمية Q إلى مجموعة ديناميكية موزعة جغرافيًا من المعالجات. يعلن كل عملية عن قدرته على التوازي (عدد الخيوط، TH_n) ومتطلبات الموارد (مثل وحدات المعالجة المركزية، CPU_req). لا يحتوي النظام على مرسل مركزي. بدلاً من ذلك، ينظم أجهزة الكمبيوتر ديناميكيًا في "مجموعات" - وهي شبكات تلبي بشكل جماعي متطلبات عملية واحدة. يتم تشكيل المجموعات مع مراعاة القرب الجغرافي لتقليل زمن الوصل. تشمل الافتراضات الرئيسية: إمكانية الاتصال بين أجهزة الكمبيوتر، أن القرب الجغرافي يقلل من تكاليف زمن الوصل/عرض النطاق الترددي، أن العمليات تعلن عن متطلباتها مسبقًا، وأن النهج مصمم للتوسع (ملايين/مليارات العقد).

4. نظرة عامة على الحوسبة اللامركزية

تقضي الحوسبة اللامركزية على نقاط التحكم المركزية، وتوزع عملية اتخاذ القرار عبر مكونات النظام. يعزز هذا قابلية التوسع (لا يوجد اختناق)، والمتانة (لا توجد نقطة فشل مفردة)، والقدرة على التكيف. تعمل الوكلاء في النظام بناءً على المعلومات والقواعد المحلية، مما يؤدي إلى سلوك عالمي ناشئ ذاتي التنظيم مناسب للبيئات الديناميكية مثل الشبكات الحسابية.

5. الأنظمة متعددة الوكلاء

النظام متعدد الوكلاء (MAS) هو مجموعة من الوكلاء المستقلين الذين يتفاعلون داخل بيئة ما. يدرك الوكلاء حالتهم المحلية، ويتواصلون مع الجيران، ويتصرفون بناءً على قواعد أو سياسات داخلية. تنشأ "الذكاء" للنظام من هذه التفاعلات. النظام متعدد الوكلاء مناسب جدًا لتخصيص الموارد الموزعة حيث يمكن للوكلاء (أجهزة الكمبيوتر) التفاوض بشكل مستقل، وتشكيل تحالفات (مجموعات)، والتكيف مع الأحمال المتغيرة دون تنسيق هرمي من أعلى إلى أسفل.

6. بيئة المحاكاة

تم تطوير محاكٍ مخصص لنمذجة شبكة موزعة من أجهزة الكمبيوتر غير المتجانسة وتدفق من المهام الواردة ذات متطلبات موارد متغيرة. سمح المحاكي بإجراء تجارب خاضعة للرقابة ومقارنة بين خوارزمية dRAP والخوارزميات الأساسية مثل FIFO تحت ظروف حمل وشبكة متنوعة.

7. خوارزمية dRAP

بروتوكول تخصيص الموارد الموزع (dRAP) هو الإسهام الأساسي. يعمل من خلال التفاعلات المحلية بين عقد الوكلاء. عندما تكون العقدة خاملة أو غير مستغلة بالكامل، تبحث في قائمة انتظار المهام العالمية عن مهمة مناسبة. لخدمة مهمة تتطلب موارد متعددة، تعمل العقدة كـ "بذرة" وتجند العقد المجاورة لتشكيل مجموعة مؤقتة. يعتمد التجنيد على القرب الجغرافي وتوافر الموارد. بمجرد اكتمال المهمة، تتفكك المجموعة، وتعود العقد إلى المجمع، جاهزة لتشكيل مجموعات جديدة. هذه آلية التجميع الديناميكية حسب الطلب هي الآلية الرئيسية للخوارزمية.

8. تحليل تكلفة البحث في قائمة الانتظار العالمية

أحد الاختناقات المحتملة في الأنظمة اللامركزية هو تكلفة بحث كل وكيل في قائمة انتظار المهام العالمية. يحلل البحث هذه التكلفة، ويناقش على الأرجح استراتيجيات لجعل البحث فعالاً، مثل فهرسة المهام، أو تقسيم قائمة الانتظار، أو استخدام المطابقة الاستدلالية لتجنب عمليات المسح الشاملة، مما يضمن قابلية التوسع.

9. تحسين dRAP المستوحى من الجهاز المناعي

يستلهم المؤلفون الإلهام من الأنظمة المناعية البيولوجية، التي تحدد وتقضي على مسببات الأمراض بكفاءة باستخدام خلايا لا مركزية قابلة للتكيف. قد تشمل تقنيات التحسين المماثلة: 1) المطابقة القائمة على التقارب: يفضل الوكلاء المطابقة مع المهام التي تتطابق "بصمتها" للموارد بشكل وثيق مع قدراتهم الخاصة. 2) الانتقاء الاستنساخي لتشكيل المجموعات: يتم "تذكر" المجموعات الناجحة (تلك التي تكمل المهام بسرعة) أو تعزيز نمط تشكيلها للمهام المستقبلية المماثلة. 3) نصف قطر التجنيد التكيفي: يضبط النطاق الجغرافي لتجنيد أعضاء المجموعة بناءً على حمل النظام وإلحاح المهمة.

10. التجارب والنتائج

قارنت التجارب بين خوارزمية dRAP وجدولة FIFO. شملت المقاييس: الوقت اللازم لإفراغ قائمة الانتظار (TEQ)، متوسط وقت الانتظار (AWT)، ومتوسط استخدام وحدة المعالجة المركزية (ACU). أظهرت النتائج الأداء المتفوق لـ dRAP، خاصة تحت أحمال المهام ذات التباين العالي، وذلك بسبب تجميعها الديناميكي للموارد وتجميعها الواعي للقرب مما يقلل من النفقات العامة للاتصال.

11. الأعمال ذات الصلة

يضع البحث خوارزمية dRAP ضمن نطاق أوسع من الأبحاث حول تخصيص موارد الشبكة، بما في ذلك الحوسبة التطوعية (مثل BOINC)، والبروتوكولات القائمة على الاتفاقيات (مثل استخدام اتفاقيات مستوى الخدمة)، والنهج الاقتصادية/القائمة على السوق (مثل شراء وبيع موارد الحوسبة). يقارن البحث بين التنسيق الناشئ المستوحى من البيولوجيا في dRAP مع هذه النماذج الأكثر تنظيماً أو مدفوعة بالحوافز.

12. الخاتمة والعمل المستقبلي

تقدم خوارزمية dRAP بديلاً عمليًا لا مركزيًا لتحقيق التوازن في الحمل في الحوسبة الموزعة واسعة النطاق. يوفر استخدامها لمبادئ الأنظمة متعددة الوكلاء والتجميع الديناميكي قابلية التوسع والمتانة والقدرة على التكيف. قد يشمل العمل المستقبلي الاختبار على أنظمة موزعة واقعية، ودمج نماذج اقتصادية أو ثقة أكثر تطوراً بين الوكلاء، وتوسيع النهج للتعامل مع المهام كثيفة البيانات (أبعد من الأحمال المركزة على وحدة المعالجة المركزية).

13. التحليل الأصلي والنقد الخبير

14. التفاصيل التقنية والصياغة الرياضية

يمكن نمذجة عملية اتخاذ القرار الأساسية للوكيل i لاختيار مهمة T_j من قائمة الانتظار Q كمشكلة تحسين لتقليل دالة التكلفة C(i, j):

$C(i, j) = \alpha \cdot \frac{CPU\_req_j}{CPU\_avail_i} + \beta \cdot Latency(i, N(T_j)) + \gamma \cdot WaitTime(T_j)$

حيث:
- $CPU\_req_j / CPU\_avail_i$ هو الطلب المعياري على الموارد.
- $Latency(i, N(T_j))$ تقدر تكلفة الاتصال بالعقد المحتملة للمجموعة للمهمة T_j.
- $WaitTime(T_j)$ هو الوقت الذي قضته T_j في قائمة الانتظار (إعطاء الأولوية للمهام الأقدم).
- $\alpha, \beta, \gamma$ هي معلمات ترجيح مضبوطة للنظام.

تشكيل المجموعة هو بروتوكول اتفاق موزع. يبث الوكيل البذرة i طلب تجنيد Req(T_j, R) ضمن نصف قطر R. يقبل الوكيل k إذا كانت موارده المتاحة تطابق الحاجة ويقلل من زمن الوصل الإجمالي للمجموعة. تعتبر المجموعة قد تشكلت عندما: $\sum_{k \in Cluster} CPU\_avail_k \geq CPU\_req_j$.

15. النتائج التجريبية ووصف المخططات

وصف مخطط افتراضي (بناءً على ادعاءات الورقة البحثية):
سيظهر مخطط شريطي بعنوان "مقارنة الأداء: dRAP مقابل جدولة FIFO" ثلاثة أزواج من الأشرطة للمقاييس الرئيسية.

• المقياس 1: الوقت اللازم لإفراغ قائمة الانتظار (TEQ): سيكون الشريط الخاص بـ dRAP أقصر بشكل ملحوظ (على سبيل المثال، أقل بنسبة 40٪) من شريط FIFO، مما يشير إلى إنتاجية معالجة إجمالية أسرع.
• المقياس 2: متوسط وقت الانتظار (AWT): سيكون الشريط الخاص بـ dRAP أقل، مما يظهر أن المهام، في المتوسط، تقضي وقتًا أقل في الانتظار قبل بدء التنفيذ.
• المقياس 3: متوسط استخدام وحدة المعالجة المركزية (ACU): سيكون الشريط الخاص بـ dRAP أعلى (على سبيل المثال، 85٪ مقابل 60٪)، مما يوضح استخدامًا أكثر كفاءة لمجمع الموارد الموزع من خلال تقليل وقت الخمول عبر التجميع الديناميكي.

من المحتمل أن يتضمن المخطط أشرطة خطأ أو يُعرض عبر مستويات حمل مختلفة (منخفض، متوسط، مرتفع) لإظهار أن ميزة dRAP تُحافظ عليها أو حتى تزداد مع نمو حمل النظام وتباين المهام.

16. إطار التحليل: دراسة حالة مفاهيمية

السيناريو: يدير اتحاد عالمي لنمذجة المناخ عمليات محاكاة جماعية تتطلب كل منها 10,000 ساعة وحدة معالجة مركزية. الموارد عبارة عن شبكة تطوعية مكونة من 50,000 جهاز كمبيوتر منزلي متنوع وآلات مختبر جامعي حول العالم.

فشل خط الأساس FIFO: يخصص خادم مركزي المهام بالترتيب. يتم تعيين محاكاة تحتاج إلى 100 وحدة معالجة مركزية لأول 100 جهاز خامل في القائمة، والتي يمكن أن تكون منتشرة عبر 6 قارات. يجعل زمن الوصل للشبكة للمزامنة المحاكاة بطيئة جدًا، مما يهدر دورات وحدة المعالجة المركزية في الانتظار. يصبح الخادم المركزي أيضًا نقطة اختناق وفشل مفردة.

dRAP في العمل:
1. تدخل مهمة T (100 وحدة معالجة مركزية، 50 جيجابايت ذاكرة) قائمة الانتظار.
2. تلتقطها آلة خاملة في أوروبا (Agent_EU) ذات نطاق ترددي عالي كبذرة.
3. يستخدم Agent_EU دالة التكلفة C لإعطاء الأولوية لتجنيد الآلات داخل نفس موفر السحابة الإقليمي والشبكة الأكاديمية.
4. من خلال البث المحلي، يشكل بسرعة مجموعة من 100 آلة معظمها في أوروبا الغربية.
5. تنفذ المجموعة منخفضة زمن الوصل T بكفاءة. في الوقت نفسه، يشكل وكيل بذرة في آسيا مجموعة أخرى لمهمة مختلفة.
6. عند الانتهاء، تتفكك المجموعة الأوروبية، ويبدأ وكلاؤها على الفور في مسح قائمة الانتظار بحثًا عن بذور جديدة، مما يخلق نسيج موارد سائل ذاتي الشفاء.

تسلط هذه الحالة الضوء على نقاط قوة dRAP في تقليل زمن الوصل وخلق مجمعات موارد تكيفية محلية.

17. آفاق التطبيق والاتجاهات المستقبلية

التطبيقات الفورية:
- الحوسبة التطوعية 2.0: تحسين منصات مثل BOINC أو Folding@home بتوزيع وحدات عمل ذكية واعية بزمن الوصل.
- تنسيق الحوسبة الطرفية: إدارة المهام عبر آلاف العقد الطرفية (مثل محطات قاعدة 5G، بوابات إنترنت الأشياء) حيث يكون زمن الوصل والمحلية في غاية الأهمية.
- التعلم الموحد: تنسيق جولات التدريب عبر الأجهزة الموزعة مع تقليل النفقات العامة للاتصال واحترام حدود الشبكة.

اتجاهات البحث المستقبلية:
1. التكامل مع النماذج الاقتصادية: الجمع بين التجميع الناشئ والمدفوعات الصغيرة أو أنظمة السمعة لتأمين الموارد في الشبكات المفتوحة غير الموثوقة.
2. التعامل مع أعباء العمل كثيفة البيانات: توسيع دالة التكلفة C لتشمل تكاليف نقل البيانات، مما يجعل الوكلاء على دراية بمحلية البيانات (مشابه لوعي الرف في Hadoop).
3. البنى الهرمية والهجينة: استخدام dRAP للجدولة داخل المنطقة بينما يتعامل جدول ميتا خفيف الوزن مع تقسيم قائمة الانتظار العالمية، ممزجًا بين النشوء والتوجيه المركزي الأدنى.
4. التحقق الرسمي والسلامة: تطوير طرق لضمان ألا يؤدي السلوك الناشئ أبدًا إلى حالات مرضية مثل الجمود في الموارد أو التجويع، وهو تحدي رئيسي في الأنظمة متعددة الوكلاء.

18. المراجع

1. Anderson, D.P., et al. (2002). SETI@home: An Experiment in Public-Resource Computing. Communications of the ACM.
2. Dean, J., & Ghemawat, S. (2008). MapReduce: Simplified Data Processing on Large Clusters. Communications of the ACM.
3. Bonabeau, E., Dorigo, M., & Theraulaz, G. (1999). Swarm Intelligence: From Natural to Artificial Systems. Oxford University Press.
4. Foster, I., & Kesselman, C. (2004). The Grid 2: Blueprint for a New Computing Infrastructure. Morgan Kaufmann.
5. Ousterhout, K., et al. (2013). Sparrow: Distributed, Low Latency Scheduling. Proceedings of SOSP.
6. Zhu, J., et al. (2017). Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (CycleGAN). Proceedings of ICCV. (مذكور كمثال لأطر الخوارزميات المبتكرة غير الخطية).
7. Vasilescu, I., et al. (2022). Adaptive Resource Management in Decentralized Edge Clouds: A Bio-Inspired Approach. IEEE Transactions on Cloud Computing.
8. MIT SwarmLab. (n.d.). Research on Swarm Intelligence and Robotics. Retrieved from [MIT CSAIL website].
9. Protocol Labs. (2020). Filecoin: A Decentralized Storage Network. [Whitepaper].