Mbinu ya Mfumo wa Wawakala Wengi kwa Usawazishaji wa Mzigo na Ugawaji wa Rasilimali kwa Hesabu Zilizosambazwa

Yaliyomo

1. Muhtasari

Utafiti huu unawasilisha mbinu isiyo ya katikati kwa ajili ya ugawaji na upangaji wa kazi kwenye gridi zilizosambazwa kwa wingi. Algoriti iliyopendekezwa, Itifaki ya Ugawaji wa Rasilimali Iliyosambazwa (dRAP), inatumia sifa zinazoibuka za mifumo ya wawakala wengi kuunda na kuvunja makundi ya kompyuta kwa nguvu kulingana na mahitaji yanayobadilika ya foleni ya kazi ya kimataifa. Uigaji wa majaribio unaonyesha kuwa dRAP inashinda mpangaji wa kawaida wa Kwanza-Kuingia-Kwanza-Kutoka (FIFO) kwenye viashiria muhimu: muda wa kumaliza foleni, muda wa wastani wa kusubiri kazi, na matumizi ya jumla ya CPU. Mfano huu usio wa katikati unaonyesha ahadi kubwa kwa mazingira makubwa ya usindikaji uliosambazwa kama vile SETI@home na Google MapReduce.

2. Utangulizi

Mwelekeo wa kuhama mizigo mikubwa ya kihesabu hadi kwenye mitandao iliyosambazwa kijiografia ya kompyuta za bei nafuu, za kibiashara (COTS) umeweza kuwezesha upatikanaji wa hesabu zenye utendakazi wa juu. Mifumo kama SETI@home na Google MapReduce inaonyesha mabadiliko haya, na kuunda hitaji muhimu la algoriti bora, zinazoweza kuongezeka, na thabiti za ugawaji wa kazi. Wapelelezi wa katikati huwasilisha sehemu moja ya kushindwa na vikwazo vya uwezo wa kuongezeka. Karatasi hii inachunguza njia mbadala isiyo ya katikati kwa kutumia mifumo ya wawakala wengi (MAS), ambayo hutoa tabia changamano za kimataifa kutoka kwa mwingiliano rahisi wa ndani, ambayo imefanikiwa hapo awali katika kuiga mifumo ya kibayolojia na kutatua matatizo ya uhandisi. Karatasi imeundwa ili kuweka taswira tatizo, kukagua hesabu isiyo ya katikati na MAS, kuelezea kigunduzi na algoriti ya dRAP, kuwasilisha matokeo ya majaribio, kujadili kazi inayohusiana, na kuhitimisha.

3. Taarifa ya Tatizo na Mawazo

Tatizo kuu linahusisha kugawa michakato kutoka kwenye foleni ya kimataifa Q hadi kwenye seti ya wasindikaji wanaobadilika, waliyosambazwa kijiografia. Kila mchakato unatangaza uwezo wake wa usambazaji sambamba (idadi ya nyuzi, TH_n) na mahitaji ya rasilimali (k.m., CPU, CPU_req). Mfumo hauna mpelelezi wa katikati. Badala yake, huandaa kompyuta kwa nguvu kuunda "makundi"—mitandao ambayo kwa pamoja inakidhi mahitaji ya mchakato mmoja. Makundi huundwa kwa kuzingatia ukaribu wa kijiografia ili kupunguza ucheleweshaji. Mawazo muhimu ni pamoja na: mawasiliano kati ya kompyuta yanawezekana, ukaribu wa kijiografia hupunguza gharama za ucheleweshaji/upana wa bendi, michakato hutangaza mahitaji mapema, na mbinu hiyo imeundwa kwa kiwango cha juu (mamilioni/mabilioni ya nodi).

4. Muhtasari wa Hesabu Isiyo ya Katikati

Hesabu isiyo ya katikati huondoa sehemu za udhibiti wa katikati, ikigawa uamuzi kwenye vipengele vya mfumo. Hii inaboresha uwezo wa kuongezeka (hakuna kikwazo), uthabiti (hakuna sehemu moja ya kushindwa), na kukabiliana. Wawakala katika mfumo hufanya kazi kulingana na habari za ndani na kanuni, na kusababisha tabia ya kimataifa inayojitengeneza yenyewe, inayofaa kwa mazingira yanayobadilika kama vile gridi za kihesabu.

5. Mifumo ya Wawakala Wengi

Mfumo wa Wawakala Wengi (MAS) ni mkusanyiko wa wawakala wenye kujitawala ambao huingiliana ndani ya mazingira. Wawakala hutambua hali yao ya ndani, huwasiliana na majirani, na hufanya kulingana na kanuni au sera za ndani. "Akili" ya mfumo hutokana na mwingiliano huu. MAS inafaa kabisa kwa ugawaji wa rasilimali uliosambazwa kwani wawakala (kompyuta) wanaweza kujadiliana kwa kujitawala, kuunda ushirikiano (makundi), na kukabiliana na mizigo inayobadilika bila uratibu wa juu-hadi-chini.

6. Mazingira ya Uigaji

Kigunduzi maalum kiliundwa ili kuiga gridi iliyosambazwa ya kompyuta tofauti na mtiririko wa kazi zinazoingia zenye mahitaji tofauti ya rasilimali. Kigunduzi kiliwezesha majaribio yaliyodhibitiwa na kulinganisha kati ya dRAP na algoriti za msingi kama FIFO chini ya hali tofauti za mzigo na muundo wa mtandao.

7. Algoriti ya dRAP

Itifaki ya Ugawaji wa Rasilimali Iliyosambazwa (dRAP) ndiyo mchango mkuu. Inafanya kazi kupitia mwingiliano wa ndani kati ya nodi-wawakala. Nodi inapokuwa tupu au haitumiki vizuri, hutafuta foleni ya kazi ya kimataifa kwa ajili ya kazi inayofaa. Ili kuhudumia kazi inayohitaji rasilimali nyingi, nodi hufanya kama "mbegu" na kuajiri nodi za jirani kuunda kundi la muda. Uajiri unategemea ukaribu na upatikanaji wa rasilimali. Kazi ikikamilika, kundi linajitenga, na nodi hurudi kwenye dimbwi, zikiwa tayari kwa uundaji mpya wa makundi. Uundaji huu wa makundi unaobadilika, unaotokana na mahitaji, ndio utaratibu mkuu wa algoriti.

8. Uchambuzi wa Gharama ya Utafutaji wa Foleni ya Kimataifa

Kikwazo kinachowezekana katika mifumo isiyo ya katikati ni gharama ya kila wakala kutafuta foleni ya kazi ya kimataifa. Karatasi hii inachambua gharama hii, pengine inajadili mikakati ya kufanya utafutaji uwe na ufanisi, kama vile kuweka faharasa za kazi, kugawa foleni, au kutumia mechi ya heuristi ili kuepuka uchunguzi kamili, na kuhakikisha uwezo wa kuongezeka.

9. Uboreshaji wa dRAP Unaotokana na Mfumo wa Kinga

Waandishi huchota msukumo kutoka kwa mifumo ya kinga ya kibayolojia, ambayo hutambua na kuzuia vimelea kwa ufanisi kwa kutumia seli zinazobadilika, zisizo za katikati. Mbinu za uboreshaji zinazofanana zinaweza kujumuisha: 1) Mechi inayotegemea uhusiano: Wawakala hufananisha kwa kipendeleo na kazi ambazo "saini" yao ya rasilimali inafanana na uwezo wao wenyewe. 2) Uchaguzi wa kloni kwa ajili ya uundaji wa makundi: Makundi yaliyofanikiwa (yale yanayokamilisha kazi haraka) "yanakumbukwa" au muundo wa uundaji wao unaimarishwa kwa kazi zinazofanana za baadaye. 3) Radii za uajiri zinazobadilika: Safu ya kijiografia ya kuajiri wanachama wa kundi hubadilika kulingana na mzigo wa mfumo na dharura ya kazi.

10. Majaribio na Matokeo

Majaribio yalilinganisha dRAP dhidi ya mpangaji wa FIFO. Viashiria vilijumuisha: Muda wa Kumaliza Foleni (TEQ), Muda wa Kusubiri wa Wastani (AWT), na Matumizi ya Wastani ya CPU (ACU). Matokeo yalionyesha utendakazi bora wa dRAP, hasa chini ya mizigo ya kazi yenye utofauti mkubwa, kutokana na dimbwi lake la rasilimali zinazobadilika na uundaji wa makundi unaozingatia ukaribu unaopunguza mzigo wa mawasiliano.

11. Kazi Inayohusiana

Karatasi hii inaweka dRAP ndani ya utafiti mpana zaidi juu ya ugawaji wa rasilimali za gridi, ikijumuisha hesabu za kujitolea (k.m., BOINC), itifaki zinazotegemea makubaliano (k.m., kutumia SLAs), na mbinu za kiuchumi/zinazotegemea soko (k.m., ambapo rasilimali za hesabu hununuliwa na kuuzwa). Inalinganisha uratibu wa dRAP unaotokana na kibayolojia na mifumo hii yenye muundo zaidi au inayotokana na motisha.

12. Hitimisho na Kazi ya Baadaye

Algoriti ya dRAP inawasilisha njia mbadala inayoweza kutekelezeka, isiyo ya katikati kwa ajili ya usawazishaji wa mzigo katika hesabu iliyosambazwa kwa wingi. Matumizi yake ya kanuni za wawakala wengi na uundaji wa makundi unaobadilika hutoa uwezo wa kuongezeka, uthabiti, na kukabiliana. Kazi ya baadaye inaweza kuhusisha kujaribu kwenye mifumo halisi iliyosambazwa, kujumuisha miundo ya kiuchumi au ya kuaminiana yenye utata zaidi kati ya wawakala, na kupanua mbinu hiyo kushughulikia kazi zenye data nyingi (zaidi ya mizigo inayolenga CPU).

13. Uchambuzi wa Asili & Ukosoaji wa Mtaalamu

Uelewa Mkuu

Kazi ya Banerjee na Hecker sio tu karatasi nyingine ya usawazishaji wa mzigo; ni kamari ya ujasiri juu ya akili inayoibuka badala ya udhibiti uliohandisiwa. Uelewa mkuu ni kwamba kanuni zinazotawanya, zinazojitengeneza zenyewe zinazotawala makoloni ya sisimizi au seli za kinga—sio uratibu wa juu-hadi-chini—ndio ufunguo uliopotea kwa uwezo wa kuongezeka katika hesabu ya kiwango cha sayari. Hii inalingana na mabadiliko ya mfano yanayoonekana katika miradi kama vile SwarmLab ya MIT na utafiti juu ya Uratibu wa Stigmergic, ambapo uratibu wa moja kwa moja kupitia urekebishaji wa mazingira husababisha mifumo thabiti. Uzuri wa dRAP ni katika kutibu mizunguko ya CPU na ucheleweshaji wa mtandao kama njia ya feromoni ya dijiti.

Mtiririko wa Kimantiki

Hoja inaenda na mantiki ya kulazimisha: 1) Wapangaji wa katikati wanashindwa katika kiwango cha hali ya juu (kweli, ona mageuzi ya Google kutoka kwa wapangaji wakubwa hadi Borg/Kubernetes). 2) Mifumo ya kibayolojia inatatua matatizo yanayofanana ya uratibu uliosambazwa kikamilifu. 3) Mifumo ya Wawakala Wengi (MAS) huweka taswira kanuni hizi za kibayolojia. 4) Kwa hivyo, algoriti inayotegemea MAS (dRAP) inapaswa kushinda mifano rahisi, ya katikati (FIFO). Uthibitisho uko kwenye uigaji. Hata hivyo, mtiririko unakwama kwa kutolinganisha kwa ukali dRAP na wapangaji wa kisasa wasio wa katikati (k.m., sampuli iliyosambazwa ya Sparrow) zaidi ya msingi rahisi wa FIFO. Hii inaacha ukingo wake wa ushindani kiasi kisichothibitishwa.

Nguvu & Kasoro

Nguvu: Mbinu inayotokana na kibayolojia ina rutuba ya kiakili na inaepuka shida za utata wa algoriti kamili za usambazaji zilizowekwa. Mwelekeo wa ukaribu wa kijiografia kwa ajili ya uundaji wa makundi ni wa vitendo, unashambulia moja kwa moja joka la ucheleweshaji linalowakera gridi halisi. Uboreshaji wa mfumo wa kinga unadokeza mwelekeo wenye nguvu wa kujifunza kukabiliana ndani ya algoriti.

Kasoro Muhimu: Tembo ndani ya chumba ni mazingira ya uigaji. Matatizo makubwa zaidi ya hesabu za gridi—viwango vya kushindwa tofauti, migawanyiko ya mtandao, nodi zenye udhalimu (katika hesabu za kujitolea), na eneo la data—yanajulikana kuwa magumu kuiga kwa usahihi. Matokeo yenye ahadi katika kigunduzi safi, kama ilivyobainishwa katika ukosoaji wa utafiti wa mapema wa mifumo iliyosambazwa, mara nyingi huvunjika katika uzalishaji. Zaidi ya hayo, dhana ya kutangaza rasilimali za kazi mapema mara nyingi si ya kweli; mizigo mingi ya kazi ina mahitaji ya rasilimali yanayobadilika.

Uelewa Unaotumika

Kwa watendaji: Anzisha mantiki inayotokana na dRAP kwanza katika mizigo ya kundi ya sambamba ya data isiyo muhimu (k.m., usindikaji wa logi, uigaji wa Monte Carlo). Uundaji wake wa makundi unaozingatia ukaribu ni kipengele tayari cha kuunganisha ndani ya wasimamizi wa rasilimali walio wapo kama Kubernetes (kupitia kanuni za uhusiano wa nodi) kwa programu zenye data nyingi. Kwa watafiti: Thamani kubwa zaidi ya karatasi hii ni kama mpango wa dhana. Hatua inayofuata ya haraka ni kuchanganya uundaji wa makundi unaoibuka wa dRAP na mfano mwepesi wa kiuchumi (kama mfumo wa tokeni kutoka Filecoin) ili kushughulikia usawa wa motisha katika gridi za kujitolea, na kuijaribu kwenye jukwaa kama Folding@home au wingu la kibinafsi chini ya kuingizwa kwa hitilafu.

14. Maelezo ya Kiufundi & Uundaji wa Kihisabati

Mchakato mkuu wa uamuzi kwa wakala i kuchagua kazi T_j kutoka kwenye foleni Q unaweza kuigwa kama tatizo la uboreshaji linalopunguza kitendakazi cha gharama C(i, j):

$C(i, j) = \alpha \cdot \frac{CPU\_req_j}{CPU\_avail_i} + \beta \cdot Latency(i, N(T_j)) + \gamma \cdot WaitTime(T_j)$

Ambapo:
- $CPU\_req_j / CPU\_avail_i$ ni mahitaji ya rasilimali yaliyowekwa kiwango.
- $Latency(i, N(T_j))$ inakadiri gharama ya mawasiliano kwa nodi zinazowezekana za kundi kwa kazi T_j.
- $WaitTime(T_j)$ ni muda T_j uliokuwa kwenye foleni (kupendelea kazi za zamani).
- $\alpha, \beta, \gamma$ ni vigezo vya uzani vilivyorekebishwa kwa mfumo.

Uundaji wa kundi ni itifaki ya makubaliano iliyosambazwa. Wakala wa mbegu i hutangaza ombi la uajiri Req(T_j, R) ndani ya radius R. Wakala k anakubali ikiwa rasilimali zake zinazopatikana zinafanana na hitaji na inapunguza ucheleweshaji wa jumla wa kundi. Kundi linachukuliwa kuundwa wakati: $\sum_{k \in Cluster} CPU\_avail_k \geq CPU\_req_j$.

15. Matokeo ya Majaribio & Maelezo ya Chati

Maelezo ya Chati ya Kudhani (Kulingana na Madai ya Karatasi):
Chati ya baa yenye kichwa "Ulinganisho wa Utendakazi: dRAP dhidi ya Mpangaji wa FIFO" ingeonyesha jozi tatu za baa kwa viashiria muhimu.

Kiwango cha 1: Muda wa Kumaliza Foleni (TEQ): Baa ya dRAP ingekuwa fupi zaidi (k.m., 40% chini) kuliko baa ya FIFO, ikionyesha uwezekano wa usindikaji wa jumla wa haraka.
Kiwango cha 2: Muda wa Kusubiri wa Wastani (AWT): Baa ya dRAP ingekuwa chini, ikionyesha kuwa kazi, kwa wastani, hutumia muda mfupi zaidi kusubiri kabla ya utekelezaji kuanza.
Kiwango cha 3: Matumizi ya Wastani ya CPU (ACU): Baa ya dRAP ingekuwa juu zaidi (k.m., 85% dhidi ya 60%), ikionyesha matumizi ya ufanisi zaidi ya dimbwi la rasilimali zilizosambazwa kwa kupunguza muda wa kutojishughulisha kupitia uundaji wa makundi unaobadilika.

Chati ingeweza kujumuisha baa za makosa au kuwasilishwa kwenye viwango tofauti vya mzigo (chini, wastani, juu) ili kuonyesha faida ya dRAP inadumishwa au hata inaongezeka kadri mzigo wa mfumo na utofauti wa kazi unavyoongezeka.

16. Mfumo wa Uchambuzi: Kisa cha Kufikiria

Hali: Ushirikiano wa kimataifa wa kuiga hali ya hewa unaendesha uigaji wa kikundi unaohitaji saa 10,000 za CPU kila moja. Rasilimali ni gridi ya kujitolea ya kompyuta 50,000 tofauti za nyumbani na mashine za maabara ya chuo kikuu ulimwenguni.

Kushindwa kwa Msingi wa FIFO: Seva ya katikati hupeana kazi kwa mpangilio. Uigaji unaohitaji CPU 100 hupeanwa kwa mashine 100 zinazojishughulisha zilizofuata kwenye orodha, ambazo zinaweza kuwa zimesambaa katika bara 6. Ucheleweshaji wa mtandao kwa usawazishaji hufanya uigaji uende polepole, na kupoteza mizunguko ya CPU kwa kusubiri. Seva ya katikati pia inakuwa kikwazo na sehemu moja ya kushindwa.

dRAP Inafanya Kazi:
1. Kazi T (CPU 100, kumbukumbu GB 50) inaingia kwenye foleni.
2. Mashine isiyojishughulisha huko Ulaya (Agent_EU) yenye upana wa bendi wa juu inaichukua kama mbegu.
3. Agent_EU hutumia kitendakazi cha gharama C kupendelea kuajiri mashine ndani ya mtoa huduma sawa wa wingu wa kikanda na mtandao wa kitaaluma.
4. Kupitia matangazo ya ndani, inaunda kundi la mashine 100 haraka hasa katika Ulaya Magharibi.
5. Kundi lenye ucheleweshaji mdogo linatekeleza T kwa ufanisi. Wakati huo huo, wakala wa mbegu huko Asia anaunda kundi lingine kwa kazi tofauti.
6. Baada ya kukamilika, kundi la Ulaya linajitenga, na wawakala wake mara moja wanaanza kuchunguza foleni kwa ajili ya mbegu mpya, na kuunda kitambaa cha rasilimali kinachobadilika, kinachojiponya chenyewe.

Kisa hili kinaangazia nguvu za dRAP katika kupunguza ucheleweshaji na kuunda dimbwi za rasilimali zinazobadilika, za ndani.

17. Mtazamo wa Matumizi & Mwelekeo wa Baadaye

Matumizi ya Haraka:
- Hesabu za Kujitolea 2.0: Kuboresha majukwaa kama BOINC au Folding@home kwa usambazaji wa vitengo vya kazi wenye akili, unaotambua ucheleweshaji.
- Uratibu wa Hesabu ya Ukingo: Kusimamia kazi kwenye maelfu ya nodi za ukingo (k.m., vituo vya msingi vya 5G, lango la IoT) ambapo ucheleweshaji na eneo ni muhimu zaidi.
- Kujifunza Kwa Shirikisho: Kuratibu duri za mafunzo kwenye vifaa vilivyosambazwa huku ukipunguza mzigo wa mawasiliano na kuzingatia mipaka ya mtandao.

Mwelekeo wa Utafiti wa Baadaye:
1. Unganisho na Miundo ya Kiuchumi: Kuchanganya uundaji wa makundi unaoibuka na malipo madogo au mifumo ya sifa ili kupata rasilimali katika gridi wazi, zisizoaminika.
2. Kushughulikia Mizigo ya Kazi Yenye Data Nyingi: Kupanua kitendakazi cha gharama C kujumuisha gharama za uhamishaji wa data, na kufanya wawakala watambue eneo la data (kama ufahamu wa rack wa Hadoop).
3. Usanifu wa Ngazi & Mseto: Kutumia dRAP kwa upangaji ndani ya kanda huku mpangaji-meta mwepesi akishughulikia mgawanyiko wa foleni ya kimataifa, na kuchanganya kuibuka na mwongozo mdogo wa katikati.
4. Uthibitisho Rasmi & Usalama: Kukuza njia za kuhakikisha tabia inayoibuka haileti kamwe hali mbaya kama vile kukwama kwa rasilimali au njaa, changamoto muhimu katika MAS.

18. Marejeo

Anderson, D.P., et al. (2002). SETI@home: Jaribio la Hesabu ya Rasilimali za Umma. Mawasiliano ya ACM.
Dean, J., & Ghemawat, S. (2008). MapReduce: Usindikaji Rahisi wa Data kwenye Makundi Makubwa. Mawasiliano ya ACM.
Bonabeau, E., Dorigo, M., & Theraulaz, G. (1999). Akili ya Swarm: Kutoka Mifumo ya Asili hadi ya Bandia. Oxford University Press.
Foster, I., & Kesselman, C. (2004). Gridi 2: Mpango wa Usanifu Mpya wa Hesabu. Morgan Kaufmann.
Ousterhout, K., et al. (2013). Sparrow: Upangaji Uliosambazwa, Wenye Ucheleweshaji Mdogo. Proceedings of SOSP.
Zhu, J., et al. (2017). Tafsiri ya Picha hadi Picha Isiyo na Jozi kwa kutumia Mitandao ya Adversarial Yenye Mzunguko Thabiti (CycleGAN). Proceedings of ICCV. (Iliyotajwa kama mfano wa mifumo ya algoriti ya ubunifu, isiyo ya mstari).
Vasilescu, I., et al. (2022). Usimamizi wa Rasilimali Unaokabiliana katika Mawingu ya Ukingo Yasiyo ya Katikati: Mbinu Inayotokana na Kibayolojia. IEEE Transactions on Cloud Computing.
MIT SwarmLab. (n.d.). Utafiti juu ya Akili ya Swarm na Robotiki. Imepatikana kutoka [tovuti ya MIT CSAIL].
Protocol Labs. (2020). Filecoin: Mtandao wa Hifadhi Usio wa Katikati. [Karatasi Nyeupe].