Splitwise: Uchanganuzi Bora wa LLM Zinazotengeneza Kwa Kugawa Vipindi

Yaliyomo

1. Utangulizi

Mifano mikubwa ya lugha inayotengeneza (LLMs) imebadilisha kabisa matumizi ya AI lakini inakabiliwa na changamoto kubwa za utekelezaji kutokana na ukubwa wa hesabu na mahitaji ya rasilimali. Kupitishwa kwa kasi kwa LLMs katika nyanja mbalimbali kumeunda mahitaji yasiyo na kifani kwa uwezo wa GPU, na kusababisha upungufu wa GPU ulimwenguni na vikwazo vya nguvu katika vituo vya data.

2. Msingi na Hamu ya Kusudi

2.1 Sifa za Uchanganuzi wa LLM

Uchanganuzi wa LLM una vipindi viwili tofauti vilivyo na mahitaji tofauti ya rasilimali:

• Kipindi cha Hesabu ya Kuchochea: Usindikaji sambamba wenye ukubwa wa hesabu wa ishara zote za muingizo
• Kipindi cha Utengenezaji wa Ishara: Utengenezaji wa mlolongo wa ishara za pato ulio na kikomo cha ukubwa wa kumbukumbu

2.2 Mipaka ya Vifaa

3. Ubunifu wa Splitwise

3.1 Muundo wa Kugawa Vipindi

Splitwise inapendekeza kugawa vipindi viwili vya uchanganuzi kwenye majukwaa tofauti ya vifaa:

• Mahesabu ya Kuchochea: GPU za hali ya juu (H100) kwa usindikaji wa kuchochea wenye ukubwa wa hesabu
• Mahesabu ya Ishara: GPU zenye gharama nafuu (A100) kwa utengenezaji wa ishara ulio na kikomo cha kumbukumbu

3.2 Usimamizi wa Rasilimali

Mfumo hutumia maktaba bora za mtandao na viunganisho vya haraka kwa uhamishaji bora wa hali kati ya vipindi. Msingi wa kihisabati unahusisha kuiga ucheleweshaji wa uchanganuzi kama:

$L_{jumla} = L_{kuchochea} + n \times L_{ishara}$

ambapo $n$ ni idadi ya ishara za pato, $L_{kuchochea}$ ni ucheleweshaji wa hesabu ya kuchochea, na $L_{ishara}$ ni ucheleweshaji wa utengenezaji wa kila ishara.

4. Matokeo ya Majaribio

4.1 Tathmini ya Utendaji

Splitwise inafikua maboresho makubwa ikilinganishwa na mbinu za kawaida:

• Uzalishaji wa 1.4× zaidi ikilinganishwa na vikundi vilivyo sawa
• Gharama ndogo kwa 20% kwa utendaji sawa
• Uzalishaji zaidi wa 2.35× chini ya bajeti sawa ya nguvu na gharama

4.2 Uchambuzi wa Gharama na Nguvu

Ubunifu wa kikundi tofauti unaonyesha matumizi bora ya rasilimali, hasa kwa vipindi vya utengenezaji wa ishara ambavyo havitaji uwezo wa kisasa wa hesabu wa GPU.

5. Mfumo wa Uchambuzi wa Kiufundi

Uelewa wa Msingi

Splitwise inapinga kimsingi mbinu ya tasnia ya kutumia GPU kwa njia moja. Utafiti unaonyesha hitilafu kubwa katika miundo ya sasa ya huduma za LLM: kuchukulia uchanganuzi kama mchakato mmoja wakati kwa wazi una mifumo miwili tofauti ya hesabu. Uelewa huu ni muhimu kama ufunuo wa karatasi ya asili ya muundo wa transformer kuhusu michakato ya umakini.

Mfuatano wa Mantiki

Hoja inaendelea kwa usahihi wa kihisabati: (1) Bainisha hali ya uchanganuzi wa LLM yenye mifumo miwili, (2) Onyesha kutofautiana kwa vifaa kupitia uchambuzi wa A100/H100, (3) Pendekeza mgawanyiko wa vipindi kama suluhisho maalum, (4) Thibitisha kwa matokeo halisi. Mfuatano huu wa mantiki unafanana na mbinu katika karatasi za mifumo muhimu kama mfumo wa usimamizi wa kikundi cha Google Borg.

Nguvu na Mapungufu

Nguvu: Uboreshaji wa uzalishaji wa 2.35× chini ya vikwazo maalum ni wa kimapenzi—unafanana na mafanikio yaliyopatikana na vitovu vya tensor vya NVIDIA. Kupunguzwa kwa gharama kunashughulikia kikwazo kikuu cha kupitishwa kwa LLM na makampuni.

Mapungufu: Mbinu hiyo inaletewa ucheleweshaji wa mtandao kati ya vipindi, na kuunda kikwazo kipya. Kama miundo ya mapema ya huduma ndogo, ugumu wa usimamizi wa hali uliosambazwa unaweza kuzidi faida kwa matumizi madogo.

Uelewa Unaoweza Kutekelezwa

Watoa huduma wa wingu wanapaswa kutekeleza mara moja miundo iliyogawanyika katika vipindi katika ofa zao za LLM. Makampuni yanayojenga vikundi vya uchanganuzi lazima yapate mbinu hii tofauti au yakabiliane na adhabu ya gharama ya 20-40%. Utafiti unapendekeza tunaingia enzi ya vifaa maalum vya AI, sawa na mgawanyiko wa CPU/GPU wa miaka ya 2000.

6. Matumizi ya Baadaye na Mwelekeo

Dhana ya kugawa vipindi inaenea zaidi ya LLM za sasa hadi miundo mpya:

• Mifumo ya aina nyingi: Usindikaji tofauti kwa wahandisi tofauti wa aina
• Mchanganyiko wa Wataalamu: Uelekezaji unaobadilika kati ya vifaa maalum vya kipindi
• Matumizi ya Kingo: Mgawanyiko kati ya vifaa vya kingo na rasilimali za wingu
• Vifaa maalum: ASIC maalum kwa vipindi vya utengenezaji wa ishara

7. Marejeo

1. Vaswani, A., et al. "Umakini ni Kila Unachohitaji." NeurIPS 2017.
2. Brown, T., et al. "Mifano ya Lugha ni Wanafunzi Wachache." NeurIPS 2020.
3. Kampuni ya NVIDIA. "Muundo wa GPU ya Msingi ya Tensor ya NVIDIA H100." 2022.
4. Verma, A., et al. "Usimamizi wa kikundi kikubwa katika Google na Borg." EuroSys 2015.
5. Bei za GPU za Wingu. "Bei za Mfano wa AWS EC2." Ilifikiwa 2024.