DI sukurta iliustracija.
24 GB „Mac“ jau paleidžia 26 mlrd. parametrų DI. Kur slypi kompromisas?
„Mac“ su 24 GB atminties jau gali paleisti 26,4 mlrd. parametrų „Inkling 2 Mini“ tiesiog savo kompiuteryje. Tai leidžia nauja MTPLX versija, jei kompiuteryje yra M3 ar naujesnis lustas. Svarbiausias kompromisas slypi ne modelio pavadinime, o tame, kiek teksto jis vienu metu gali apdoroti.
MTPLX 2.13.0 pastabose nurodoma, kad 24 GB kompiuteriui tinka tik taupiausias „Bare Speed“ paketas. Jis užima 16 GB diske ir dalį modelio svorių saugo 4 bitų tikslumu. M1 ir M2 kompiuteriams su 24 GB šis modelis pagal MTPLX reikalavimus dar netinka.
Kodėl 26 mlrd. parametrų telpa į nešiojamąjį kompiuterį?
„Inkling 2 Mini“ vienam žetonui aktyvina apie 3,4 mlrd. iš 26,4 mlrd. parametrų. Tai padeda riboti kiekvienam atsakymo žingsniui reikalingus skaičiavimus. Atminties klausimą sprendžia ir suspausti svoriai, todėl vien parametrų skaičiaus suderinamumui nustatyti neužtenka.
Gamintojai skelbia iki milijono žetonų kontekstą, bet „Bare Speed“ 24 GB kompiuteryje MTPLX riboja iki 24 576 žetonų. Su 32 GB programoje nurodoma gerokai didesnė riba ir atsiranda daugiau modelio versijų. Kontekste telpa tiek pateikiami dokumentai, tiek ankstesni pokalbio pranešimai, tad skirtumas ypač svarbus dirbant su ilgais failais.
„Bare Speed“ ribą verta atskirti nuo modelio failo dydžio. Paleidus modelį atminties reikia ir pačiam pokalbiui, vaizdui apdoroti bei kitoms programoms. Todėl vien atsisiuntimo dydis neatsako, ar modelis sklandžiai veiks kompiuteryje, kuriame jau atvertas naršyklės langas ir kodo projektas.
Praktinė šio atnaujinimo vertė – galimybė išbandyti didesnį modelį su savo failais vietiniame kompiuteryje. Modelis skaito ir vaizdus, tačiau konkrečių išorinių įrankių veiksmai priklauso nuo jų nustatymų. Jei planuojate modelį naudoti ilgiems dokumentams ar dideliam kodo projektui, pirmiausia verta žiūrėti į jūsų konfigūracijai taikomą konteksto ribą.
Kas iš tiesų pasikeitė su MTPLX 2.13?
Svarbiausia naujiena yra konkretaus modelio palaikymas. „Thinking Machines Lab“ išleido „Inkling 2 Mini“, o MTPLX paruošė skirtingus jo rinkinius pagal „Mac“ lustą ir atminties kiekį. Vadinasi, šiuo atveju du atskiri darbai susitiko vienoje vietoje: modelio kūrėjai paskelbė svorius, o programos kūrėjai pritaikė juos paleisti vietoje ir nurodė, kokiai aparatūrai tinka kiekvienas rinkinys.
Kuo skiriasi 26,4 mlrd. bendrų ir 3,4 mlrd. aktyvių parametrų? Bendras skaičius apibūdina visą modelį. Aktyvių parametrų skaičius rodo, kokią jo dalį modelis pasitelkia apdorodamas vieną žetoną. Skirtingoms teksto dalims jis gali įjungti skirtingas modelio dalis. Todėl skaičiavimo apkrova viename žingsnyje ir atminčiai keliamas reikalavimas yra du skirtingi dalykai.
Praktikoje 24 GB riba padalija net iš pirmo žvilgsnio panašius „Mac“. Turint 24 GB ir M3, M4 ar M5 lustą galima rinktis „Bare Speed“. Tokio pat dydžio atmintis M1 ar M2 modelyje pagal šios versijos reikalavimus nepakanka. MTPLX nurodo, kad senesniems lustams paruošti atskiri FP16 paketai ir jiems reikia bent 32 GB. Perkant naudotą kompiuterį ar tikrinant turimą, verta pasižiūrėti abu parametrus.
Konteksto ribą geriausia suprasti kaip vieno darbo seanso apimtį. Pavyzdžiui, jei norite aptarti kelis dokumentus, dalį konteksto užima jų tekstas, dalį – jūsų klausimas ir ankstesni atsakymai. Kai užduotis nedidelė, 24 576 žetonų gali pakakti. Jei tame pačiame pokalbyje reikia išlaikyti didelį kodo projektą ar daugybę ilgų dokumentų, žemesnę ribą pastebėsite greičiau nei modelio parametrų skaičiaus skirtumą.
Dar vienas pasirinkimas atsiranda turint 32 GB. Tada programoje siūlomas ir 17,2 GB „Optimized Speed“, ir 20,2 GB „Optimized Quality“ rinkinys. Pastarąjį MTPLX apibūdina kaip leidimą su nepakeistais oficialiais svoriais. Žmogui, kuris modelį renkasi kasdieniams darbams, verta lyginti rezultatus pagal savo užduotį: kaip tvarkomasi su tais pačiais klausimais, kokio atsakymo tenka laukti ir ar pakanka vietos visam dokumentui.
Vietinis paleidimas svarbus tada, kai norite analizuoti pasirinktą failą savo įrenginyje. Jei modelį prijungsite prie paieškos, išorinio programavimo asistento ar kito tinklu veikiančio įrankio, duomenų kelias priklausys ir nuo to įrankio nustatymų. Programos palaikomų veiksmų sąrašas savaime nepasako, kur nukeliaus konkreti užklausa.
Taip pat skaitykite apie DI eksperimentą su sena „Nintendo“ konsole ir DI debesijos verslą.
Kaip vertinate šį straipsnį?
Prenumeruokite mūsų „YouTube“ kanalą ir mėgaukitės įdomiais vaizdo reportažais apie mokslą ir technologijas.
Trumpai, aiškiai ir be triukšmo – gaukite svarbiausias technologijų ir mokslo naujienas pirmieji.
DIENOS SKAITOMIAUSI
„Virtus“ ir HX-2 išlaikė kovinius bandymus – pirmoji juos gaus brigada Lietuvoje
2Kaliningrado srityje kaukė sirenos: gubernatorius pranešė apie objektą iš Lietuvos pusės, NKVC dronų nefiksavo
3„nginx2root“ spragos kelia skubų pavojų: ką turi padaryti svetainių administratoriai
4Kiek šį savaitgalį kainuos dyzelinas?
5Britai atidarė robotizuotą 155 mm sviedinių gamyklą: pajėgumas išaugs 16 kartų
NAUJAUSI
Taip pat skaitykite
Atrinkome panašius straipsnius, kurie gali jums patikti.