„Meta“ pristatė DI modelį, kuriam nereikia interneto – galite atsisiųsti jau dabar

Sekite TechNaujienos Google

„Meta“ pristatė naują dirbtinio intelekto modelį „Muse Glimmer“, kuris gali veikti tiesiai vartotojo kompiuteryje ir jam nebūtinas nuolatinis interneto ryšys. Tai reiškia, kad daliai užduočių DI nebereikia siųsti duomenų į nuotolinius debesijos serverius – visas procesas gali vykti pačiame įrenginyje.

Rugpjūčio 10 d. „Meta AI Research“ pristatytas „Muse Glimmer“ turi 30 mlrd. parametrų ir yra optimizuotas vadinamiesiems DI agentams. Tai sistemos, kurios gali ne tik atsakyti į klausimus, bet ir naudoti įvairius įrankius, programuoti, analizuoti dokumentus bei savarankiškai atlikti iš kelių etapų sudarytas užduotis.

„Meta“ modelio svorius paskelbė pagal „Apache 2.0“ licenciją. Kūrėjai gali modelį atsisiųsti, paleisti savo aparatinėje įrangoje ir pritaikyti konkrečioms užduotims.

Tai svarbus skirtumas nuo daugelio šiandien populiariausių DI paslaugų, kurios didžiąją dalį skaičiavimų atlieka milžiniškuose duomenų centruose. Pavyzdžiui, neseniai rašėme, kad „ChatGPT“ ir kiti „OpenAI“ produktai jau pasiekia daugiau nei milijardą aktyvių naudotojų, todėl DI paslaugoms reikalingos skaičiavimo infrastruktūros mastas nuolat auga.

Naujausi straipsniai

4 min. skaitymo • prieš 1 val

Prastai miegate? 30 minučių šios fizinės veiklos jums padės labiausiai

6 min. skaitymo • prieš 1 val

„Claude“ DI agentas testo metu „netyčia“ įsilaužė į 3 realias įmones – ekspertai perspėja, kas gali būti toliau

4 min. skaitymo • prieš 2 val

Peržengė ribą? Dirbtinis intelektas laboratorijoje sukūrė 16 naujų virusų

Visi naujausi straipsniai →

DI gali ne tik atsakyti į klausimus

„Muse Glimmer“ nėra kuriamas kaip dar vienas paprastas pokalbių robotas. „Meta“ jį optimizavo ilgesnėms ir sudėtingesnėms užduotims, kurių metu DI turi suplanuoti kelis veiksmus, naudotis programomis ar kitais įrankiais ir reaguoti į atsiradusias klaidas.

Pavyzdžiui, toks agentas gali padėti valdyti kalendorių, rengti žinučių juodraščius, organizuoti failus ar atlikti programavimo užduotis. Jei naudojamas įrankis pateikia klaidą arba netikėtą rezultatą, modelis mokytas nustatyti problemą ir bandyti veiksmą atlikti dar kartą, o ne tiesiog sustoti.

Tai glaudžiai siejasi su platesne „Meta“ strategija. Bendrovė jau kurį laiką sparčiai plečia DI naudojimą savo produktuose. „Technaujienos.lt“ neseniai rašė ir apie tai, kaip „Meta“ diegia naujas DI funkcijas „Instagram“.

„Muse Glimmer“ supranta ne tik tekstą. Specialus vaizdo suvokimo komponentas leidžia modeliui kartu analizuoti tekstą ir vaizdus, todėl DI agentas gali interpretuoti ekrano kopijas, grafikus ar dokumentus. „Meta“ nurodo, kad modelis mokytas naudojant daugiau nei 100 kalbų duomenis.

Bendrovė taip pat pabrėžia vadinamąjį ilgalaikį užduočių vykdymą. Kitaip tariant, modelis turi gebėti išlaikyti užduoties kontekstą ir veiksmų planą ne vieną ar du žingsnius, bet daug ilgiau.

30 mlrd. parametrų sutalpino į mažiau nei 20 GB

Vienas didžiausių iššūkių norint galingą DI paleisti namuose yra jo reikalavimai kompiuterio atminčiai.

„Meta“ skaičiavimu, pilno tikslumo 30 mlrd. parametrų „Muse Glimmer“ versijai reikėtų daugiau nei 55 GB atminties. Tai gerokai daugiau, nei turi dauguma vartotojams skirtų vaizdo plokščių.

Todėl bendrovė panaudojo kvantavimo technologiją ir modelio parametrų tikslumą sumažino maždaug iki 4 bitų. Dėl to pats kalbos modelis užima mažiau nei 20 GB.

„Meta“ teigia, kad kartu su darbui reikalinga papildoma atmintimi, vaizdų analizės komponentu ir kitomis sistemos dalimis modelį galima paleisti 24 arba 32 GB atminties aplinkoje.

Tai nereiškia, kad „Muse Glimmer“ jau dabar sklandžiai veiks bet kuriame nešiojamajame kompiuteryje. Bendrovė našumą bandė su aukštos klasės aparatine įranga, įskaitant „Nvidia GeForce RTX 5090“ bei „Apple MacBook“ kompiuterius.

Tačiau pati kryptis yra reikšminga. Dar visai neseniai panašaus pajėgumo DI modeliams reikėjo didžiulių serverių, o dabar vis daugiau jų galima sutalpinti į vieną galingą asmeninį kompiuterį. Apie tai, kaip veikia šiuolaikiniai dirbtinio intelekto modeliai, plačiau esame rašę ir anksčiau.

„Muse Glimmer“ taip pat naudoja specialią spekuliatyvaus generavimo technologiją. Mažesnis pagalbinis modelis iš anksto pasiūlo galimus teksto fragmentus, o pagrindinis modelis juos patikrina. „Meta“ bandymuose tai leido generavimo spartą su RTX 5090 padidinti 3,1 karto, su „M5 Max“ – 1,8 karto, o su „M4 Max“ – 1,5 karto.

Modelio svoriai jau paskelbti „Hugging Face“. „Meta“ taip pat ruošia palaikymą tokioms platformoms kaip „Ollama“, „LM Studio“, „llama.cpp“, „ExecuTorch“ ir „MLX“, kurios turėtų palengvinti modelio paleidimą savo įrenginyje. Naująjį DI modelį galite atsisiųsti čia (red. past. https://huggingface.co/meta-models/Muse-Glimmer-30B).

Lokalus DI turi ir kitą potencialų pranašumą – jautrūs duomenys nebūtinai turi palikti vartotojo kompiuterį. Tai ypač aktualu DI agentams, kuriems gali būti suteikiama prieiga prie asmeninių dokumentų, failų, kalendoriaus ar kitų duomenų.

Šis klausimas Europoje tampa vis svarbesnis ir dėl reguliavimo – rugpjūčio pradžioje Europos Sąjungoje pradėtos taikyti naujos DI skaidrumo taisyklės.

„Muse Glimmer“ kol kas pirmiausia orientuotas į kūrėjus ir galingesnių kompiuterių savininkus. Vis dėlto „Meta“ žingsnis rodo aiškią kryptį – vis daugiau pažangaus dirbtinio intelekto funkcijų gali persikelti iš debesijos tiesiai į mūsų asmeninius įrenginius.