„Amazon“ palengvino kelią savo DI lustams: „PyTorch“ programas galima perkelti paprasčiau

Sekite TechNaujienos Google

DI modelį sukūrusi įmonė gali norėti keisti skaičiavimo infrastruktūros tiekėją, tačiau aparatinės įrangos kaina yra tik viena tokio sprendimo dalis. Jei programą reikia pritaikyti kitam lustui, iš naujo tikrinti jos veikimą ir perdaryti kūrimo įrankius, pigesnis skaičiavimas gali tapti brangesniu projektu. Būtent šią problemą „Amazon Web Services“ mėgina spręsti pristatydama „TorchNeuron“ – naują būdą paleisti įprastą „PyTorch“ kodą AWS „Trainium“ lustuose be plataus perrašymo.

Apie sprendimą „Amazon“ paskelbė prieš spalio 20 dieną vykusią „PyTorch Conference North America“ konferenciją. Oficialiame technologijos pristatyme bendrovė teigia, kad daugeliui programų pakaks pakeisti vykdymo aplinkos konfigūraciją. Spalio 20 dieną projektas išleistas kaip vieša bandomoji versija pagal „Apache 2.0“ licenciją; tai patvirtina ir oficialus „PyTorch“ bendruomenės techninis pristatymas. Tai reikšmingas pranešimas ne dėl vieno naujo procesoriaus, o dėl to, kad debesijos tiekėjas bando sumažinti programinį barjerą savo aparatinės įrangos naudojimui.

„PyTorch“ yra vienas svarbiausių DI modelių kūrimo įrankių. Su juo dirbantys specialistai yra sukūrę mokymo, vertinimo, derinimo ir diegimo procesus, kurie neatsiranda per vieną dieną. Keičiant lustų platformą svarbu ne vien tai, ar modelis techniškai pasileidžia. Jis turi duoti tikėtiną rezultatą, palaikyti būtinus operatorius, tvarkyti atmintį ir veikti pakankamai stabiliai didesniame serveryje.

Anksčiau „Trainium“ naudotojams dažnai reikėjo specializuotų AWS bibliotekų ar papildomo pritaikymo. „TorchNeuron“ remiasi „PyTorch“ architektūroje esančiu mechanizmu, leidžiančiu registruoti skirtingų aparatinių platformų vykdymo aplinkas. Taip kūrėjų parašytas kodas ir konkretus lustas tampa mažiau susieti. Tai nereiškia, kad visos išorinės bibliotekos, nestandartinės operacijos ar bet kuris DI modelis automatiškai veiks be jokio tikrinimo.

Naujausi straipsniai

5 min. skaitymo • prieš 18 minučių

„Facebook“ leidžia vartotojams kalbėtis su algoritmu: ką tai keičia verslui ir turinio kūrėjams?

5 min. skaitymo • prieš 38 minutės

„Google Ads“ keičia biudžeto valdymą: reklamuotojai galės riboti antraeilių kanalų išlaidas

5 min. skaitymo • prieš 1 val

„Amazon“ Vokietijoje planuoja 16 mlrd. eurų investicijas: 4,8 mlrd. atiteks debesijai ir DI

Visi naujausi straipsniai →

Konkurencija vyksta ne tik tarp lustų

„Nvidia“ stiprybę DI rinkoje lemia ne vien greitintuvų našumas. Jos programinių įrankių ir bibliotekų ekosistema daugelį metų padėjo kūrėjams mokyti bei vykdyti modelius. Kai organizacija jau turi suderintą kodą, infrastruktūros pakeitimas yra ekonominis sprendimas: reikia įvertinti inžinierių laiką, galimas klaidas, naujus testus ir sistemos prastovas.

„Amazon“ savo pranešime aprašo demonstraciją, kurioje tas pats mokymo scenarijus vykdytas skirtingoje aparatinėje įrangoje, pakeitus konfigūracijos nustatymą. Bendrovė nurodo, kad mokymo eiga buvo panaši. Tačiau vienas demonstracinis scenarijus nėra nepriklausomas visų „Trainium“ ir „Nvidia“ lustų palyginimas. Nepateikti duomenys, leidžiantys padaryti bendrą išvadą apie visų modelių kainą, energijos sąnaudas ar veikimo spartą.

Technologiškai aktualu tai, kad „TorchNeuron“ palaiko „Trainium2“ ir „Trainium3“. Pranešime taip pat minimas „TorchTitan“ – paskirstytojo DI mokymo įrankis, leidžiantis keliems greitintuvams kartu dirbti su dideliais modeliais. „Hugging Face“ savo įrankiuose taip pat diegia natyvų „Trainium“ palaikymą. Tai leidžia AWS konkuruoti ne vien nuolaidomis infrastruktūros kainai, bet ir tuo, kiek lengva pradėti ja naudotis.

Šis žingsnis iš dalies sutampa su kitų debesijos tiekėjų strategija. „Microsoft“ taip pat plečia nuosavų DI lustų kryptį, o „Maia 300“ pristatymas rodo, kad infrastruktūros savininkai mėgina kontroliuoti ir aparatinį skaičiavimo sluoksnį. Tikslas nėra būtinai atsisakyti visų išorinių tiekėjų, bet turėti daugiau pasirinkimo ten, kur brangiausia auginti DI paslaugas.

Kam naujovė naudinga, o kam jos dar nepakanka?

„Amazon“ nurodo ankstyvuosius naudotojus iš balso technologijų ir mokslinių tyrimų sričių. Tarp jų – pokalbių DI kūrėja „Cartesia“ ir „Lieber Institute for Brain Development“. Pastaroji įstaiga tyrinėja biologinius ir cheminius procesus, kuriems reikia didelių skaičiavimo išteklių. Šie pavyzdžiai rodo, kokiems darbams gali būti aktualus paprastesnis perėjimas prie „Trainium“, bet jie neįrodo, kad visos DI kūrėjų komandos pasieks tokį patį rezultatą.

Mažai Lietuvos DI įmonei svarbiausias klausimas galėtų būti labai konkretus: ar modelis, kuris dabar veikia pasirinktoje debesijoje, su minimaliais pakeitimais galėtų būti paleistas AWS? Jei taip, atsirastų galimybė palyginti skaičiavimo kainą ir aprūpinimą. Jei naudojami reti operatoriai ar savarankiškai sukurti plėtiniai, reikėtų papildomų bandymų. Jokio išankstinio sutaupymo procento šiame etape sąžiningai pažadėti negalima.

„Amazon“ skelbia, kad kiekvienai naujai „TorchNeuron“ versijai atlieka plataus masto bandymus su šimtais tūkstančių DI modelių. Šį teiginį pateikia pati bendrovė; viešame pristatyme nėra pateikta nepriklausomo sertifikavimo visiems tokiems atvejams. Reali vertė paaiškės iš kūrėjų patirties, suderinamumo aprėpties, dokumentuotų ribojimų ir atvirojo kodo bendruomenės indėlio.

Verta atskirti du dalykus. „TorchNeuron“ neprilygsta naujam DI modeliui, todėl savaime nepagerina jo atsakymų kokybės. Tai infrastruktūros sluoksnio pakeitimas, galintis suteikti daugiau galimybių rinktis, kur modelį mokyti ar vykdyti. Galutinę ekonominę naudą lems ne pranešimo antraštė, o konkrečios darbo apkrovos bandymas su skirtingais tiekėjais.

AWS pasirinkta kryptis parodo, kodėl DI lustų rinkoje konkurencija gali suintensyvėti net be naujo fizinio greitintuvo pristatymo. Jei pereiti nuo vienos sistemos prie kitos tampa paprasčiau, pirkėjas gali drąsiau lyginti kainą, našumą ir patikimumą. Būtent tokios pasirinkimo galimybės „Amazon“ siekia – o rinkai dar teks patikrinti, kiek iš pažadėto suderinamumo veiks už demonstracijos ribų.