Sukurta DI duomenų sistema, galinti pasiekti iki 100 TB per sekundę greitį

Sekite TechNaujienos Google

DI infrastruktūros lenktynėse vis didesne problema tampa ne vien GPU skaičius, bet ir tai, kaip greitai juos galima aprūpinti duomenimis. „NetApp“ pristato naujos kartos infrastruktūros sprendimus, skirtus vadinamosioms DI gamykloms, kuriose vienu metu dirba tūkstančiai ar net dešimtys tūkstančių spartintuvų.

Bendrovė pabrėžia, kad moderniose sistemose duomenų sluoksnis turi veikti beveik tokiu pačiu tempu kaip skaičiavimo klasteris. Kalbama apie agreguotą pralaidumą, galintį siekti dešimtis terabaitų per sekundę, o didžiausiose architektūrose – artėti prie 100 TB/s klasės.

GPU laukimas kainuoja milijonus

Brangūs DI spartintuvai efektyvūs tik tada, kai gauna duomenis be uždelsimo. Jei saugykla ar tinklas nespėja, dalis skaičiavimo galios tiesiog stovi nenaudojama. Todėl DI duomenų centruose saugyklos architektūra tampa tokia pat svarbi kaip ir patys lustai.

„NetApp“ taip pat plečia automatizavimo ir agentinio DI funkcijas duomenų valdymui. Apie naują DI infrastruktūros kryptį bendrovė rašo savo techniniame pristatyme.

Naujausi straipsniai

4 min. skaitymo • prieš 10 minučių

Fizikai artėja prie egzotiškų kvantinės materijos būsenų, kurių dalelės elgiasi visiškai kitaip

4 min. skaitymo • prieš 25 minutės

Sukurtas tiksliausias laikrodis istorijoje – sekundę suklystų tik per daugiau nei 260 mlrd. metų

4 min. skaitymo • prieš 40 minučių

Mokslininkai ChatGPT panaudojo dalelių fizikai – DI pasiūlė netikėtą sprendimą senai problemai

Visi naujausi straipsniai →

DI gamyklos auga į naują mastą

Didėjant modeliams, duomenų srautai augs dar sparčiau. Dėl to konkurencija vyksta ne tik tarp „Nvidia“, AMD ar kitų procesorių gamintojų, bet ir tarp tinklų, saugyklų bei duomenų valdymo platformų tiekėjų.

100 TB/s klasės pralaidumas svarbus todėl, kad šiuolaikinėje DI infrastruktūroje saugykla gali tapti paslėptu stabdžiu. GPU klasteris gali turėti milžinišką teorinę skaičiavimo galią, tačiau jei duomenys į jį tiekiami per lėtai, brangūs spartintuvai dalį laiko tiesiog laukia.

Problema ypač ryški mokant modelius iš didžiulių duomenų rinkinių. Vien tik nuskaityti mokymo duomenis nepakanka – reikia nuolat rašyti kontrolinius modelio taškus, saugoti tarpinius rezultatus ir paskirstyti informaciją tarp daugybės mazgų. Jei vienas iš šių srautų stringa, visa sistema gali prarasti efektyvumą.

Didelėse DI gamyklose todėl atsiranda nauja architektūros filosofija: saugykla turi būti projektuojama kartu su GPU tinklu, o ne prijungiama vėliau kaip atskiras komponentas. Duomenų vieta, jų kopijavimas, podėliai ir prieigos valdymas tampa tiesiogine našumo dalimi.

Tačiau didžiausias skaičius reklaminiame pristatyme nebūtinai reiškia, kad kiekvienas klientas realiai matys 100 TB/s. Toks agreguotas pralaidumas paprastai pasiekiamas didelėje, specialiai sukonfigūruotoje infrastruktūroje. Praktinis rezultatas priklausys nuo failų dydžio, prieigos modelio, tinklo ir programinės įrangos.

Vis dėlto kryptis aiški: DI infrastruktūros konkurencija juda nuo atskirų GPU prie visos sistemos. Bendrovėms, kurios išleidžia šimtus milijonų ar milijardus duomenų centrams, net kelių procentų geresnis spartintuvų panaudojimas gali būti ekonomiškai labai reikšmingas. Todėl duomenų sluoksnis tampa viena iš svarbiausių DI „gamyklos“ dalių.

Tokio masto saugykla turi spręsti ir patikimumo problemą. Jei vienas mazgas sugenda mokymo metu, sistema negali prarasti kelių valandų ar dienų darbo. Todėl kontroliniai modelio taškai rašomi reguliariai, o infrastruktūra turi juos saugoti taip, kad atkūrimas būtų greitas. Kuo didesnis modelis, tuo didesni ir šie failai.

Duomenų valdymas svarbus ir saugumui. DI mokymo rinkiniai gali turėti komercinių ar asmens duomenų, todėl prieiga turi būti kontroliuojama, audituojama ir atskiriama tarp komandų. Vadinasi, moderni DI saugykla vienu metu turi būti labai greita, patikima ir valdoma pagal griežtas duomenų politikos taisykles – trys reikalavimai, kuriuos suderinti nėra paprasta.

Tokioje aplinkoje programinė įranga turi automatiškai perkelti duomenis tarp greitų ir lėtesnių saugyklos sluoksnių. Ne kiekvienas failas turi būti laikomas brangiausioje spartinamoje atmintyje, todėl išmanus duomenų išdėstymas tampa tiesiogine infrastruktūros ekonomikos dalimi.

Daugiau DI infrastruktūros naujienų rasite TechNaujienos.lt DI rubrikoje.