Dauguma dirbtinio intelekto ekspertų sutinka, kad kitas didelis šuolis šioje srityje bent iš dalies priklausys nuo to, ar pavyks sukurti kažkada neįsivaizduojamo masto superkompiuterius.
Pristatyta nauja „Passage“ technologija
Praėjusį mėnesį rizikos kapitalo įmonės „Sequoia“ surengtame renginyje startuolio „Lightmatter“ generalinis direktorius pristatė technologiją, kuri gali padėti permąstyti šią hiperkompiuterinę skaičiavimo sistemą, nes lustai gali tiesiogiai bendrauti tarpusavyje naudodami šviesą.
Duomenys šiandien paprastai juda kompiuteriuose, o dirbtinio intelekto algoritmų mokymo atveju – tarp duomenų centre esančių lustų, elektros signalais.
Kartais kai kurios šių jungčių dalys paverčiamos šviesolaidinėmis jungtimis, kad būtų užtikrintas didelis duomenų srauto pralaidumas, tačiau signalus keičiant optiniais ir elektriniais, susidaro komunikacijos kliūčių.
Vietoj to „Lightmatter“ nori tiesiogiai sujungti šimtus tūkstančių ar net milijonus grafikos procesorių – tų silicio lustų, kurie yra labai svarbūs dirbtinio intelekto mokymui – naudodama optines jungtis.
Sumažinus konversijos kliūtį, duomenys tarp lustų galėtų judėti kur kas didesniu greičiu nei dabar, o tai leistų sukurti išskirtinio masto paskirstytus dirbtinio intelekto superkompiuterius.
„Lightmatter“ technologija, kurią ji vadina „Passage“, yra silicyje įmontuotos optinės arba fotoninės jungtys, leidžiančios jos techninei įrangai tiesiogiai susisieti su silicio lusto, pavyzdžiui, GPU, tranzistoriais. Bendrovė teigia, kad tai leidžia perduoti duomenis tarp lustų 100 kartų didesniu pralaidumu nei įprastai.
„Passage“ pajėgumai gerokai lenks „GPT-4“
Kad būtų aiškiau, kalbama, kad galingiausias „GPT-4“ – „OpenAI“ dirbtinio intelekto algoritmas ir „ChatGPT“ smegenys – veikia daugiau nei 20 000 GPU.
Harrisas sako, kad „Passage“, kuris bus parengtas iki 2026 m., turėtų leisti lygiagrečiai paleisti daugiau nei milijoną GPU tam pačiam dirbtinio intelekto mokymo ciklui.
Vienas iš „Sequoia“ renginio auditorijos narių buvo Samas Altmanas, „OpenAI“ generalinis direktorius, kuris kartais atrodė apsėstas klausimo, kaip sukurti didesnius ir greitesnius duomenų centrus, kad būtų galima toliau tobulinti dirbtinį intelektą.
Vasario mėn. buvo pranešta, kad Altmanas siekė gauti iki 7 trilijonų JAV dolerių finansavimą, kad galėtų sukurti didžiulį kiekį AI skirtų lustų, o naujausiame „The Information“ pranešime teigiama, kad „OpenAI“ ir „Microsoft“ rengia planus dėl 100 mlrd. JAV dolerių vertės duomenų centro, kodiniu pavadinimu „Stargate“, su milijonais lustų.
Kadangi elektros jungtys reikalauja labai daug energijos, tokio masto lustų sujungimui prireiktų nepaprastai daug energijos – ir tai priklausytų nuo to, ar atsiras nauji lustų sujungimo būdai, pavyzdžiui, tokie, kokius siūlo „Lightmatter“.
Kompanija „GlobalFoundries“, kuri gamina lustus kitoms bendrovėms, įskaitant „AMD“ ir „General Motors“, anksčiau paskelbė apie partnerystę su „Lightmatter“.
Harrisas sako, kad jo bendrovė „dirba su didžiausiomis pasaulyje puslaidininkių bendrovėmis ir hiperskaleriais“, turėdamas omenyje didžiausias debesijos bendroves, tokias kaip „Microsoft“, „Amazon“ ir „Google“.
Gali atsirasti galimybė kurti pažangesnius algoritmus
Jei „Lightmatter“ ar kitai bendrovei pavyks iš naujo išrasti milžiniškų dirbtinio intelekto projektų laidus, gali išnykti pagrindinė kliūtis kuriant pažangesnius algoritmus.
Didesnio skaičiavimų kiekio naudojimas buvo esminis dalykas, lėmęs „ChatGPT“ pažangą, ir daugelis dirbtinio intelekto tyrėjų mano, kad tolesnis techninės įrangos didinimas yra labai svarbus būsimai šios srities pažangai ir viltims kada nors pasiekti miglotai apibrėžtą tikslą – dirbtinį bendrąjį intelektą, t. y. programas, kurios visais atžvilgiais gali prilygti biologiniam intelektui arba jį pranokti.
Pasak „Lightmatter“ generalinio direktoriaus Nicko Harriso, sujungus milijoną lustų šviesa, galima sukurti algoritmus, kurie keliais kartas pranoks šiuolaikinius pažangiausius, sako „Lightmatter“ generalinis direktorius Nickas Harrisas. „Perėjimas leis sukurti AGI algoritmus“, – įsitikinęs jis.
Didelius duomenų centrus, kurių reikia milžiniškiems DI algoritmams apmokyti, paprastai sudaro stelažai, užpildyti dešimtimis tūkstančių kompiuterių, kuriuose veikia specializuoti silicio lustai, o tarp jų – daugiausiai elektros jungčių.
Išlaikyti dirbtinio intelekto mokymo ciklus tokioje daugybėje sistemų – sujungtų laidais ir jungikliais – yra didžiulė inžinerinė užduotis. Elektroninių ir optinių signalų keitimas taip pat iš esmės apriboja lustų gebėjimą atlikti skaičiavimus kaip vieną.
„Lightmatter“ metodas sukurtas siekiant supaprastinti sudėtingą duomenų srautą dirbtinio intelekto duomenų centruose.
Taip patskaitykite
„Paprastai turite keletą GPU, tada komutatorių sluoksnį, komutatorių sluoksnį ir komutatorių sluoksnį, o norint palaikyti ryšį tarp dviejų GPU, reikia kirsti šį medį“, – sako Harrisas.
Harrisas sako, kad duomenų centre, sujungtame „Passage“, kiekvienas GPU turėtų greitaeigį ryšį su kiekvienu kitu lustu.
„Nvidia“ pristatė DI mokymui skirtą „Blackwell“
„Lightmatter“ darbas su „Passage“ yra pavyzdys, kaip neseniai prasidėjęs dirbtinio intelekto suklestėjimas įkvėpė dideles ir mažas įmones bandyti iš naujo išrasti pagrindinę aparatinę įrangą, kuri yra tokių pasiekimų kaip „OpenAI“ „ChatGPT“ pagrindas.
Praėjusį mėnesį „Nvidia“, pirmaujanti DI projektams skirtų GPU tiekėja, surengė metinę konferenciją, kurioje generalinis direktorius Jensenas Huangas pristatė naujausią bendrovės lustą, skirtą DI mokymui: GPU, pavadintą „Blackwell“.
„Nvidia“ parduos GPU „superlustą“, kurį sudarys du „Blackwell“ GPU ir įprastinis CPU procesorius, sujungti naudojant naują bendrovės sparčiojo ryšio technologiją „NVLink-C2C“.
Mikroschemų pramonė garsėja tuo, kad randa būdų, kaip iš mikroschemų išgauti daugiau skaičiavimo galios jų nedidinant, tačiau „Nvidia“ nusprendė nesilaikyti šios tendencijos.
Bendrovės „superluste“ esantys „Blackwell“ GPU yra dvigubai galingesni už savo pirmtakus, tačiau jie pagaminti sujungiant du lustus, o tai reiškia, kad jie suvartoja daug daugiau energijos.
Šis kompromisas, be to, „Nvidia“ pastangos suklijuoti savo lustus greitaveikėmis jungtimis, leidžia manyti, kad kitų pagrindinių dirbtinio intelekto superkompiuterių komponentų atnaujinimas, kaip, pavyzdžiui, „Lightmatter“ siūlomas, gali tapti svarbesnis.
