„Intel“ agentinį DI perkelia į įprastus serverius – brangūs spartintuvai bus reikalingi ne visada

Sekite TechNaujienos Google

„Intel“ pristato naują infrastruktūros kryptį agentiniam dirbtiniam intelektui: dalį užduočių vykdyti įprastuose „Xeon“ procesorių serveriuose, o ne kiekvieną užklausą siųsti į brangius GPU spartintuvus. Bendrovė teigia, kad tai gali padidinti našumą ir sumažinti diegimo sąnaudas verslo sistemose.

Agentinis DI skiriasi nuo paprasto pokalbių roboto. Jis ne tik sugeneruoja tekstą, bet ir planuoja veiksmų seką, kviečia įrankius, skaito duomenų bazes bei tikrina tarpinius rezultatus. Vienai vartotojo užduočiai gali prireikti dešimčių mažų modelio ir programinės logikos operacijų.

Ne visos šios operacijos reikalauja galingiausio DI lusto. Užklausų paskirstymas, paieška, filtravimas, duomenų paruošimas ir mažesnių modelių vykdymas gali būti efektyvūs CPU serveriuose, kuriuos įmonės jau turi.

Kodėl GPU nėra geriausias atsakymas į kiekvieną užduotį

GPU puikiai tinka dideliems lygiagretiems skaičiavimams, ypač modelių mokymui ir didelių neuroninių tinklų išvadoms. Tačiau jis brangus, naudoja daug elektros ir ne visada būna visiškai apkrautas, kai sistema atlieka daugybę nedidelių, skirtingų veiksmų.

Naujausi straipsniai

3 min. skaitymo • prieš 1 val

Kas nutinka duomenų centrui dingus elektrai – kodėl net atsarginė kopija gali neišgelbėti

3 min. skaitymo • prieš 1 val

Kaip telefonas prisijungia tiesiai prie palydovo ir kodėl tai dar nėra įprastas mobilusis internetas

3 min. skaitymo • prieš 1 val

„SpaceX“ planuoja milžinišką „Terafab“ – vienoje vietoje gamins lustus palydovams, robotams ir DI

Visi naujausi straipsniai →

„Intel“ naujienų centre spalio 8 d. paskelbta apie agentinio DI plėtrą „Xeon“ platformoje. Bendrovės interesas akivaizdus – parodyti, kad DI bumas nėra tik GPU gamintojų rinka. Tačiau architektūrinė mintis pagrįsta: mišri sistema gali kiekvieną darbą siųsti ten, kur jis atliekamas ekonomiškiausiai.

Pavyzdžiui, didelis kalbos modelis gali suformuoti planą GPU, o dokumentų paiešką, prieigos teisių tikrinimą ir rezultatų sujungimą atlikti CPU. Mažesnis specializuotas modelis taip pat gali veikti centriniame procesoriuje, jei atsakymo laikas atitinka poreikį.

„TechNaujienos.lt“ neseniai aprašė, kaip DI agentai gali tapti saugumo rizika. Vietinis vykdymas suteikia daugiau kontrolės, tačiau nepašalina būtinybės riboti, kokius įrankius agentas gali pasiekti.

Verslui svarbiausia ne lusto rūšis, o vienos užduoties kaina

Įmonėms DI infrastruktūra vertinama pagal bendrą rezultatą: atsakymo laiką, energiją, aparatinės įrangos kainą ir patikimumą. Greičiausias sprendimas nebūtinai yra ekonomiškiausias, jei didelė spartintuvo dalis laukia darbo.

CPU pranašumas – plati programinės įrangos ekosistema ir jau turima infrastruktūra. Trūkumas – dideli modeliai dažnai veiks lėčiau, ypač esant didelei vienalaikių vartotojų apkrovai. Todėl reali sistema greičiausiai liks mišri.

Agentams svarbi ir atmintis. Jie kaupia pokalbio istoriją, dokumentus bei įrankių atsakymus, todėl našumą gali riboti ne skaičiavimas, o duomenų judėjimas. Serveris su didele operatyviąja atmintimi kai kuriais atvejais gali būti naudingesnis už spartintuvą su ribota brangia atmintimi.

„Intel“ turės įrodyti teiginius nepriklausomais testais. Gamintojo pasirinkti scenarijai nebūtinai atspindi realų įmonės agentą, kuris jungiasi prie senų sistemų ir susiduria su nenuspėjamomis užklausomis.

Vis dėlto kryptis svarbi: DI infrastruktūros rinka pradeda skaidytis. Galingiausi GPU liks būtini modeliams mokyti ir sudėtingoms išvadoms, o didelė kasdienio agentų darbo dalis gali grįžti į įprastus serverius. Tai suteiktų įmonėms daugiau pasirinkimo ir mažintų priklausomybę nuo vienos rūšies spartintuvų.