„Microsoft“ atrado DI modelių „užpakalinių durų“ būdą: paslėptas signalas gali perimti agento veiksmus

Sekite TechNaujienos Google

„Microsoft Research“ lapkričio 10 dieną pristatė tyrimą „Lazarus“, kuriame pademonstravo naują būdą įterpti slaptą kenkėjišką elgesį į dirbtinio intelekto modelį. Tyrėjai parodė, kad tam tikrus retai suveikiančius neuronus galima pakeisti taip, jog gavęs specialų signalą DI agentas atliktų nepageidaujamą komandą. Tai ypač pavojinga sistemoms, kurioms suteikta prieiga prie terminalo, dokumentų, duomenų bazių ar kitų darbo įrankių. Tačiau mokslinio darbo rezultatai nėra įrodymas, kad visi populiarūs DI įrankiai jau turi tokias paslėptas komandas.

Tokio pobūdžio problema skiriasi nuo paprasto klaidingo DI atsakymo. Agentas gali dirbti įprastai ir sėkmingai atlikti saugumo patikras, tačiau specifinis signalas aktyvuoja iš anksto paslėptą elgesį. „Microsoft“ pažymi, kad įterpimo procesui nebūtinai reikia iš naujo mokyti visą modelį. Tai kelia svarbų klausimą apie modelių svorių failų patikimumą, ypač kai įmonė parsisiunčia atvirą modelį ir leidžia jam veikti vidinėje infrastruktūroje.

Kodėl tokia ataka gali būti sunkiai pastebima

Modelio viduje daug procesų yra aktyvūs tik specifinėmis sąlygomis. „Lazarus“ idėja remiasi mažai naudojamų neuronų perprogramavimu taip, kad jie reaguotų į konkretų trigerį. Įprasti tekstinių atsakymų bandymai ne visada atskleidžia tokią modifikaciją, jei testuojant nepasitaiko reikiama sąlyga. Tačiau užpuolikui reikia galimybės pakeisti paties modelio vidinius parametrus, todėl tai nėra universalus būdas perimti bet kurį modelį išsiuntus jam vieną žinutę.

„Microsoft“ tyrėjai aprašo riziką, kai DI agentas gali parsisiųsti ar vykdyti programinį kodą, atskleisti paslaptis ar atlikti destruktyvius veiksmus. Tokios pasekmės priklauso nuo realiai agentui suteiktų teisių. Jei programėlė leidžia tik generuoti tekstą, žalos galimybės mažesnės nei tada, kai agentas turi administratoriaus prieigą prie serverio. Todėl viena svarbiausių apsaugos priemonių yra griežtai riboti leidimus ir reikalauti patvirtinimo jautriems veiksmams.

Naujausi straipsniai

4 min. skaitymo • prieš 2 val

„Microsoft Edge“ pradėjo ieškoti nuolaidų už pirkėją: nauji įrankiai lygina kainas ir kuponus

4 min. skaitymo • prieš 2 val

„Apple TV“ pristato naują funkciją kurtiesiems: filmai turės gestų kalbos vertimo pasirinkimą

4 min. skaitymo • prieš 2 val

Europoje pirmąkart 3D spausdinta atvirame kosmose: palydove per pusvalandį sukurta konstrukcija

Visi naujausi straipsniai →

Ką turėtų pasitikrinti Lietuvos organizacijos

DI modelį verta gauti tik iš patikimo šaltinio, tikrinti jo versiją ir failų vientisumą, o svarbiems modeliams naudoti skaitmeninius parašus. Organizacija taip pat turėtų žinoti, kas atsakingas už modelio atnaujinimą, kokius įrankius agentas gali pasiekti ir kaip registruojami jo veiksmai. Atvirojo kodo modelių įdiegimas į savo serverį savaime neužtikrina, kad tiekimo grandinė apsaugota nuo modifikacijų.

„Microsoft“ nurodo, kad savo „Foundry“ platformoje siekia tikrinti modelių kilmę, juos sieti su patikimais leidėjais ir stebėti aplinkinės programinės įrangos saugumą. Taip pat vystomos modelio svorių analizės bei kriptografinės kilmės patvirtinimo priemonės. Nė vienas iš šių būdų nėra visiška garantija, todėl svarbi kelių apsaugos sluoksnių sistema ir pasirengimas reaguoti į incidentus.

Šis tyrimas ypač aktualus plečiantis Lietuvos DI rinkai. Jis papildo mūsų DI priežiūros įstatymo apžvalgą, kibernetinio saugumo pratybų rezultatus ir DI naudotojų privatumo tyrimą. Jie primena, kad DI saugumą reikia vertinti ne vien pagal atsakymų kokybę, bet ir visą modelio tiekimo grandinę.

Tyrėjų atskleistas mechanizmas primena, kad DI sistemų testavimas turi apimti ne vien galutinį vartotojui rodomą atsakymą. Organizacijos turėtų registruoti, kokios modelio versijos naudojamos, ar kas nors gali pakeisti jų svorius ir kokiu keliu nauja versija pateks į gamybinę aplinką. Jei modelis buvo įdiegtas be aiškios kilmės patikros, vien jo greitis ar geras rezultatas standartiniame teste nėra pakankamas saugumo įrodymas.

DI agentų saugumas taip pat priklauso nuo patvirtinimų sistemos. Net jeigu modelio elgesys pakeičiamas, svarbūs veiksmai gali būti sustabdyti, jei vartotojo leidimas būtinas prieš išsiunčiant duomenis, vykdant komandą ar keičiant kritines bylas. Tai nėra visiška apsauga, nes agentas vis dar gali pateikti klaidingą informaciją, tačiau leidimų ribojimas sumažina tiesioginį poveikį aplinkai.

Svarbu nesupainioti šio eksperimento su teiginiu, kad pati „Microsoft“ debesija buvo įsilaužta arba kad dabar visos DI užklausos yra nesaugios. Tyrimo vertė – parodyti naują galimą atakos būdą, kad modelių kūrėjai ir saugumo komandos galėtų geriau jį suprasti.

Modelio kilmės tikrinimas svarbus ne tik labai didelėms organizacijoms. Mažesnių Lietuvos įmonių programuotojai taip pat gali atsisiųsti išorinius modelių failus, naudoti juos klientų aptarnavimo programose ar automatizuotose darbo eigose. Net jei įrankis naudojamas bandomajam projektui, prieigą prie tikrų klientų duomenų verta riboti. Kiekvienas papildomas leidimas, suteiktas agentui be aiškaus poreikio, didina galimą incidento poveikį. „Lazarus“ tyrimas dar kartą primena, kad DI patogumas ir sauga turi būti projektuojami kartu.

Šaltinis: oficialus pirminis pranešimas.