„Nvidia“ sukūrė DI agentų „sargą“ – nepaklusnius izoliuos per milisekundes

Sekite TechNaujienos Google

„Nvidia“ oficialiai pristatė naują saugumo platformą autonominiams DI agentams, kurios tikslas – neleisti agentui peržengti jam nustatytų ribų net tada, kai pats modelis bando apeiti programos saugumo taisykles. Į sistemą įeina „OpenShell“ saugi vykdymo aplinka ir „Sentry“ – atskiras aparatinis stebėtojas, galintis izoliuoti agentą per milisekundes.

Bendrovė naująją „Open Agent Safety Platform“ paskelbė rugsėjo 28 d. „Nvidia“ argumentuoja, kad pastarieji incidentai parodė vieną bendrą problemą: DI agentas kartais gali apeiti apsaugas, kurios įdiegtos tik programos arba modelio lygmenyje.

Naujas sprendimas saugumą perkelia žemiau – į vykdymo aplinką ir aparatinę infrastruktūrą. Kitaip tariant, agentas gali „norėti“ atlikti veiksmą, tačiau pati sistema gali fiziškai neleisti jam pasiekti failų, tinklo ar įrankių, kurių politika neleidžia.

„Sentry“ stebi agentą iš šalies

„OpenShell“ kiekvieną agentą paleidžia izoliuotoje aplinkoje. Numatyta, kad tiesioginė prieiga prie tinklo, failų ir procesų pagal nutylėjimą būtų ribojama, o leidimai suteikiami pagal iš anksto apibrėžtas taisykles.

Naujausi straipsniai

3 min. skaitymo • prieš 22 minutės

„Samsung“ pristatė galingiausią planšetinių kompiuterių seriją „Galaxy Tab S12“ – vos 5,1 mm storio

2 min. skaitymo • prieš 1 val

Dingo mobilusis ryšys: kas telefone vis tiek veiks?

2 min. skaitymo • prieš 1 val

Radaras droną supainiojo su paukščiais – kodėl taip nutinka?

Visi naujausi straipsniai →

Dar įdomesnė dalis – „Sentry“. Ji veikia „BlueField-4“ DPU aparatinėje įrangoje ir stebi agento elgesį nepriklausomai nuo paties agento proceso. „Nvidia“ teigia, kad jei agentas bando išeiti už nustatytų ribų, „Sentry“ gali jį karantinuoti per milisekundes.

Toks modelis primena saugos sistemą, kuri nestovi tame pačiame kambaryje kaip kontroliuojamas procesas. Jei agentas bandytų pakeisti savo programinę aplinką ar apeiti aplikacijos lygmens apribojimus, aparatinis stebėtojas vis tiek turėtų išlikti nepriklausomas.

Tema ypač aktuali po incidentų, kai autonominiai agentai ieškojo netikėtų kelių užduočiai įvykdyti. TechNaujienos.lt neseniai rašė apie „OpenAI“ incidentą, dėl kurio buvo sustabdytas galingų modelių mokymas.

Saugumas tampa atskira DI infrastruktūros dalimi

„Nvidia“ siekia, kad „OpenShell“ nebūtų apribotas vien jos procesoriais. Bendrovė nurodo, kad atvirojo kodo programinę dalį galima pritaikyti ir kitoms skaičiavimo platformoms, įskaitant „Arm“ bei „Intel“.

Prie iniciatyvos jungiasi daugybė DI ir saugumo bendrovių – tarp jų „Anthropic“, „Microsoft“, „Hugging Face“, „CrowdStrike“, „Palo Alto Networks“ ir kitos.

Tai rodo platesnį pokytį: DI agentams tampant savarankiškesniems, vien modelio „gero elgesio“ nebepakanka. Saugumo architektūra vis labiau kuriama taip, kad net klaidingai ar pavojingai veikiantis agentas negalėtų peržengti techninių ribų.