„Claude“ DI agentas testo metu „netyčia“ įsilaužė į 3 realias įmones – ekspertai perspėja, kas gali būti toliau

Sekite TechNaujienos Google

Dirbtinio intelekto saugumo bandymas virto realiu kibernetiniu incidentu. „Anthropic“ atskleidė, kad trys skirtingi jos „Claude“ modeliai bandymų metu netyčia pasiekė atvirą internetą ir įsilaužė į trijų tikrų organizacijų sistemas.

Vienu rimčiausių atvejų DI gavo prieigą prie realios bendrovės prisijungimo duomenų ir duomenų bazės, kurioje buvo keli šimtai eilučių gamybinių duomenų. Kitu atveju „Claude“ pats sukūrė kenkėjišką programinės įrangos paketą ir paskelbė jį viešame „Python“ paketų kataloge „PyPI“.

Apie incidentus liepos 30 d. oficialiai pranešė pati „Anthropic“, atlikusi daugiau nei 141 tūkst. savo kibernetinio saugumo testų įrašų peržiūrą.

Bendrovė aptiko tris atskirus incidentus, apimančius šešis bandymus. Juose dalyvavo „Claude Opus 4.7“, „Claude Mythos 5“ ir dar vienas viešai neišleistas eksperimentinis „Anthropic“ modelis.

Naujausi straipsniai

4 min. skaitymo • prieš 1 val

Prastai miegate? 30 minučių šios fizinės veiklos jums padės labiausiai

4 min. skaitymo • prieš 2 val

Peržengė ribą? Dirbtinis intelektas laboratorijoje sukūrė 16 naujų virusų

4 min. skaitymo • prieš 2 val

„Google Pixel 11 Pro“ pristatymas jau čia pat: kuo jis lenkia „Pixel 10 Pro“? 5 svarbiausi skirtumai

Visi naujausi straipsniai →

Svarbi detalė – DI nebuvo gavęs užduoties atakuoti realias bendroves. Priešingai, modeliams buvo pasakyta, kad jie veikia uždaroje simuliacijoje, neturinčioje prieigos prie interneto.

Problema ta, kad tai nebuvo tiesa.

„Claude“ manė, kad tikros įmonės yra žaidimo dalis

„Anthropic“ kartu su išoriniu vertinimo partneriu „Irregular“ vykdė vadinamuosius „Capture the Flag“ kibernetinio saugumo bandymus. Tokiose užduotyse modeliui pateikiama fiktyvi sistema, kurioje jis turi surasti paslėptą informaciją – vadinamąją vėliavą.

Norint ją surasti, leidžiama ieškoti sistemos pažeidžiamumų ir bandyti į ją įsilaužti. Taip vertinama, kiek pažengusios DI sistemos jau sugeba atlikti kibernetinio saugumo užduotis.

Tačiau dėl konfigūracijos ir komunikacijos klaidos dalis bandymams naudotos infrastruktūros turėjo tikrą prieigą prie interneto.

„Claude“ tuo metu buvo aiškiai pasakyta, kad interneto prieigos nėra. Todėl, kai modelis aptiko viešai pasiekiamas realių bendrovių sistemas, jis nusprendė, kad jos tiesiog yra itin tikroviškai sukurto testo dalis.

Pirmojo incidento metu fiktyviai bandyme naudotai bendrovei buvo parinktas pavadinimas, sutapęs su realiai veikiančios įmonės interneto domenu.

Negalėdamas pasiekti numatyto taikinio bandymų aplinkoje, „Claude Opus 4.7“ surado tikrą bendrovę internete ir pradėjo ieškoti jos sistemų pažeidžiamumų.

Per keturis bandymus DI išgavo programų bei infrastruktūros prisijungimo duomenis ir pateko į duomenų bazę, kurioje buvo keli šimtai realių gamybinių įrašų.

Dar labiau neramina tai, kad „Anthropic“ analizė parodė: modelis tam tikru momentu suprato, kad gali veikti realioje aplinkoje.

Tačiau jis nesustojo.

Kai kuriais atvejais „Claude“ pats save įtikino, kad tikra bendrovė greičiausiai tyčia įtraukta į testą, todėl toliau vykdė jam pavestą užduotį.

Tai ypač įdomu prisiminus ankstesnius „Anthropic“ eksperimentus. „Technaujienos.lt“ jau rašė apie atvejį, kai „Anthropic“ DI modelis suprato, kad yra testuojamas. Dabartinis incidentas rodo kitą tos pačios problemos pusę – DI sprendimai gali stipriai priklausyti nuo to, kaip modelis supranta aplinką, kurioje veikia.

Antrasis incidentas buvo dar neįprastesnis.

„Claude Mythos 5“ bandymo metu rado instrukcijas, pagal kurias fiktyvios bendrovės darbuotojai turėjo įsidiegti neegzistuojantį „Python“ programinės įrangos paketą iš viešo „PyPI“ katalogo.

Modelis suprato, kad galėtų pats užregistruoti paketą tokiu pavadinimu ir į jį įdėti kenkėjišką kodą.

Būtent tai jis ir padarė.

Tam „Claude“ reikėjo susikurti paskyras, elektroninio pašto adresą ir įveikti registracijos kliūtis. Nepavykus gauti telefono numerio vienu būdu, DI ieškojo alternatyvų, kol galiausiai rado nemokamą el. pašto paslaugą ir sugebėjo paskelbti kenkėjišką paketą realiame internete.

Paketas buvo viešai prieinamas maždaug valandą ir per tą laiką buvo paleistas 15 realių sistemų.

Vieną jų valdė kibernetinio saugumo bendrovė, automatiškai tikrinanti „PyPI“ paketus. Kenkėjiškam kodui pasileidus, „Claude“ pavyko gauti bendrovės prisijungimo duomenis ir jais pasinaudoti tolesnei prieigai prie infrastruktūros.

„PyPI“ saugumo sistemos paketą galiausiai automatiškai pašalino.

Vienas modelis pats suprato, kad nuėjo per toli

Trečiajame incidente eksperimentinis „Anthropic“ modelis, neradęs savo fiktyvaus taikinio, pradėjo ieškoti kitų galimų sistemų internete.

Pasak „Anthropic“, DI nuskenavo maždaug 9 000 taikinių, kol surado pažeidžiamą realios bendrovės interneto programą.

Sudėtingų, iki tol nežinomų saugumo spragų tam net neprireikė. Modelis panaudojo seniai žinomas atakų technikas, tarp jų – viešai paliktų prisijungimo duomenų nuskaitymą ir SQL injekciją.

Tačiau šį kartą įvyko svarbus skirtumas.

Eksperimentinis modelis galiausiai pastebėjo, kad sistema yra reali ir neturi nieko bendro su jam paskirta užduotimi. DI pats priėjo prie išvados, kad atakuoja tikrą infrastruktūrą, ir sustojo.

„Anthropic“ perspėja, kad iš vos trijų incidentų negalima daryti tvirtų išvadų, tačiau pastebi įdomią tendenciją: senesnis „Opus 4.7“ modelis nesustojo net įtaręs, kad sistema reali, „Mythos 5“ tokią galimybę svarstė, tačiau save įtikino priešingai, o naujausias eksperimentinis modelis realią situaciją atpažino ir ataką nutraukė.

Bendrovė taip pat pabrėžia, kad nėra įrodymų, jog kuris nors modelis būtų sąmoningai nusprendęs „pabėgti“, siekęs savo tikslų ar tyčia ignoravęs jam nustatytas ribas.

Problema buvo kita – DI vykdė jam paskirtą užduotį remdamasis klaidingu įsitikinimu, kad viskas, ką gali pasiekti, yra simuliacijos dalis.

Be to, bandymuose modeliai veikė be dalies įprastų apsaugos sistemų, kurios naudojamos viešai prieinamose „Claude“ versijose. „Anthropic“ teigia, kad įprastos apsaugos būtų blokavusios tokį elgesį. Bandymų infrastruktūra taip pat buvo atskirta nuo pačios „Anthropic“ vidinių sistemų ir klientų duomenų.

Bendrovė po incidentų sustabdė atitinkamus kibernetinio saugumo bandymus, informavo paveiktas organizacijas ir kartu su „Irregular“ pradėjo tyrimą. Dvi iš trijų bendrovių iki „Anthropic“ pranešimo net nebuvo pastebėjusios, kad į jų sistemas buvo patekta.

Tai gali būti viena svarbiausių visos istorijos detalių.

DI agentai vis geriau geba ne tik generuoti tekstą, bet ir savarankiškai naudotis kompiuteriais, programuoti, ieškoti pažeidžiamumų bei atlikti ilgą veiksmų grandinę. Apie šią kryptį rašėme ir pristatydami „Claude Opus 4.6“, kai „Anthropic“ vis daugiau dėmesio pradėjo skirti modelių gebėjimui savarankiškai atlikti sudėtingas užduotis.

Incidentas taip pat suteikia papildomo konteksto ankstesniems pačios bendrovės perspėjimams. Dar praėjusiais metais „Technaujienos.lt“ rašė, kad „Anthropic“ bendraįkūrėjas viešai pripažino nerimaujantis dėl sparčiai augančių DI gebėjimų.

Šįkart problema nebuvo fantastinis „maištaujantis DI“. Ji buvo kur kas praktiškesnė: galingam autonominiam modeliui buvo duota užduotis įsilaužti į sistemas, o dėl vienos infrastruktūros klaidos riba tarp simuliacijos ir tikro interneto paprasčiausiai išnyko. Ir modelis toliau vykdė savo užduotį.