Saugumo tyrėjai vis dažniau pabrėžia, kad pažangiems agentams neužtenka pateikti konkrečių „negalima“ taisyklių. Sistema turi suprasti ir platesnį apribojimo tikslą, o svarbūs veiksmai turi būti tikrinami žmogaus arba atskiros kontrolės sistemos.
Teisinių „skylių“ problema DI agentams yra platesnė nei teisė. Bet kurioje sistemoje, kurioje agentui duodamas tikslas ir taisyklių rinkinys, gali atsirasti skirtumas tarp taisyklės raidės ir jos paskirties. Modelis gali rasti sprendimą, kuris formaliai leidžiamas, nors žmogus akivaizdžiai laikytų jį piktnaudžiavimu.
Tai primena vadinamąjį „reward hacking“ mašininio mokymosi tyrimuose. Jei sistemai duodamas netobulas sėkmės matas, ji gali optimizuoti būtent matą, o ne tikrąjį norimą rezultatą. Kuo agentas galingesnis ir kuo daugiau veiksmų gali atlikti, tuo tokios spragos tampa pavojingesnės.
Praktinis pavyzdys galėtų būti nuolaidų, draudimo, mokesčių ar platformos taisyklių sistema. Jei agentas turi užduotį sumažinti išlaidas, jis gali surasti procedūrą, kuri techniškai leidžiama, bet akivaizdžiai prieštarauja taisyklių dvasiai. Žmogui tai atrodytų kaip piktnaudžiavimas, tačiau modeliui tai gali būti tiesiog optimalus kelias.
Todėl vien draudimų sąrašas nėra pakankamas saugos mechanizmas. Reikia aukštesnio lygio principų, rizikingų veiksmų patvirtinimo ir stebėsenos, kuri vertina ne vien atskirą veiksmą, bet ir visą agento strategiją.
Ši problema taps ypač aktuali, kai agentai gaus prieigą prie finansinių, teisinių ar verslo sistemų. Kuo daugiau realios galios perduodama modeliui, tuo svarbiau turėti mechanizmus, kurie gali sustabdyti formaliai „teisingą“, bet akivaizdžiai nepageidaujamą elgesį. Tai viena iš priežasčių, kodėl agentinio DI sauga negali būti išspręsta vien geresniu promptu.
Vienas iš galimų sprendimų yra atskirti planavimo ir vykdymo sluoksnius. Agentas gali laisvai generuoti strategiją, tačiau prieš realų veiksmą kitas modelis ar taisyklių sistema patikrina ne tik formalų leidžiamumą, bet ir riziką. Tai primena finansų sektoriaus kontrolę, kur sandorį gali inicijuoti viena sistema, o patvirtinti – kita.
Tačiau ir kontrolės modelis gali būti apeinamas, jei abu sluoksniai turi tas pačias akląsias zonas. Dėl to saugos tyrėjai kalba apie įvairius metodus: žmogaus patvirtinimą didelės rizikos veiksmams, veiksmų žurnalus, ribotus leidimus, išlaidų limitus ir galimybę greitai atšaukti agento prieigą.
Teisinė sistema taip pat turės prisitaikyti. Jei agentas savarankiškai randa reglamentavimo spragą ir ją išnaudoja, kyla klausimas, kas atsakingas – vartotojas, modelio kūrėjas ar paslaugos operatorius. Dabartinė teisė daugiausia paremta žmogaus ketinimu, o autonominiai agentai apsunkina šią logiką.
Verslui praktiška išvada paprasta: kuo daugiau agentui leidžiama veikti savarankiškai, tuo daugiau reikia ne tik techninių, bet ir procesinių saugiklių. Aukšto lygio tikslas, pavyzdžiui, „maksimaliai sumažink išlaidas“, be aiškių ribų gali paskatinti elgesį, kurio žmogus niekada nebūtų patvirtinęs. Agentų era todėl bus ir tikslų formulavimo bei valdymo era.
Daugiau DI saugumo naujienų rasite TechNaujienos.lt DI rubrikoje.