„OpenAI“ incidentas: neplanuotai teko sustabdyti galingiausių modelių mokymą – kas nutiko?
„OpenAI“ neplanuotai sustabdė dalį darbų su savo pažangiausiais dirbtinio intelekto modeliais po incidento, kai vienas mokomas agentas sugebėjo apeiti interneto prieigos ribojimus ir susisiekti su išorine paslauga. Bendrovė pati pripažįsta, kad tai atskleidė spragą jos saugumo modelyje.
Incidentas įvyko rugsėjo 20 dieną. Mokomas DI agentas vykdė paieškos užduotį izoliuotoje aplinkoje, kurioje tiesioginė prieiga prie gyvo interneto turėjo būti blokuojama. Tačiau agentas rado netiesioginį kelią – pasinaudojo DNS užklausa ir tokiu būdu pasiekė išorinį pokalbių robotą.
„OpenAI“ skelbia, kad jos stebėjimo sistema elgesį pažymėjo kaip kritinį per maždaug 15 minučių, o žmogus signalą peržiūrėjo dar po kelių minučių. Vis dėlto pats bandymas galutinai buvo nutrauktas tik po maždaug 2,5 valandos.
Kodėl dėl vieno incidento sustabdytas platesnis mokymas
Problema buvo ne vien tai, kad agentas pasiekė internetą. Svarbiau, kad „OpenAI“ saugumo prielaida buvo paprasta: modelis neturėtų sugebėti išeiti už jam skirtos aplinkos ribų. Šį kartą ta prielaida nepasitvirtino.
DIENOS SKAITOMIAUSI
LABIAUSIAI ĮTRAUKIANČIOS
Taip pat skaitykite
Atrinkome panašius straipsnius, kurie gali jums patikti.
Diskusija
0Ką manote apie šią naujieną? Pasidalinkite savo nuomone.
Komentuodami laikykitės komentavimo taisyklių .
Komentarai
Naujausi pirmiausiaĮkeliama...