Mokslininkai sukūrė algoritmą, kuris gali nustatyti, kada dirbtinis intelektas haliucinuoja

Nepaisant to, kokie įspūdingi gali būti tokie dirbtiniai intelektai kaip „ChatGPT“, „Claude“ ir net „Gemini“, visi šie dideli kalbos modeliai turi vieną didelę bendrą problemą: jie dažnai haliucinuoja.

Tai didelė problema dirbtinio intelekto pasaulyje, ir net „Apple“ nerimauja dėl to, kaip ji ateityje tvarkysis su haliucinacijomis naudodama „Apple Intelligence“. Laimei, grupė tyrėjų dabar sukūrė dirbtinio intelekto haliucinacijų detektorių, kuris gali nustatyti, ar dirbtinis intelektas ką nors sugalvojo.

Dirbtinio intelekto haliucinacijos sukėlė daug problemų

Dėl šių haliucinacijų pasitaikė nemažai gėdingų ir intriguojančių paklydimų – ir jos tebėra viena iš pagrindinių priežasčių, kodėl toks dirbtinis intelektas kaip „ChatGPT“ nėra naudingesnis.

Matėme, kaip „Google“ buvo priversta pakeisti savo dirbtinio intelekto paieškos apžvalgas po to, kai dirbtinis intelektas ėmė sakyti žmonėms, kad saugu valgyti akmenis ir tepti klijus ant picos. Netgi matėme, kaip teisininkai, kurie naudojo „ChatGPT“, kad padėtų parašyti teismui skirtą dokumentą, buvo nubausti pinigine bauda, nes pokalbių robotas haliucinavo dokumento citatas.

Galbūt šių problemų būtų buvę galima išvengti, jei jie būtų turėję dirbtinio intelekto haliucinacijų detektorių, aprašytą naujame straipsnyje, paskelbtame žurnale „Nature“.

Straipsnyje teigiama, kad naujas tyrėjų sukurtas algoritmas gali padėti nustatyti, ar dirbtinio intelekto generuojami atsakymai yra teisingi maždaug 79 proc. atvejų. Tai, žinoma, nėra tobulas rezultatas, tačiau jis yra 10 proc. didesnis nei kitų šiuo metu taikomų pagrindinių metodų.

Kaip buvo atliktas tyrimas?

Tyrimą atliko Oksfordo universiteto Kompiuterių mokslo katedros darbuotojai. Taikytas metodas yra gana paprastas, aiškina tyrėjai straipsnyje.

Pirmiausia jie liepė pokalbių robotui atsakyti į tą pačią užklausą kelis kartus, paprastai nuo penkių iki dešimties. Tada jie apskaičiuoja skaičių, vadinamą semantine entropija – tai matas, parodantis, kiek panašios ar skirtingos yra atsakymo reikšmės.

Jei modelis atsako skirtingai į kiekvieną užklausos įrašą, tuomet semantinės entropijos balas yra didesnis, o tai reiškia, kad dirbtinis intelektas gali turėti haliucinacijų. Tačiau jei visi atsakymai yra vienodi arba turi panašias reikšmes, semantinės entropijos balas bus mažesnis, o tai rodo, kad jis pateikia nuoseklesnį ir tikriausiai faktais pagrįstą atsakymą.

Kiti metodai remiasi vadinamąja naiviąja entropija, pagal kurią paprastai tikrinama, ar skiriasi atsakymo formuluotė, o ne jo prasmė. Todėl ne taip tiksliai galima nustatyti haliucinacijas, nes nesigilinama į sakinio žodžių prasmę.

Tyrėjai teigia, kad algoritmas galėtų būti pridėtas prie pokalbių robotų, pavyzdžiui, „ChatGPT“, naudojant mygtuką, leidžiantį naudotojams gauti „tikrumo balą“ už atsakymus į jų užklausas.