Šmaikštus žurnalisto eksperimentas: liepė „Gemini“ patikrinti „ChatGPT“ pateiktus atsakymus

Dar visai neseniai ekspertai patvirtino, kad dirbtinis intelektas vis dar painioja faktus su įsitikinimais, o kūrėjai nuolatos primena, kad populiariausi pokalbių robotai gali klysti. Tuo tarpu žurnalistas nusprendė į „kovą“ pastatyti du pokalbių robotus, kad šie įvertintų savo pateikiamų atsakymų tikslumą.

Mūsų kartos „Wikipedia“

„Digital Trends“ žurnalistas sutinka, kad „ChatGPT“ yra nepaprastai naudingas, bet kartu tai yra naujos kartos prieštaringai vertinama „Wikipedia“. Čia faktai kartais būna netikslūs, o robotai ir haliucionuoja, išgalvojant faktus ir sukuriant neegzistuojančią informaciją.

Pasak žurnalisto, šios sistemos „mėgsta“ išgalvoti kontaktinius rezultatus ir ne visada tiksliai pateikia istorinius faktus. Visgi vertindamas du konkurentus, jis išskiria, kad „Google Gemini“ rečiau klysta nei kiti pokalbių robotai, tikriausiai todėl, kad „Google“ kaip paieškos sistema labiau orientuota į tikslius faktus.

„Gemini“ ir „ChatGPT“ akistata

Eksperimento autorius atliko bandymą, kurio metu uždavė „ChatGPT“ keletą klausimų, o vėliau tas atsakymas buvo perduotas „Gemini“, kad šis patikrintų faktus. Iš pradžių „ChatGPT“ buvo užduoti istoriniai klausimai apie elektromobilių istoriją, vėliau kitų temų užklausimai, kurie dažnai išprovokuoja haliucinacijas.

Vėliau „Google Gemini“ paieškoje eksperimento autorius patikrino atsakymus, kurie ir pačiam žurnalistui jau iš pirmo žvilgsnio kėlė įtarimus. Bet dar labiau jį nustebino „Gemini“ atsakymai – dažnai pokalbių robotas sureaguodavo su sarkazmu arba tiesiogine nepagarba teigdamas, kad informacija yra „netvarkinga, perdirbta ir iš dalies sufabrikuota“.

Kalbėdamas apie elektromobilių istoriją „ChatGPT“, kaip ir buvo galima tikėtis, atsakymus parėmė savo spėjimais, bet ne faktais. Kitoje užduotyje jis turėjo sugeneruoti dainos tekstą „Love Song“ kūriniui „Chase the Kangaroo“, tačiau ir čia pokalbių robotas neteisingai pasirinko grupę ir netinkamai sugeneravo rezultatus. Sekančiuose etapuose jam taip pat nepavyko teisingai atlikti užduočių.

Pasak žurnalisto, eksperimentas atskleidžia du svarbius aspektus. Visų pirma, net ir plačiai naudojami pokalbių robotai gali sukurti įtikinamus atsakymus, tačiau tikrai jie ne visada yra teisingi, o tai svarbu, nes didžioji dalis atsakymo ir gali būti teisinga, tačiau klaidingų faktų įterpimai ją automatiškai paverčia nepatikima. Antra, nors ir „Gemini“ čia atliko „vertintojo“ vaidmenį, eksperimento metu taip pat pastebėti tam tikri netikslumai.

Ekspertas primena – nesvarbu, kokį pokalbių robotą naudotumėte, informaciją patikrinti visada būtina.