Skip to content
Kodėl stringa „ChatGPT“? „OpenAI“ klaidų priežasčių ieškoti pavedė pačiam DI

DI sukurta iliustracija.

Kodėl stringa „ChatGPT“? „OpenAI“ klaidų priežasčių ieškoti pavedė pačiam DI

„OpenAI“ paveda DI agentams ieškoti priežasčių, dėl kurių lėtėja „ChatGPT“ ir kitos bendrovės sistemos. Lapkričio 19 d. paskelbtame „Performance Factory“ veikimo aprašyme įmonė nurodo per tris mėnesius atlikusi daugiau kaip 1 700 tyrimų ir nustačiusi apie 600 pirminių problemų priežasčių. Tai nėra tiek pat įdiegtų pataisų.

REKLAMA

Procesas prasideda nuo pranešimo apie veikimo pablogėjimą. Agentas ieško paaiškinimo, o jo išvadą bando paneigti kitas, atskirai dirbantis agentas. Jei parengiama pataisa, ją peržiūri žmogus. Po įdiegimo sistema tikrina, ar veikimas iš tiesų pagerėjo.

Rezultatuose yra svarbi riba: bendrovės specialistai patikrino šimtą nustatytų priežasčių ir 70 proc. jų įvertino kaip tikslias. Likusiais atvejais priežastis nebuvo patikimai nustatyta. Šio skaičiaus negalima paversti pažadu, kad „ChatGPT“ tapo 70 proc. greitesnis ar kad toks tikslumas galioja visoms agentų užduotims.

Lietuvos programuotojams tai įdomu dėl darbo, kurį dažnai sunkiausia automatizuoti: surasti, kur iš tikrųjų pradingsta laikas. Ilgai laukiantis vartotojas mato vieną užstrigusį atsakymą, tačiau kūrėjui reikia atskirti tinklo, skaičiavimo, duomenų ir pačios programos elgseną. Vien užrašyti naują kodo eilutę tokiu atveju neužtenka.

REKLAMA

Pasiūlyta pataisa dar nėra išspręsta problema

Paprastas pavyzdys – atsakymas pagreitėja, nes programa nustojo atlikti dalį patikrų. Laikas sumažėjo, bet galutinis rezultatas gali būti blogesnis. Todėl vertinant bet kokį greitinimą svarbu vienu metu tikrinti atliktą darbą ir jo trukmę. Palyginimas turi vykti su panašiomis užduotimis, o ne tarp skirtingos apkrovos dienų.

Čia padeda įprastas programinės įrangos kūrimo procesas. „GitHub“ dokumentacijoje pakeitimo užklausa apibrėžiama kaip pasiūlymas, kurį galima aptarti ir peržiūrėti prieš įtraukiant į projektą. Vienoje vietoje matomi kodo skirtumai, komentarai, automatinės patikros ir patvirtinimo kliūtys. Tai suteikia peržiūrėtojui medžiagą sprendimui, o ne tik agento pažadą, kad viskas veikia.

Tokia pati skirtis svarbi kalbant apie autonomiją. Agentas, kuris pats randa įtartiną vietą ir parengia pakeitimą, gali sutaupyti daug paieškos darbo. Tačiau leidimas pasiūlyti pataisą nėra leidimas savarankiškai keisti visą veikiančią paslaugą. Apie panašų darbų paskirstymą jau rašėme pristatydami „Google Stitch Loop“ ir žmogaus tvirtinamus programų pakeitimus.

REKLAMA

Naudingas rezultatas komandai būtų aiškiai aprašytas ryšys: kokia užduotis sulėtėjo, kuri vieta dėl to atsakinga ir kokiu bandymu tai patvirtinta. Toks paaiškinimas leidžia kitam žmogui pakartoti tyrimą. Jei pateikiama tik plati išvada apie „neefektyvų kodą“, peržiūros darbas iš esmės lieka nepradėtas.

Greitis priklauso ir nuo suteiktų teisių

Atskirame „Codex“ vykdymo aplinkos aprašyme „OpenAI“ paaiškina, kaip ribojama agento prieiga prie failų ir tinklo. Galima leisti keisti pasirinktos darbo srities failus, bet riboti išorinius ryšius. Kitas scenarijus – leisti skaityti dokumentaciją internete, tačiau neleisti keisti peržiūrimo kodo. Šios ribos nustatomos pagal užduotį.

Toks atskyrimas praktiškas ir mažai Lietuvos kūrėjų komandai. Norint patikrinti lėtą paiešką, nebūtinai reikia suteikti agentui teisę keisti mokėjimų nustatymus ar pasiekti klientų duomenų eksportus. Prieiga turi padėti atlikti konkretų tyrimą. Kuo aiškiau aprašytas tikslas ir leidžiami veiksmai, tuo lengviau vėliau suprasti, ką agentas iš tikrųjų padarė.

Vis dėlto pati bendrovė pabrėžia, kad ribota vykdymo aplinka nėra absoliuti apsauga. Programa veikia esamoje kompiuterio aplinkoje, o prieiga prie vietinių failų turi savo kompromisų. Todėl saugumo kontrolė ir kodo peržiūra sprendžia skirtingas problemas: viena apriboja veiksmus, kita vertina, ar siūlomas pakeitimas prasmingas ir patikimas.

Dar vienas praktinis klausimas – ką matuoja komanda. Serverio užduoties pabaiga ir akimirka, kai vartotojas ekrane pamato atsakymą, nebūtinai sutampa. Patogumui svarbi visa laukimo patirtis: užduoties pateikimas, eilė, vykdymas ir rezultato parodymas. Pagerinus vieną dalį, bendras laukimas gali pasikeisti mažiau, negu atrodo vienos techninės metrikos grafike.

Tyrimą taip pat verta užbaigti užfiksuojant, kokiomis sąlygomis pataisa buvo tikrinama: duomenų kiekiu, užduoties tipu ir bandyta versija. Tai padeda vėliau atskirti sugrįžusią seną problemą nuo naujo apkrovos pokyčio. Toks įrašas išlieka naudingas net tada, kai kitą tyrimą atlieka kitas žmogus ar agentas.

„Performance Factory“ kol kas verta vertinti kaip konkretų DI naudojimo programų priežiūrai pavyzdį. Skaitytojui, kuris šiandien laukia atsakymo pokalbio lange, publikacija nenustato naujo garantuoto atsakymo laiko. Kūrėjams ji kelia praktiškesnį klausimą: ar agento siūlomas patobulinimas turi pakartojamą įrodymą, ir kas patikrins rezultatą po to, kai pakeitimas jau pasieks vartotojus?

Kaip vertinate šį straipsnį?

NAUJIENOS IŠ INTERNETO

Trumpai, aiškiai ir be triukšmo – gaukite svarbiausias technologijų ir mokslo naujienas pirmieji.

Sekite mokslo ir technologijų tendencijas
Dalyvaukite diskusijose
Naujienas gaukite pirmieji
1 700+ narių jau seka mūsų puslapį, laukiame tavęs!
10

Taip pat skaitykite

Atrinkome panašius straipsnius, kurie gali jums patikti.