Skip to content
DI peržiūrėjo beveik 4 000 medicinos tyrimų: kodu dalijosi tik maždaug kas aštuntas

DI sukurta iliustracija.

DI peržiūrėjo beveik 4 000 medicinos tyrimų: kodu dalijosi tik maždaug kas aštuntas

Atviras programinis kodas medicinos tyrimuose vis dar yra išimtis, o vien nuoroda į saugyklą dar nereiškia, kad analizę galima pakartoti. MIT ir Dana-Farber vėžio instituto komanda, pasitelkusi didžiuosius kalbos modelius, išnagrinėjo beveik 4 000 klinikinių prognozavimo tyrimų ir šimtus su jais susijusių kodo saugyklų. MIT lapkričio 19 d. paskelbė, kad kodu dalijosi tik maždaug vienas iš aštuonių darbų.

REKLAMA

Tyrėjai ieškojo ne vien žodžių „kodas prieinamas“. DI modelis padėjo aptikti įvairiai suformuluotus teiginius, ištraukti nuorodas ir surasti saugyklas, o programinė įranga vertino dokumentaciją, priklausomybes, licencijas ir kitus pakartojamumui svarbius elementus. Žmonės atskirai patikrino 500 straipsnių ir dalį saugyklų, kad būtų įvertintos automatinio metodo klaidos.

Vieša saugykla dar nėra atkuriamas tyrimas

Klinikinio prognozavimo modelį lemia daugybė pasirinkimų: kurie pacientai įtraukti, kaip tvarkytos trūkstamos reikšmės, kaip padalyti mokymo ir testavimo duomenys, kokia metrika parinkta. Straipsnio metodų skyriuje ne visada telpa visa informacija. Kodas gali parodyti, kas iš tikrųjų atlikta, bet tik tada, jei jis aiškiai sutvarkytas ir turi paleidimo instrukciją.

REKLAMA

Komanda rado labai skirtingą kokybę. Vienos saugyklos buvo išsamiai dokumentuotos, kitose trūko net pagrindinių paaiškinimų. Tarp žurnalų dalijimosi rodiklis svyravo nuo nulio iki daugiau kaip 70 proc. Kai kurie žurnalai turėjo rašytą kodo dalijimosi politiką, bet praktikoje rodiklis liko žemas. Tai rodo, kad vien taisyklės be tikrinimo neužtenka.

DI padėjo atlikti auditą, bet nepakeitė žmogaus

Kalbos modeliai buvo naudingi apdorojant nestruktūruotą tekstą, kuriame nuorodos ir pareiškimai pateikiami nevienodai. Tačiau žmonių ir DI sutapimas buvo geresnis vertinant konkrečius dalykus, pavyzdžiui, ar yra licencijos failas, ir silpnesnis sprendžiant, ar dokumentacija pakankama. Autoriai todėl akcentuoja bendras tendencijas, o ne kiekvieną automatiškai suskaičiuotą atvejį.

Rezultatai naudojami kuriant „TRIPOD-Code“ gaires, kurios turėtų aiškiau nurodyti, ką būtina pateikti su klinikinio prognozavimo modelio kodu. Svarbu, kad atvirumas nepažeistų pacientų privatumo. Kai tikrų įrašų publikuoti negalima, tyrėjai gali pateikti sintetinius duomenis, pavyzdines komandas, aplinkos aprašą ir testus, leidžiančius patikrinti programos veikimą neatskleidžiant jautrios informacijos.

REKLAMA

Kodo prieinamumas yra vienas paprasčiausių būdų patikrinti, ar tyrimo rezultatas atkuriamas. Straipsnyje aprašyto algoritmo dažnai neužtenka, nes realų rezultatą lemia duomenų paruošimas, atsitiktinės reikšmės, bibliotekų versijos ir daugybė mažų sprendimų. Net jei pacientų duomenų negalima viešinti, tyrėjai gali pateikti analizės kodą, sintetinį pavyzdį ir aiškią aplinkos instrukciją. Tai leidžia kitai komandai rasti klaidą arba patvirtinti išvadą.

Mažas dalijimosi rodiklis nebūtinai reiškia sąmoningą slėpimą. Medicinos projektuose kodas gali būti susietas su ligoninės sistema, jame gali likti jautrių kelių ar paslapčių, o komanda neturėti laiko parengti viešą versiją. Vis dėlto šias kliūtis galima mažinti planuojant nuo projekto pradžios: atskirti duomenis nuo analizės, naudoti versijų kontrolę ir numatyti atsakingą asmenį. Žurnalai bei finansuotojai taip pat gali reikalauti aiškios kodo prieinamumo deklaracijos.

Lietuvos mokslininkams atviras kodas yra ir matomumo galimybė. Gerai dokumentuotas įrankis gali būti naudojamas kitų grupių, cituojamas ir tobulinamas, net jei pats duomenų rinkinys lieka uždaras. Tačiau reikia finansuoti ne vien publikaciją, bet ir programinės įrangos priežiūrą. Vieną kartą įkeltas, neveikiantis archyvas nepadeda atkuriamumui. Reali pažanga būtų matuojama tuo, kiek kodų galima paleisti ir ar jie išlieka prieinami po kelerių metų.

REKLAMA

Kodo nebuvimas nebūtinai reiškia, kad tyrimas neteisingas, tačiau jis gerokai apsunkina nepriklausomą rezultatų patikrą. Medicinoje net maža duomenų paruošimo ar modelio nustatymų detalė gali pakeisti rezultatą, o vien mokslinio straipsnio aprašymo dažnai nepakanka visam procesui atkurti. Tyrėjai gali turėti pagrįstų ribojimų – pacientų privatumo, licencijų ar ligoninės sistemų apsaugos – tačiau bent analizės kodą, dirbtinius pavyzdžius ir aiškią aplinkos versiją dažnai galima paskelbti saugiai. Finansavimo institucijos ir žurnalai galėtų reikalauti ne abstraktaus pažado dalytis, o konkrečios nuorodos bei prieinamumo datos. Klinikoms tai padėtų atskirti įdomų prototipą nuo sprendimo, kurį iš tikrųjų galima patikrinti prieš naudojant pacientams.

Šis darbas svarbus ir už medicinos ribų. Įmonės, skelbiančios DI modelio tikslumą, taip pat turėtų pateikti pakankamai informacijos metodui patikrinti: duomenų atranką, vertinimo rinkinį, klaidų intervalus ir žinomas ribas. Naujas THREADS vėžio modelio tyrimas rodo, kiek daug užduočių gali apimti šiuolaikinė sistema, o „OpenAI“ sutrikimo analizė primena, kad kodas ir jo vykdymo aplinka yra neatsiejami. Pakartojamumas nėra formalumas – tai būdas atskirti patikimą technologinį rezultatą nuo vienkartinės demonstracijos.

Kaip vertinate šį straipsnį?

NAUJIENOS IŠ INTERNETO

Trumpai, aiškiai ir be triukšmo – gaukite svarbiausias technologijų ir mokslo naujienas pirmieji.

Sekite mokslo ir technologijų tendencijas
Dalyvaukite diskusijose
Naujienas gaukite pirmieji
1 700+ narių jau seka mūsų puslapį, laukiame tavęs!
10

Taip pat skaitykite

Atrinkome panašius straipsnius, kurie gali jums patikti.