uredi› krajšaj› T:849 M:1054 Z:11 [×]

Umetna inteligenca in boj proti Covidu

Razvili so na stotine umetno inteligentnih orodij za prestrezanje covida 19. A nobeno ni pomagalo.

Will Douglas Heaven, MIT Technology Review

Ko je marca lani covid 19 udaril v Evropi, je bolnišnice pahnil v zdravstveno krizo, ki je takrat še niso niti mogli razumeti. »Zdravnikom se ni niti sanjalo, kako poskrbeti za te bolnike,« je povedala Laure Wynants, epidemiologinja na univerzi v nizozemskem Maastrichtu, ki preučuje napovedovalna orodja.

A iz Kitajske, ki je imela v boju proti pandemiji štiri mesece prednosti, so prihajali podatki. Če bi algoritme strojnega učenja lahko učili s temi podatki, da bi zdravniki lažje razumeli, kaj vidijo, in se na podlagi tega odločali, bi tako lahko reševali življenja. »Pomislila sem, da je to idealna priložnost za umetno inteligenco, naj pokaže, kaj zna,« se spominja Wynantsova. »Gojila sem velike upe.«

A ti se niso uresničili, za kar nikakor ni bila kriva premajhna vnema. Raziskovalne ekipe po vsem svetu so priskočile na pomoč. Sploh skupnost, ki raziskuje umetno inteligenco, je hitro začela razvijati programsko opremo, s katero bi po prepričanju mnogih bolnišnice hitreje diagnosticirale bolnike na triaži in nudile tako zaželeno pomoč medicinskemu osebju na prvi bojni črti – vsaj teoretično naj bi potekalo tako.

Na koncu so razvili nekaj sto napovedovalnih orodij, a nobeno ni prineslo revolucije, nekatera pa bi lahko bila celo potencialno škodljiva.

Takšen je bil neobetaven zaključek več raziskav, objavljenih v zadnjih nekaj mesecih. Junija je inštitut Alena Turinga, britansko državno središče za podatkovno znanost in umetno inteligenco, objavil poročilo, v katerem so strnjene razprave z vrste delavnic, ki jih je razpisal leta 2020. Prevladala je ocena, da umetno inteligentna orodja niso veliko, če sploh, vplivala na potek boja proti covidu 19.

Neprimerna za klinično uporabo

Ugotovitev povzema izsledke dveh velikih raziskav, v katerih so ocenili na stotine lani razvitih napovedovalnih orodij. Wynantsova je glavna avtorica ene od njih, objavljene v British Medical Journal, ki jo še vedno dopolnjujejo, saj prihajajo nova orodja in preizkušajo že obstoječa. S kolegi si je ogledala 232 algoritmov za postavljanje diagnoze ali napovedovanje, kako hudo bi lahko zboleli že okuženi. Ugotovili so, da noben ni primeren za klinično uporabo, le dva pa sta dovolj obetavna za vnovično testiranje.

»Pretreslo me je,« je priznala Wynantsova. »Ko sem začela, me je skrbelo, a v resnici je veliko huje, kot sem se bala, da bo.«

Raziskavo Wynantsove potrjuje še drugo obsežno preverjanje, ki so ga opravili Derek Driggs, raziskovalec strojnega učenja na univerzi v Cambridgeu, in njegovi kolegi, objavili pa v Nature Machine Intelligence. Ta ekipa se je osredotočila na modele globokega učenja za diagnosticiranje covida 19 in napovedovanje tveganja za pacienta z medicinskih slik, kot sta rentgen in računalniška tomografija prsnega koša. Pregledali so 415 objavljenih orodij in tako kot Wynantsova s kolegi ugotavljali njihovo neprimernost.

»Ta pandemija je velik preizkus za umetno inteligenco in medicino,« je izjavil Driggs, ki tudi sam razvija orodje na podlagi strojnega učenja za pomoč zdravnikom med pandemijo. »Veliko bi lahko pripomogla, da bi javnost pridobili na svojo stran,« je povedal, »a se bojim, da tega preizkusa nismo opravili.«

Obe ekipi sta ugotovili, da so raziskovalci ponavljali enake osnovne napake pri učenju in preizkušanju orodij. Nepravilne domneve o podatkih pa so pogosto pomenile, da usposabljani modeli niso delovali tako, kot so trdili.

Wynantsova in Driggs sta še vedno prepričana, da bi umetna inteligenca lahko pomagala, a ju skrbi, da bi z napačno zasnovo povzročila škodo, saj bi takšna orodja postavila napačno diagnozo ali podcenila tveganje pri ranljivih pacientih. »Nad modeli strojnega učenja in tem, kaj vse danes zmorejo, vlada veliko navdušenje,« je povedal Driggs.

Nerealistična pričakovanja spodbujajo uporabo teh orodij, še preden so zrela. Wynantsova in Driggs sta oba ugotovila, da kar nekaj algoritmov, ki sta jih preučila, že uporabljajo v bolnišnicah in da nekatera tržijo zasebni razvijalci. »Bojim se, da škodijo bolnikom,« je poudarila Wynantsova.

Kje se je zalomilo? Kako premagati ta razkorak? Iz vsega skupaj lahko vendarle izluščimo tudi nekaj pozitivnega, in sicer, da se zaradi pandemije številni raziskovalci strinjajo o nujnih spremembah v umetno inteligentnih orodjih. »Pandemija je osvetlila težave, ki se vlečejo že nekaj časa,« se strinja tudi Wynantsova.

Kje se je zalomilo?

Številne odkrite težave so povezane s slabo kakovostjo podatkov, ki so jih za razvoj svojih orodij uporabili raziskovalci. Podatki o bolnikih s covidom 19, vključno s slikami, so se zbirali in delili sredi globalne pandemije in to so pogosto počeli zdravniki, ki so dali vse od sebe, da bi pomagali tem bolnikom. Raziskovalci so želeli hitro priskočiti na pomoč in te javne podatkovne zbirke so bile edine, kar so imeli na voljo. Vendar je to pomenilo, da so številna orodja temeljila na napačno označenih podatkih ali podatkih iz neznanih virov.

Modeli so zelo podobni – skoraj vsi temeljijo na isti tehniki z minimalnimi izboljšavami in na istih vhodnih podatkih – in vsi delajo enake napake.

Driggs je osvetlil težavo s temi Frankensteinovimi podatkovnimi zbirkami, kot jih je poimenoval, ker so zlepljene iz več virov in lahko vsebujejo podvojene podatke. To pomeni, da nekatera orodja testirajo z istimi podatki, s katerimi so jih tudi učili, zato so na videz natančnejša kot v resnici.

Tako se tudi zabriše izvor določenih podatkovnih nizov. To lahko pomeni, da raziskovalci spregledajo pomembne značilnosti, ki popačijo učenje njihovih modelov. Mnogi so nehote uporabljali zbirke podatkov, ki so vključevale slike prsnega koša otrok, ki niso imeli covida 19, kot primer, kakšna so videti zdrava pljuča. A tako se je umetna inteligenca naučila prepoznavati otroke, ne bolezni.

Driggsova skupina je svoj lastni model učila s podatkovnimi zbirkami, ki so vključevane mešanico slik, posnetih, ko so bolniki ležali in stali. Ker je bila pri bolnikih, slikanih leže, večja možnost, da so resno bolni, se je umetna inteligenca napačno naučila napovedovati resno tveganje za covid 19, in sicer na podlagi položaja bolnika.

V drugih primerih je nekaj sistemov umetne inteligence začelo prepoznavati font, v katerem so bolnišnice tiskale nalepke za svoje medicinske slike, nato so fonti iz bolnišnic z večjim številom resnih bolnikov služili kot pomoč pri napovedovanju tveganja za covid 19.

Z današnjega zornega kota se takšne napake zdijo logične. Odpraviti jih je mogoče s prilagajanjem modelov, če se jih le znanstveniki zavedajo. Mogoče je prepoznati pomanjkljivosti in izdati manj natančen, a tudi manj zavajajoč model. A številna orodja so razvili raziskovalci umetne inteligence, ki nimajo medicinskega znanja za odkrivanje pomanjkljivosti v podatkih, ali medicinski strokovnjaki, ki nimajo takšnih matematičnih sposobnosti, da bi lahko nadoknadili te pomanjkljivosti.

Manj očitna težava, ki jo je osvetlil Driggs, je vključena (inkorporirana) pristranskost oziroma pristranskost ob označevanju podatkovnega niza. Številne zdravstvene slike so na primer označili glede na to, ali je radiolog izjavil, da prikazujejo covid 19, vendar se s tem v referenčno vrednost podatkov vključijo vsi predsodki tega zdravnika. Veliko bolje bi bilo, če bi zdravstvene slike označili z rezultatom testa PCR namesto z zdravnikovim mnenjem, razmišlja Driggs. Vendar v zasedenih bolnišnicah ni vedno časa, da bi mislili na statistične finese.

Opisani zapleti niso preprečili, da nekaterih orodij ne bi prenagljeno vključili v klinično prakso. Wynantsova pravi, da ni jasno, katera so v uporabi in kako. Bolnišnice včasih povedo, da orodja uporabljajo le v raziskovalne namene, zato je težko oceniti, v kakšni meri se zdravniki opirajo nanje. »Veliko prikrivanja je,« je dodala.

Wynantsova je neko podjetje, ki je tržilo algoritme za globoko učenje, prosila, naj ji posreduje podatke o svojem pristopu, a ji ni odgovorilo. Pozneje je odkrila več objavljenih modelov raziskovalcev, povezanih s tem podjetjem, in pri vseh je bilo tveganje za pristranskost veliko. »Ne vemo, kaj je to podjetje uporabilo v praksi,« je dodala.

Po njenih besedah nekatere bolnišnice z dobavitelji medicinske umetne inteligence celo podpisujejo dogovore o nerazkrivanju podatkov. Ko je zdravnike vprašala, kakšne algoritme ali programsko opremo uporabljajo, so včasih odgovorili, da ne smejo povedati.

Kakšna je rešitev?

Kako rešiti te zagate? Pomagali bi boljši podatki, a v obdobjih krize je to velika zahteva. Pomembneje je čim bolje izkoristiti podatkovne zbirke, ki so na volje. Najpreprosteje bi bilo, da bi ekipe umetna inteligenca tesneje sodelovale z več kliničnimi zdravniki, pravi Driggs. Raziskovalci bi morali posredovati podatke o svojih modelih in pojasniti, kako so jih učili, da bi jih drugi lahko preverili in nadgradili. »To je dvoje pomembnih stvari, ki bi jih lahko opravili takoj,« je poudaril. »In z njimi bi morda rešili polovico težav, ki smo jih odkrili.«

Model so učili s podatkovnimi zbirkami, ki so vključevane mešanico slik, posnetih, ko so bolniki ležali in stali.

Dostop do podatkov bi bil lažji, če bi standardizirali formate, je povedal Bilal Mateen, zdravnik, ki vodi ekipo za klinično tehnologijo v fundaciji Wellcome, globalni zdravstveni dobrodelni organizaciji s sedežem v Londonu.

Še ena od težav, ki se je zavedajo Wynants, Driggs in Mateen, je, da je večina raziskovalcev hitela z razvojem svojih modelov, namesto da bi sodelovala ali izboljšala obstoječe. Tako so raziskovalci po vsem svetu ponudili na stotine povprečnih orodjih, namesto da bi skupaj izdelali peščico dobro naučenih in preizkušenih.

»Modeli so zelo podobni – skoraj vsi temeljijo na isti tehniki z minimalnimi izboljšavami in na istih vhodnih podatkih – in vsi delajo enake napake,« je poudarila Wynantsova. »Če bi namesto tega raje preverjali modele, ki so že bili na voljo, bi morda dobili orodje, ki bi danes v bolnišnicah dejansko bilo v pomoč.«

V nekem smislu gre za staro težavo v raziskavah. Akademski raziskovalci nimajo želje po skupnem delu in preverjanju obstoječih izdelkov, ker jim to na poklicni poti ne pomaga. Za zadnji korak, ko tehnologija z laboratorijske mize pride do bolnikove postelje, niso nagrajeni, pravi Mateen.

Svetovna zdravstvena organizacija razmišlja o pogodbah o deljenju podatkov v izrednih razmerah, ki bi veljale med mednarodnimi zdravstvenimi krizami. Raziskovalci bi potem podatke laže selili čez mejo, je pojasnil Mateen. Najpomembnejše raziskovalne skupine so pozvale tudi k pripravljanju podatkov za uporabo, da bi bili v prihodnjih zdravstvenih krizah hitro pri roki.

Takšne pobude zvenijo nekoliko medlo in pozivi k spremembam vedno dišijo po pobožnih željah. A Mateen zase pravi, da je naivno optimističen; pred pandemijo se je vnema za takšne pobude čisto ohladila. »Zdelo se je, da je to prevelik zalogaj in zato ni vredno niti poskusiti ugrizniti vanj. Covid 19 pa je obudil veliko takšnih predlogov.«

»Dokler ne bomo ponotranjili predstave, da moramo najprej rešiti dolgočasne težave, preden se lahko lotimo zanimivejših, smo obsojeni na ponavljanje istih napak,« je prepričan Mateen. »Nesprejemljivo bo, če se ne bo nič spremenilo. Če bi pozabili, kar nas je naučila ta pandemija, bi bilo to nespoštljivo do preminulih.«

Copyright Technology Review, distribucija Tribune Content Agency