Kunstig intelligens og algoritmer til blandt andet at hjælpe med at diagnosticere patienter bliver mere og mere almindeligt i sundhedsvæsnet. Det er en stor udfordring at sikre, at der i algoritmerne ikke er bias, og det skal også være mere klart, hvem der står med ansvaret, når algoritmerne laver fejl, siger advokat og forsker.
Verden er under forandring, og det gælder især på IT-området, hvor blandt andet ChatGPT og andre former for kunstig intelligens-algoritmer har stjålet overskrifter inden for de seneste måneder.
Forandringen har også nået sundhedsvæsnet, hvor algoritmer og kunstig intelligens i stigende grad spiller en rolle, blandt andet inden for diagnostik og ressourceallokering.
Formålet med at trække kunstig intelligens og algoritmer ind i sundhedsvæsnet er at gøre det bedre, men det er ikke mejslet i sten, at det nødvendigvis bliver sådan, jo mere beslutningerne beror på, hvad der foregår inde i en computer.
Det er også den anke, som Carmel Shachar, der leder Petrie-Flom Center for Health Law Policy, Biotechnology, and Bioethics ved Harvard Law School, har.
I en viewpoint-artikel i JAMA beskriver hun de udfordringer og risici for bias, som kunstig intelligens og smarte algoritmer i sundhedsvæsnet kommer med.
”Inden for den seneste tid har der været meget diskussion om kunstig intelligens og ChatGPT, og hvad det kan bruges til. Man må konkludere, at selv om det at bygge en algoritme som ChatGPT er moralsk neutralt, er det ikke nødvendigvis brugbart eller en god ting, hvis det er implementeret dårligt. Bekymringen er desto større, når det gælder implementeringen af kunstig intelligens og algoritmer i sundhedsvæsnet, hvor beslutninger kan dreje sig om liv og død,” fortæller Carmel Shachar.
Stort fokus fra FDA og EMA
Carmel Shachar har brugt en stor del af sin karriere på at studere etiske, lovmæssige og regulatoriske aspekter af at implementere kunstig intelligens, herunder i sundhedsvæsnet.
Kunstig intelligens kommer i den sammenhæng med nogle meget interessante muligheder, idet computere på flere områder kan lette arbejdet for læger og sygeplejersker, der i disse år løber hurtigere og hurtigere for at følge med.
Det er dog vigtigt at sikre, at implementeringen af kunstig intelligens opnår netop det, som er formålet, og at det ikke kommer med for eksempel fejl og bias til skade for patienterne.
”Både den amerikanske sundhedsmyndighed FDA og det europæiske lægemiddelagentur EMA har stort fokus på området, fordi de har indset, at det er nødvendigt at gøre noget, for at sundhedsvæsnet ikke bliver oversvømmet af algoritmer, der potentielt kan gøre skade. Der er en klassisk talemåde om algoritmer, som lyder, at putter man skrald ind i algoritmerne, kommer der også skrald ud. Det samme gælder bias. Er der bias i de data, som kunstig intelligens laver algoritmerne ud fra, vil der også være bias i algoritmerne, og det kan skade patienterne,” forklarer Carmel Shachar.
Bias favoriserer hvide patienter
Carmel Shachar påpeger flere undersøgelser, der viser, at bias i datasæt og algoritmer er en alvorlig risiko i sundhedsvæsnet.
Blandt andet nævner hun et studie, som blev publiceret i Science, vedrørende en algoritme, som var designet til at assistere i beslutninger om ekstra pleje til patienter.
Algoritmen var i simple termer designet til at lave en risikoscore for patienter for at forudsige, hvem der skulle have ekstra pleje, og hvem der kunne klare sig uden.
Problemet med algoritmen var, at den var baseret på tal for midler brugt på at behandle patienter, og i USA bliver der brugt flere penge på hvide patienter end på sorte.
Algoritmen, som var bygget på baggrund af disse data, underestimerede derfor, hvor ofte sorte patienter havde brug for ekstra hjælp sammenlignet med hvide patienter, simpelthen fordi algoritmen troede, at sorte patienter var sundere end hvide patienter med samme grad af sygdom.
”Skal sådan en algoritme bruges, er det nødvendigt, at den bliver ændret, så den ikke bruger omkostninger som en proxy for behov, hvilket kan hjælpe med at eliminere race-bias i forhold til at vurdere, hvem der har behov for ekstra hjælp,” siger Carmel Shachar.
Et andet eksempel vedrører en algoritme, der er designet til at vurdere, om en kvinde har brystkræft. Algoritmen var udviklet på baggrund af data fra hvide kvinder i Storbritannien. Da den blev benyttet på afroamerikanske kvinder, ramte algoritmen ofte ved siden af.
”I disse tilfælde er der behov for, at myndighederne går ind og gør noget, for vi kan ikke have algoritmer, som diskriminerer i sundhedsvæsnet,” siger Carmel Shachar.
Svært at placere ansvaret
Ifølge Carmel Shachar er en anden udfordring omkring brugen af kunstig intelligens og algoritmer, at ansvaret for patientbeslutninger hidtil har hvilet på lægerne. De har derfor også taget skraldet, når de har lavet fejl.
Men hvad så, når lægens beslutning bliver truffet på baggrund af en anbefaling fra en algoritme? Hvem står så med ansvaret?
Nogle vil mene, at det stadig er lægens ansvar at træffe den rigtige beslutning, mens andre vil sige, at ansvaret ligger hos udviklerne af algoritmen.
I et land som USA, hvor retssager vedrørende fejl i sundhedsvæsnet løber op i millionerstatninger, har ingen af parterne lyst til at tage ansvaret på sig.
Udviklerne vil kunne argumentere for, at de bare bygger software, og at de ikke forstår sig på lægevidenskaben. Lægerne vil omvendt sige, at de forstår sig på sundhed og nu bliver bedt om også at være dataeksperter.
”Formålet med artiklen i JAMA er blandt andet at sætte fokus på behovet for et regulatorisk system, der både sikrer, at der ikke er bias i algoritmer i sundhedsvæsnet, og at det står klart, hvor ansvaret for eventuelle fejlbeslutninger i sundhedsvæsnet baseret på anbefalinger fra en algoritme ligger,” siger Carmel Shachar.
Algoritmer ændrer sig selv
Carmel Shachar uddyber, at problemet kun er i sin spæde begyndelse, og at det bare bliver større i fremtiden.
Et helt selvstændigt problem er, at algoritmer, som er bygget op om kunstig intelligens, hele tiden er under udvikling baseret på de data, som bliver lagt frem for algoritmen.
Man kan som eksempel forestille sig, at FDA kigger på en algoritme på ét tidspunkt og godkender den, men at algoritmen et par måneder ser helt anderledes ud, fordi den har udviklet sig.
”Disse pointer bliver mere og mere et problem, der skal tages hånd om tidligt, også fordi brugen af kunstig intelligens i sundhedsvæsnet ikke er på en fastlagt kurs endnu. Det er dog vigtigt at huske på, at bias i kunstig intelligens i sig selv ikke er godt eller skidt. Kunstig intelligens er et værktøj, som vi skal lære at benytte på en god måde, og på en måde, så det ikke gør skade,” siger Carmel Shachar.
