Doktor Watson i modvind: Foreslog livsfarlig medicin til danske patienter
more_vert
close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
By signing up, you agree to our Terms & Conditions and agree that Teknologiens Mediehus and the IDA Group may occasionally contact you regarding events, analyzes, news, offers, etc. by telephone, SMS and email. Newsletters and emails from Teknologiens Mediehus may contain marketing from marketing partners.

Doktor Watson i modvind: Foreslog livsfarlig medicin til danske patienter

Illustration: ibm

Strålebehandling eller kemoterapi? IBM's kunstige intelligens Watson er inviteret indenfor på kræftafdelinger over hele verden for at give sit bud på en behandling. Men Watson svar får ikke alle læger til at juble. På Rigshospitalet har centerdirektør Leif Panduro Jensen oplevet AI-doktoren foreslå præparater, som risikerer at slå patienten ihjel.

»Vi har for eksempel oplevet Watson foreslå en behandling med stoffer, som patienten aldrig mere måtte få i sit liv, fordi det var livsfarligt,« lyder det.

På Finsenscentret på Rigshospitalet har en gruppe læger for nylig kørt forsøg med Watson, hvor computeren skulle foreslå behandlinger på tre kræftområder: bryst-, lunge- og tyktarmskræft. Lægerne testede Watsons svar på 31 patienter, der allerede havde været i behandling, og i to tredjedel af tilfældene var Watson og lægerne nogenlunde enige om valget af behandling.

Men i en tredjedel af tilfældene var Watsons forslag »helt i skoven«, som Leif Panduro Jensen udtrykker det. I et tilfælde foreslog Watson trestof-kemoterapikuren FOLFOX til en patient, der allerede havde fået 11 serier FOLFOX og viste bedring, men havde skader på nervebanerne.

Finsenscentret samarbejder nu ikke længere med IBM på det område, men de danske læger har dog ikke opgivet Watson og samarbejder med IBM på andre områder. Region H har også indgået en femårig rammeaftale med IBM om fortsat at udforske Watson-teknologien.

»Egentlig er jeg helt overbevist om, at Watson eller andre AI-systemer er fremtiden på området, men vi er slet ikke der, hvor den kan hjælpe os med at vælge behandling på et meget højt specialistniveau. Slet ikke,« siger Leif Panduro Jensen.

I evalueringsrapporten 'Kunstig intelligens og innovation i sundhedsvæsnet' udarbejdet af IBM og Region H, kan man også læse lignende klare konklusioner: »Watson for Oncology er endnu ikke fuldt udviklet og fejl kan opstå«, og »Watson for Oncology er ikke trænet til at håndtere komplekse behandlingsforløb f.eks over en længer årrække«.

Watson bliver pisket af kritikere

Samme melding kom for nylig fra et hav af læger verden over på det anerkendte amerikanske sundhedssite Stat, der ejes af avisen Boston Globe.

I en usædvanligt grundig artikel har journalisterne blandt andet interviewet læger på en stor del af de 50 hospitaler i 13 lande, der i dag bruger Watsons kræftprogram, Watson Oncology, i dagligdagen. Og der tegner sig et meget klart mønster af en umoden teknologi.

»Watson Oncology er på børnestadiet, og vi må vente og aktivt engagere os i håb om at hjælpe den med at vokse,« siger en sydkoreansk kræftspecialist ved navn Taewoo Kang til Stat.

Læs også: IBM Watson skal diagnosticere sjældne sygdomme

Kritikken er nådesløs, hvis man sammenfatter pointerne i Stat. Watson Oncology skaber ingen ny viden, den har svært ved at læse og forstå journaler, den er ikke underlagt offentlig regulering eller kvalitetskontrol, den er ikke underlagt en kritisk vurdering af dens kvalitet (peer-review), dens resultater er uigennemsigtige, og den er ikke godt nok opdateret med den seneste viden på området.

»Watsons styrke er at søge i dokumenter og hjælpe med at finde baggrundsinformation til lægerne. Til det fungerer den rigtig godt. Men så snart den skal i gang med at kigge i patientjournaler og give forslag, så går det mindre godt,« siger Lars Kai Hansen fra DTU Compute, der har arbejdet med kunstig intelligens på medicin-området i 30 år.

Watson er for amerikansk

DTU-forskeren peger på et problem, som også et utal af ikke-amerikanske læger peger på, nemlig at Watson er alt for præget af en amerikansk tilgang til kræftbehandling. En almindelig fejlslutning blandt læger er nemlig, at Watson Oncology trækker på erfaringer fra hele verden, når den kommer med forslag til behandlinger.

Men her er det nødvendigt at forstå følgende: Watsons erfaringer med patienter stammer alene fra kræftcentret Memorial Sloan Kettering i New York. Det er her, Watson bliver trænet i sessioner, hvor de dygtigste læger fra hospitalet samles med IBM's folk og propper data ind i Watson ved at fortælle, hvordan de ville behandle patient x i et x-scenarie. Den erfaring kobler Watson med sin evne til at læse gennem forskningsartikler, og igen er det kræftspecialisterne på Memorial Sloan Kettering, der udvælger, hvilke artikler Watson skal læse, og hvilke computeren skal lægge mest vægt på. Da Watson Oncology blev testet på Rigshospitalet var den i et sent prototypestadie og var baseret på mere end 17.000 onkologitimer, fremgår det af en evalueringsrapport fra Region H.

»Vi tror, at den høje grad af amerikansk dominans i Watson er årsagen til, at vi oplever så store fejlmargen i arbejdet med den,« siger Leif Panduro Jensen.

USA og Europa har nemlig ikke altid samme tilgang til anbefalinger og god praksis. Og Watson har også kun adgang til amerikanske data og ikke til de europæiske retningslinjer på området. Og det er en skam, mener den danske centerdirektør.

»Vi har foreslået IBM at give Watson løbende adgang til de nyeste europæiske retningslinjer og teste systemet igen på vores patienter. Men det passede ikke ind i deres udviklingsplaner på det tidspunkt,« siger han.

Læger vil vide det, som de ikke ved

Til gengæld ser Watson ud til at klare sig markant bedre i kræftafdelinger, der har større ligheder med de amerikanske. I Indien og Sydøstasien er der glæde over, at Watson spare tid og øger kvaliteten af behandlingen. I nogle lande er der 96 procent overensstemmelse mellem Watsons valg af behandling og lægernes valg. Men. Det viser jo alene, at Watson kan tilbyde det samme som lægerne, lyder kritikken.

»Vi har jo ikke brug for at vide, at det vi allerede ved, er rigtigt. Værdien ligger i, hvis Watson kan foreslå os behandlinger, når vi har prøvet alt, og patienten stadig har det så godt, at det ikke giver mening at give op,« siger Leif Panduro Jensen.

Men ifølge centerdirektøren er der meget lang vej til det scenarie.

»Det kræver et langt juridisk og teknologisk skridt, hvor Watson også kan få udstrakt adgang til internationale databaser,« siger han.

... men hvorfor kom du til det svar, Watson?

Endelig er der en udfordring i gennemsigtighed. Watson er god til at give læger og forskere indsigt i, hvordan den er kommet frem til konklusioner baseret på forskningsartikler. Her kan eksperterne gå direkte ind og læse baggrundsartiklerne bag Watsons beslutning. Noget, der i øvrigt kan vise sig at give Watson en rolle i undervisningssammenhæng, peger flere læger på.

Det er også fremragende i forskningsøjemed, hvis Watson bliver bedt om at finde oplagte kandidater til medicinske forsøg. Men når det gælder Watsons forslag til behandlinger baseret på data om patienter, så er det lukket land.

I artiklen i Stat fortæller en sydkoreansk kræftkirurg, Taewoo Kang, for eksempel, hvordan Watson anbefaler en kemokur ved navn taxan til en bestemt patient. Lægen undrer sig over Watsons valg, da taxan normalt kun gives til patienter med lymfeknudekræft, og patienten har ikke kræft, der har spredt sig til lymfeknuderne. Om Watson har ret, er ikke pointen. Problemet er, at Taewoo Kang ikke kan få svar på, hvorfor Watson tager det valg.

Samme udfordring har Lars Kai Hansen i sit arbejde med Watson:

»Vi mangler stadig at komme helt ned under kølerhjelmen og forstå, hvordan Watson arbejder. Hvis man skal anvende det ordentligt i sundhedssektoren, så skal man kende systemet bit for bit. Det har IBM ikke givet mulighed for endnu,« siger han.

Brug Watson andre steder

Betyder det så, at Watson er helt uduelig og slet ikke kan bruges til noget? Nej, lyder det klare svar fra både Leif Panduro Jensen og Lars Kai Hansen. Ifølge begge er Watson endnu under udvikling, og der er en række andre anvendelsesmuligheder, som er mest oplagte i første omgang.

Centerdirektøren peger blandt andet på brug af Watson til at gennemgå røntgenbilleder eller scanninger efter brystkræft, og den anbefaling var også at finde i en rapport til Region Hovedstanden i marts.

Rapporten fremhæver flere punkter, som Watson-teknologien er oplagt til. For eksempel:

»Watson for Oncology vil kunne bruges som second opinion, hvis onkologen var i tvivl om bedste behandling eller ønskede at udfordre egen vurdering,« står der.

sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først

Det lyder jo umiddelbart som om man havde sat Watson i gang med at behandle patiente,r men nu til alles rædsel opdager, at den slet ikke fungerer, som man troede.

Det er imidlertid forkert.

Denne artikel bør skrives om, Thomas.

  • 4
  • 17

Mennesket er jo et pestbyld på jorden.
Vi breder os uhæmmet som et virus og nedbryder alt på planeten.
Vi mennesker syntes ikke vi er sådan.
Men en computer har ikke følelser. Den ser kun fakta.

  • 4
  • 17

Jeg vil gerne rose Ingeniøren for en artikel med en mere kritisk tilgang og ikke publicere endnu en af disse jubel artikler om Watson.

  • 20
  • 2

Hej Claus

Jeg har svært ved at se, hvor der er fejl i Thomases artikel der betinger en omskrivning. Hvis du hentyder til rubrikken, står der intet om behandling. Man har sat Watson til at foreslå - ikke behandle. At det var et forsøg, understreges i underrubrikken for at tydeliggøre det.
Hav en god mandag.

mvh Henrik Heide
Redaktionschef

  • 22
  • 0

Hej Ebbe

Det er rettet. Min fejl.
Skriv meget gerne direkte til journalisten, når I opdager fejl. Så fanger man det hurtigere.

vh Henrik Heide
Redaktionschef

  • 9
  • 0

Hey
Jo, men der er jo tale om forsøg, udvikling af Watson i tidligt stadie. Det lyder nærmest som om Watson har fejlet og bør skrottes. Og det er jo misvisende. I mine øjne er Watson stadig på børnehavestadiet, så AI'en udvikler sig jo nærmest ved at fejle - og blive korrigeret.

  • 5
  • 7

At et amerikansk system ikke fungere i DK minder hvis lidt om noget vi har hørt andre steder på rigshospitalet..

Men den bedste sætning er dog "I en usædvanligt grundig artikel " med dagens standard for journalister så er det vel en indrømmelse at artikler i dag ikke er synderlig grundige og en sådan artikel som den nævnte i virkeligheden er det der hedder ordentligt arbejde og faglig stolthed hvilket ikke præger mediebilledet i dag.

  • 1
  • 0

Det kunne være interessant at få oplyst succesraten for behandling af kræftpatienter i USA ifht. Europa, når nu lægerne åbenbart er uenige om den bedste metode. Hvis amerikanerne har større succes, så er det måske ikke Watson, men de europæiske behandlingsmetoder, der er noget galt med (eller omvendt).

  • 5
  • 0

@Claus: Fortvivl ikke...i de kommende dage kommer der flere artikler om Watson - også positive, for Region H er slet ikke færdige med doktoren. Når det så er sagt: Jeg mener kritiske vinkler på Watson er særdeles vigtige for tiden, for Watson, DeepMind eller andre kunstige intelligenser er kommet for at blive og de vil forandre vores samfund. Det er helt sikkert.

Og just for the record - og ikke for at gentage Henrik Heide - men der står tydeligt i tredje afsnit, at "Lægerne testede Watsons svar på 31 patienter, der ALLEREDE HAVDE VÆRET i behandling”.

...men oprigtigt tak Claus for dine input - jeg læser og tænker.

@Bjarke - Watson har ikke skrevet den, men hvis du ringer til IBM og de ikke tager telefonen, så får du Watson i røret...not joking...

@Thomas - Tak, uden lidt ros også, så bliver man så træt. Den er vigtigere end mange tror.

@Jesper - Jeg vil ikke lægge skjul på, at der er masser af elendig journalistik derude, så når et fagblad interviewer omkring 30 kilder i miljøet og skriver en mange-siders lang artikel, der i øvrigt har et kritisk blik på Watson, så springer det i øjnene - Men får lyst til at sige: man får typisk, hvad man betaler for.

@Lars - Du har helt ret, og som jeg også nævner i artiklen er der i nogle lande op til 96 procent overensstemmelse mellem Watsons og lægernes valg. Og det er typisk dem, som ligner USA mere i sundhedsvæsnet. Hvorfor denne lighed, kan man så tænke lidt over. Svaret er ikke indlysende.

  • 17
  • 1

Fedt med respons!

Kunne man forestille sig at lægerne på Oncology centret i USA i langt højere grad henviser til deres egen forskning eller artikler der understøtter denne, når de føder Watson med artikler? Blot min lille sølvpapirshat :-) Men lige godt hvad ønsker man som læge eller forsker jo ikke at tage fejl.

  • 1
  • 0

Det kunne være interessant at få oplyst succesraten for behandling af kræftpatienter i USA ifht. Europa, når nu lægerne åbenbart er uenige om den bedste metode. Hvis amerikanerne har større succes, så er det måske ikke Watson, men de europæiske behandlingsmetoder, der er noget galt med (eller omvendt).

Generelt klarer nordeuropæerne sig betydeligt bedre end amerikanerne, hvilket nok skyldes organiseringen af vores sundhedssystem. Iøvrigt skal man ikke glemme at der er geografiske forskelle i hvad der er bedste bh, simpelthen fordi indbyggerne er genetisk forskellige

  • 6
  • 0

Hele ideen med "big data" og at bruge computere til at mine(sagt på engelsk) er at bruge store datasæt til at finde mønstre. Så giver det ikke meget mening at man beslutter sig for at fodre maskinen med en ganske lille datamængde og selektive artikler.

Hvorfor ikke lave aftaler med mange forskellige kræftcentre i hele verden, give maskinen adgang til (anonymiserede) journaler for så mange patienter som muligt, med så meget medicinsk information samt valg af kure og så lade den mine de datasæt for at skabe sammenhæng imellem sygdom, andre patientfaktorer og behandlingsform. Samtidig kan man jo så give den adgang til hele lagret af videnskabelige artikler med en algoritme a la Google Scholar, der tillægger artikler vægt efter mængden af citater og anerkendelser.

Jeg forestiller mig at det hurtigt ville kunne give nogle helt klare indikationer af komplekse relationer som doktorer og forskere vil skulle bruge meget lang tid på at analysere sig frem til.

Der er stort potentiale for hvad man kan med al den computerkraft, men jeg kan godt forstå at man fra sygehusenes side ikke gider bruge tid på en lærende computer som de ikke kan lære noget.
Men når projektet er så amerikansk, kuneńe man jo godt få konspiratoriske tanker og forestille sig at der er visse medico virksomheder der ikke er videre interesseret i en sådan analyse, da den måske vil vise at deres præparater er mindre egnede end konkurrentens. Og med medico virksomheders kursfølsomhed på børsen kunne det hurtigt koste flere virksomheder livet!

  • 2
  • 1

At bruge watson til kræftbehandling er et tåbeligt sted at starte

For at gøre watson anvendeligt kræver det mange års læring, deep learning, års udvikling . De første opgave kan være at evaluere billeder eller at søge løsningsmængden hvis en patient skriver om nogen problemer så kan et watson program måske lære at stille spørgsmål og foreslå flere undersøgelser - derved kan lægen komme ind med sin viden og erfaring sidst i processen, dvs når watson er stillet forslag og fundet løsninger

  • 1
  • 0

@Thomas Djursing

Hvorfor har du i dagspressen i den seneste tid b esmykket dig med titlen redaktør og endog checfredaktør på tidskriftet Ingeniøren?

Er du chefredaktør, og hvorfor fremgår det så fald ikke i Ingenørens analer?

  • 1
  • 0