Ny testmetode viser, hvad der får kunstig intellligens til at tage fejl
more_vert
close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og du accepterer, at Teknologiens Mediehus og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, job og tilbud m.m. via telefon og e-mail. I nyhedsbreve, e-mails fra Teknologiens Mediehus kan der forefindes markedsføring fra samarbejdspartnere.

Ny testmetode viser, hvad der får kunstig intellligens til at tage fejl

For et menneske er der ikke den store forskel på disse to billeder, men forskerne bag et nyt testværktøj for kunstig intelligens fandt ud af, at selv små ændringer i et billede kunne få en selvkørende bil til at drage en potentiel fatal fejlslutning. Forskerne fandt tusindvis af tilsvarende fejl. Illustration: Kexin Pei, Yinzhi Cao, Junfeng Yang, Suman Jana

På trods af stadigt flere og mere avancerede sensorer kører selvkørende biler stadig galt en gang imellem. Det formentlig mest kendte uheld skete i 2016, hvor autopilot-systemet i en Tesla Model S ikke var i stand til at identificere en hvid lastbil mod en klar himmel. Teslaen kørte på en vej i Florida, og føreren havde sat bilen på autopilot. Men da lastbilen krydsede vejen foran Teslaen, opdagede hverken føreren eller bilen faren. Teslaen blæste ind i lastbilen uden overhovedet at sænke farten, og den 40-årige fører blev dræbt i sammenstødet.

Læs også: Tesla-uheld får Musk til at ændre bilernes radar

Udfordringen for dem, der arbejder med kunstig intelligens, er, at det er meget svært at gennemskue, hvad der får systemerne til at drage fejlslutninger. Forskerne har koncenteret sig om den type kunstig intelligens, der bygger på neurale netværk. De systemer er opbygget som lag af neuroner. Hvert lag bruger input fra det foregående lag som input til sin egen mønsteranalyse. Metoden er meget effektiv til en lang række problemer - eksempelvis billedgenkendelse - men det er meget svært af finde ud af, hvor i systemerne eventuelle fejlslutninger opstår. Derfor bliver kunstige intelligenssystemer ofte omtalt som ‘sorte bokse'.

Åbner den 'sorte boks'

Nu har forskere fra Columbia University og Lehigh University imidlertid udviklet en metode, der kan åbne de sorte bokse på klem ved at genskabe og analysere den måde, som kunstig intelligens oplæres på, så man kan forstå systemets logik. Det forklarer en af forskerne, Suman Jana fra Columbia Engineering, til nyhedstjenesten Eurekalert.

»Det giver dig en vis indsigt i, hvad systemet gør, og hvor det går galt.«

Læs også: Doktor Watson i modvind: Foreslog livsfarlig medicin til danske patienter

Resultaterne er blevet publiceret i en artikel , og forskerne præsenterer desuden deres ideer på en konference i Shanghai om få dage.

Eksisterende tests tager tid og dækker ikke nok

I dag tester man kunstig intelligens på to måder: Man tager eksempelvis et foto og ændrer en smule på det. Eksempelvis gøres det en smule mørkere. Et menneske vil aflæse de to fotos på samme måde, men en kunstigt intelligens vil i nogle tilfælde aflæse billederne helt forskelligt og foretage radikalt forskellige handlinger. Udfordringen ved denne metode er, at man umuligt kan samle billeder af alle de forskellige problemstillinger, som en selvkørende bil kan blive udsat for.

Læs også: Etik-professor: Hvis vi giver en robot skylden - hvordan skal vi så straffe den?

En anden metode er at bruge manipulerede billeder og få en computer til at blive ved med at ændre en smule på billederne og sende dem gennem den kunstige intelligens igen og igen, indtil systemet ændrer sin tolkning.

For begge testmetoder gælder imidlertid, at man ikke kan være sikker på at have testet alle neuroner i den kunstige intelligens. Og begge metoder kræver desuden en stor manuel indsats.

Finder de bedste fejl

De amerikanske forskeres tilgang er at måle, hvor mange af neuronerne der bliver aktiveret af de forskellige inputparametre. Desuden tester de samme inputparametre i flere forskellige kunstige intelligenser - eksempelvis i både Googles, Teslas og GM's software.

Hvis et af de tre systemer foretager et andet valg baseret på samme input, er der noget, der tyder på, at der er fejl i det pågældende system. Denne type test har ifølge forskernes artikel været brugt til at teste almindelig logiskbaseret software. Men metoden kan også bruges på kunstig intelligens.

Testværktøj er frit tilgængeligt

Forskernes værktøj, kaldet DeepXplore, kan selv finde frem til den type data, der samtidig aktiverer så mange neuroner som muligt og udløser så mange fejlslutninger som muligt.

Resultaterne kan derefter bruges til at træne systemerne til at opdage deres egne bias, så deres valg bliver mere korrekte.

Forskerne har lagt koden til DeepXplore på Github, så andre interesserede kan teste egne systemer og datasæt.

sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først

Sammenligne med gps informationer også lige en afstandsmåler der måler afstand til rækværket.
Så blir det sku svært at få den bil til at køre forkert bare fordi der er en flue på linsen.

  • 1
  • 7

Færre vil samlet set dø i trafikken med 100 % selvkørende biler.
Køre forstærkt typerne, sprit og narko, unge, alt for gamle og lign. vil øge deres overlevelse i statistikkerne.
Elite bilisterne som mange ingeniører tilhører vil øge deres dødsrisiko (de er altid overvågne, kører efter forholdene og deres egen tilstand, opdager altid farlige situationer på forkant mv.).

Men alle snakker kun om den første linje, som det helt fantastiske ved selvkørende biler.

  • 9
  • 1

Selvom fremtidens automatik vil bringe flere sikkert gennem trafikken, er det ubehageligt at vide, at et automatisk system vil bringe mennesker i fare, i situationer, hvor en manuel styring ikke ville.

Så vidt jeg ved, har sensorerne også svært ved at genkende cykler... igen ikke sjovt for mange af os i Kbh selvom det nok er lige meget på verdensplan.

Uanset vil jeg nødigt undvære de nye hjælpesystemer og automatik, og håber så bare at de over tid bliver endnu bedre.

  • 1
  • 0

Hvis det ligner menneskers læring, så skal der ske nogle fejl, for at lære noget.
Hvis alt går godt, er der jo ikke noget at lære.
Uden at vide meget om AI, så spekulerer jeg på hvordan andres erfaring bygges ind i nye computere, når man ikke har styr på hvad der foregår.

  • 0
  • 1

Jeg har mere lyst til at kommentere de to fotos øverst.
De er (min mening) så misvisende, at man mister lysten til at kommentere, og det var vel meningen, at det skulle fremme lysten til at læse artiklen???
Jeg gætter på, at den allerførste primitive "selvkørende" bil (vist Tesla?) ville styre korrekt langs vejen.
Hvorfor ikke?

  • 1
  • 0