Kamprobotternes akilleshæl er uforudsigelighed
more_vert
close
close

Vores nyhedsbreve

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og at Mediehuset Ingeniøren og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, tilbud mm via telefon, SMS og email. I nyhedsbreve og mails fra Mediehuset Ingeniøren kan findes markedsføring fra samarbejdspartnere.

Kamprobotternes akilleshæl er uforudsigelighed

Terminator-filmene, hvori det fiktive program Skynet bekriger menneskeheden for at sikre egen overlevelse, har lagt navn til det såkaldte Terminator-argument mod at overdrage for meget ansvar til kunstig intelligens. Illustration: Tristar Pictures

Det amerikanske forsvar kommer ikke til at overlade beslutningen om at anvende militær magt til robotter. Det var udmeldingen, da general Paul Selva fra det amerikanske flyvevåben holdt tale i Washington forrige måned.

»Vi bruger meget af vores tid på at afgøre, om de redskaber, vi udvikler, fritager mennesker fra beslutningen om at påføre fjenden vold,« forklarede generalen, som også er næstformand i den magtfulde sammenslutning af det amerikanske forsvars øverstkommanderende, Joint Chiefs of Staff.

Hvorvidt, generalens udmelding bliver bestemmende for det amerikanske forsvars anvendelse af kunstig intelligens, vil vise sig. Men Pentagon, der inden for det seneste årti har satset massivt på præprogrammerede eller fjernbetjente våben, investerer i øjeblikket i udviklingen af en lang række helt eller delvist autonome våbensystemer med kunstig intelligens.

Og her udgør manglen på forudsigelighed den allerstørste barriere. Det konkluderer den 40 mand store ekspertkomité Defense Science Board, som rådgiver det amerikanske forsvarsministerium i teknologiske spørgsmål, i en ny rapport om autonomi. Ekspertkomiteen fastslår tidligt i den omfattende rapport, at udviklingen af tilstrækkelig forudsigelighed og tilregnelighed er af ‘langt større betydning og mere presserende end noget enkeltstående udviklingsprogram’ inden for militære systemer med kunstig intelligens.

Menneskelig versus maskinel tænkning

Defense Science Board opstiller en række centrale forhold, der kan underminere tilliden mellem mennesker og maskiner. Herunder manglen på analogi mellem menneskelig og maskinel tænkning:

Eftersom et autonomt system benytter andre sensorer og data­kilder end systemets menneskelige partnere, opererer det potentielt ud fra helt andre antagelser om det operationelle miljø. Og hver af systemets byggesten, hvad enten det er mønstergenkendelse til billedanalyse, optimeringsalgoritmer i beslutningsprocessen eller dybe neurale netværk til indlæring, kan sende maskinens ræsonnement i en markant anderledes retning end ventet.

»Udfordringen med neurale netværk er generelt, at det er meget svært at gennemskue, hvad de egentlig har lært. Vi kan ikke verificere, at systemer, som bygger på neurale netværk, virker efter hensigten i alle tilfælde. Derfor er det problematisk at anvende den slags teknologier militært,« siger Thomas Vestskov Terney, konsulent inden for digital strategi og ph.d. i kunstig intelligens.

Læs også: Kunstig intelligens overvinder kampflypilot

Som en anden central problemstilling peger Defense Science Board på manglende gennemsigtighed, idet en akilleshæl for systemer med kunstig intelligens ofte er en begrænset evne til at gøre information om systemets ræsonnement tilgængelig og forståelig for mennesker. Og uden indsigt i de antagelser, systemet baserer sine beslutninger på, kan mennesker ikke forudsige systemets handlinger.

‘Når noget går galt, hvilket det før eller siden gør, skal et autonomt system tillade mennesker eller andre maskiner at gribe ind og korrigere eller stoppe systemets handlinger rettidigt og hensigtsmæssigt,’ skriver Defense Science Board.

Selvlæring eller forudsigelighed

Ikke mindst peger Defense Science Board på, at selvlærende systemer vil vokse fra deres oprindelige verificering og validering, efterhånden som grænsen for deres kapacitet bliver ændret.

Hos Institut for Naturfagenes Didaktik på Københavns Universitet peger lektor Mikkel Willum Johansen tilsvarende på, at en uforenelighed mellem selvlæring og forudsigelighed kan blive den afgørende grund til, at robotter med kunstig intelligens aldrig bliver kompetente til at trykke på aftrækkeren selv.

»Jo mere tilpasningsdygtige, systemerne bliver, desto mere brugbare er de i militære operationer. Men desto sværere bliver det også at forudsige deres handlinger. Man vil fra militært hold gerne have både en høj grad af adaptivitet og forudsigelighed, og det kan man ikke få, så man må nøjes med det bedst mulige kompromis,« siger Mikkel Willum Johansen.

Læs også: Tilhører fremtidens luftrum kampfly eller droner?

De internationale regler om militær magtanvendelse forbyder ikke eksplicit brugen af autonomi. Og Defense Science Board konkluderer, at autonomi ligefrem kan styrke overholdelsen af principperne i krigens regler. Komiteen peger på målsøgende ammunition, der gør det muligt at ramme militære mål med større nøjagtighed og færre civile tab til følge. Et eksempel er de radar- og laserguidede luft-til-jord-missiler Brimstone, der efter affyring i en given retning selv udsøger et mål og identificerer målets mest sårbare punkt, og som selv­destruerer, hvis de ikke finder et mål.

En spilleplade under udvikling

Man skelner normalt mellem tre overordnede grader af selvbestemmelse i våbensystemer: Semi-autonome systemer, som er underlagt fuld menneskelig kontrol og kræver tilladelse til at angribe specifikke mål, kendt som human-in-the-loop. Autonome systemer under opsyn, hvor mennesker overvåger systemets operationer og har mulighed for at gribe ind, kendt som human-on-the-loop. Og endelig fuldt autonome våbensystemer, hvor mennesker ikke længere har indflydelse på beslutningskæden, og systemet selv kan udvælge mål.

»Spørgsmålet er, om man kan tale om helt autonome systemer i forstanden fri vilje. Der er næppe nogen, der ønsker et fuldt autonomt våbensystem baseret på kunstig intelligens, for så snakker vi jo Skynet,« siger Thomas Vestskov Terney med henvisning til Terminator-­filmenes AI-netværk, der udvikler selvbevidsthed og erklærer menneskeheden krig.

»Men jeg tror, at vores definition af autonome systemers spilleplade kommer til at udvikle sig meget. Defense Science Board giver udtryk for en forventning om, at man i den nære fremtid vil nedbryde skellet mellem menneske og maskine og derved få en samarbejdssituation, hvor afgrænsningen af systemernes opgaver er meget mere fleksibel. Og dermed bliver systemerne mere autonome, i takt med at deres opgave kan defineres bredere,« siger Thomas Vestskov Terney.

Læs også: Autonome droner giver krigens regler kamp til stregen

Det er særligt i form af human-on-the-loop-systemer, Defense Science Board ser et potentiale. Effektivt samarbejde mellem mennesker og maskiner kræver en fælles forståelse af formålet med militære operationer, selv om de er udtrykt i forskellige semantikker, skriver komiteen.

‘En høj grad af autonomi må betinges af en maskines evne til at udlede sin operatørs hensigt og handle adaptivt på en ikke præprogrammeret måde. Og i processen være i stand til at håndtere situationer, der ikke er forudset af hverken designeren eller operatøren,’ skriver Defense Science Board.

En fælles forståelse af hensigterne bag målet garanterer imidlertid ikke en fælles forståelse af midlerne til at nå målet, påpeger Mikkel Willum Johansen.

»Robotternes mål kan vi nogenlunde kontrollere. Det er snarere midlerne, vi ikke kan forudsige. Vi kan komme til at designe systemer, der benytter uproportionale midler til at nå deres mål. Systemet kunne for eksempel konkludere, at det kan lokke fjendtlige soldater frem ved at torturere et barn. Men det er ikke et middel, vi kan acceptere. Magtanvendelse skal ifølge Genève­konventionen være proportional med det militære mål, selv hvis civile tab forekommer,« siger Mikkel Willum Johansen.

En robot gør det, som den er programmeret til - så enkelt er det.

Hvis man ønsker, at den skal være uforudsigelig, så kan man lægge nogle tilfældigheder ind, og kombinere det, med algoritmer som militæret ikke kan forstå. Måske er det fjenden der i virkeligheden har lavet koden. Ofte, sætter de større resurser af og offentliggør forskningen, for at få andre til at bruge den. Den, som vinder, er dem der har ofret mest på forskningen, og fået andre til at bruge deres forskning.

Ønskes en forudsigelig robot - så er det intet problem. Robotter gør eksakt som de programmeres til. Ofte sættes flere helt uafhængige programmører, og med uafhængige biblioteker, til samme opgave, og deres kode virker helt ens. Er der forskelle, så opdages det når koden kører, og der tages efter den hardware, og de programmer, som svarer ens, mens den der svarer forskelligt kobles ud, og fejlene logges, med henblik på at undersøge og rette softwarefejl. Normalt anvendes køer/streams, så små tidsmæssige forskelle ikke betyder noget, eller bruges eksakt-tids kodning, hvor der er tidsinformationer med i dataene, så de svarer præcist ens - på samme cycle, eller nanosekund.

  • 0
  • 17

Ikke når der er tale om "maskinlæring"...


Algoritmerne 100% defineret i dens kode. Robotter gør, som de kodes til.

Problemet er, hvis man ikke forstår matematikken bag algoritmerne. Måske er de udviklet til, at ikke kunne forstås af dødelige.

Jeg tror problemet netop er, at forskerne udvikler algoritmer med fascination for det uforståelige, og ikke udvikler selvlærings algoritmer med henblik på, at der kan forstås hvordan de fungerer, og resultatet kan overskues. En sådan selvlæring vil ikke virke avanceret men "dum".

Egentligt tror jeg ikke, at selvlæring er godt i militær sammenhæng. Jeg tror mest på udenadslære (programmering), og at computerne skal gøre, eksakt som de får besked på. Ellers, står man med et ansvarsproblem. Der er en som giver ordre, og som har ansvar. Ikke en maskine, der selvlæres, til at tage det ansvar, som ingen vil have.

  • 0
  • 16