Internationale forskere boykotter universitet af frygt for kapløb om dræberrobotter

4. april 2018 kl. 16:0231
Internationale forskere boykotter universitet af frygt for kapløb om dræberrobotter
Flankeret af 50 kolleger forsøger den internationalt anerkendte AI-ekspert Toby Walsh at stoppe universiteterne i at være med til at accelere udviklingen af fuldt autonome våben. Illustration: Nanna Skytte.
Over 50 af klodens førende forskere inden for kunstig intelligens og robotudvikling skrinlægger alt samarbejde med sydkoreansk universitet, der samarbejder med våbenproducent.
Artiklen er ældre end 30 dage

De drømmer om at bremse eller endnu bedre helt at stoppe kapløbet om udviklingen af fuldt automatiserede våben optimeret og drevet af kunstig intelligens.

Et opsigtsvækkende skridt er nu taget i den kamp. Over 50 af klodens førende forskere indenfor kunstig intelligens (AI) og robotudvikling fra 30 forskellige lande tager i en fælles udtalelse skarp afstand fra Sydkoreas topuniversitet, KAIST.

Forskerne stopper alt samarbejde med universitet på ubestemt tid, fordi KAIST i samarbejde med den sydkoreanske våbenproducent Hanwha Systems har oprettet et laboratorium til udvikling af autonome våben optimeret med kunstig intelligens.

Gruppen vil først ophæve boykotten, når KAIST forsikrer, at laboratoriet vil afholde sig fra at udvikle våben, som kan fungere 100 procent autonomt. Der skal altså fortsat være et menneske, som i et eller andet omfang kontrollerer de våben, som KAIST og Hanwha Systems udtænker, kræver forskerne.

Artiklen fortsætter efter annoncen

Læs også: AI-forsker: Kamprobotter forstår ikke krigens regler

»Udviklingen inden for AI og autonome våben går i en potentiel farlig retning med dette her. Det er vores pligt at tage stilling og forsøge at gøre beslutningstagerne opmærksomme på konsekvenserne,« siger en af de 50 medunderskrivere på boykotten, Thomas Bolander til Ingeniøren.

Han er ph.d. og lektor i logik og kunstig intelligens ved DTU Compute og pointerer, at der er mange ubekendte faktorer ved Hanwha Systems’ universitets-laboratorium.

I sydkoreansk presse har KAIST udlagt samarbejdet, som om der blot er tale om et AI-assisteret navigationssystem til Hanwha Systems’ tanks eller missiler.

Blåstempler våben-kapløb

Uanset om det er tilfældet, betoner Thomas Bolander, at forskernes afstandtagen bør ses i en større kontekst.

Artiklen fortsætter efter annoncen

I udmeldingen, som er forfattet af en af verdens mest fremtrædende AI-forskere, professor Toby Walsh fra New South Wales University, fremhæves risikoen for, at KAIST blåstempler og sætter turbo på kapløbet om udviklingen af autonome våben. Vel at mærke på et tidspunkt, hvor vi stadig kæmper med at begribe potentialet ved AI.

»Hvis udviklet, vil autonome våben være den tredje revolution inden for krigsførelse. Krig vil blive sat i gang hurtigere og i en skala større end nogensinde før. Despoter og tyraner kan bruge disse våben mod uskyldige og fjerne alle former for etiske begrænsninger. Denne Pandoras æske vil være svær at lukke, hvis den åbnes,« skriver de 50 forskere i fællesudmeldingen, hvor de opfordrer KAIST til at koncentrere deres AI-forskning om at fremme fredelige formål.

Læs også: Dræberrobotter på vagt i Sydkoreas demilitariserede zone

Hanwha Systems er kendt herhjemme, idet selskabets artilleri-system K9 Thunder var en af kandidaterne, da det danske forsvar for år tilbage åbnede op for en udbudsrunde om nyt artilleri.

Internationalt set har Hanwha Systems vakt opsigt, idet selskabet producerer klyngebomber til trods for, at en FN-konvention forbyder fremstillingen og brugen af denne type våben.

Sydkoreas signatur mangler på denne konvention, hvorfor der juridisk set ikke er noget at udsætte på KAIST’s samarbejde med Hanwha Systems.

Remote video URL

Professor i computervidenskab og AI ved University of California Berkeley, Stuart Russel, er en af medunderskriverne på boykottet af KAIST. Han har tillige blåstemplet denne fiktive doku-film, der forsøger at visualisere konsekvenserne, såfremt FN ej bandlyser brugen af autonome AI-våben

AI som masseøddelæggelsesvåben

Foruden klyngevåben forbyder FN også brugen af atomvåben samt biologiske og kemiske våben. At autonome våben ikke optræder på listen skyldes, at FN’s 123 medlemslande aldrig har drøftet dem. Det sker dog på mandag efter tre års pression fra Toby Walsh.

Artiklen fortsætter efter annoncen

Tre vigtige tendenser ifølge Toby Walsh

Etik og moral vil fylde stadigt mere, i takt med at maskinerne får mere indflydelse i vores liv, politisk og i samfundet generelt.

AI vil blive mere og mere som elektricitet og forsvinde ind i vores liv. Vi vil ikke tænke over det.

Folk vil blive stadigt mere bekymrede for Kina, der investerer enorme summer i AI og ikke altid lader sig bremse af samme moralske standarder som i Vesten.


Han plæderer for, at AI til våben skal defineres som masseødelæggelsesvåben i FN-systemet. Et forbud som 22 FN-lande allerede støtter.

»Tidligere havde man brug for en hel hær for at føre krig. Du skulle overtale folk til at kæmpe, uddanne dem, give dem mad, udstyr og løn. Det behøver man ikke med AI, der gør det muligt at skalere krigsførelse på en måde, som vi aldrig har set før. En enkelt programmør vil kunne gøre, hvad der tidligere krævede titusinder af mennesker. Der vil ske en revolution inden for krig. Et kæmpe skridt i tempo og effektivitet, som ikke er en god ting. Vi vil ikke være i stand til at forsvare os mod disse våben, hvis de først kommer,« sagde Toby Walsh sidste år i et interview med Ingeniøren.

Her betegnede han sig selv som værende pessimistisk optimist. For ingen kan forudsige den teknologiske fremtid, der er produktet af AI i forhold til vores fantasi og beslutninger i dag.

»Vi forbød ikke kemi og vil heller ikke forbyde AI. Vi forbød brugen af kemiske våben, og jeg håber, vi kan forbyde brugen af AI-våben. Kunstig intelligens vil skabe et bedre samfund og gøre livet lettere på en masse områder. Men som alle andre teknologier kan den enten bruges eller misbruges,« understreger Toby Walsh.

Prototyper gemt væk

Thomas Bolander fra DTU samtykker. Særligt af to årsager.

For det første fordi universitetsforskerne reelt ikke ved, hvor langt fremme udviklingen af AI-våben egentlig er. Simpelthen fordi få ved, hvad der gemmer sig i skufferne af protoyper og semi-automatiserede AI-våben hos private våbenproducenter eller nationale militære udviklingsprojekter hos eksempelvis Kina, Rusland eller USA.

Læs også: Frankrig vil bruge milliarder på AI-kapløb med Kina og USA

For det andet fordi det er det uhyre svært at indtænke alle konsekvensrækker, når det gælder AI-våben.

»Selv hvis de store spillere sagde, at det vil vi ikke røre ved, og de stopper udvikling af fuldt autonome våben, så er der stadig risiko for, at en rig terrorcelle på et tidspunkt udvikler sådanne våben, og så er vi lige vidt og ret beset mere forsvarsløse. På den anden side hvis nationer eller universiteter bistår med udviklingen med sigte på forsvar, så er der sandsynlighed for, at det er en teknologi som terrorister vil få lettere ved at udvikle eller selv få fingre i på et tidspunkt,« siger Thomas Bolander.

31 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
31
8. april 2018 kl. 13:01

Forbud imod AI våben kommer ret sikkert først efter at en Stor krig er blevet udkæmpet med AI våben

Men (jeg ved godt jeg gentager mig selv).....

Brug af kemiske våben kan du tjekke for ved at tage en jordbundsanalyse

Brug af biologiske våben kan du tjekke ved at kigge dybt i en petriskål

Brug af atomare våben kan du tjekke med en seismograf

Men...... hvordan er det nu liiiige man ser forskel på et Hellfire missil der er loaded med normal guidiance software og et Hellfire missil der er loaded med AI software så det automatisk sigter på skolebusser? Vi har ikke engang har styr på en SW der kører på vores egen telefon eller for den sags skyld på vores egne data, hvordan i alverdenen skal vi så tjekke hvilke algoritmer der kører på fjendens våbensystemer, endsige bringe ham/hende for en krigsforbryderdomstol.

Og.... hvor går grænsen imellem AI og simplere adaptive algoritmer egentlig?

Er forbud mod AI våben lyder fint, men det skurrer i mine ører når teknikere giver sig af med ønsketænkning i stedet for at pege på reelle løsninger. Et forbud imod AI kan simpelthen ikke implementeres, lige så lidt som et forbud imod fodsvamp, prematur død eller solfattige somre (hvor gerne jeg end så den slags forbud implementeret)

30
8. april 2018 kl. 00:39

Forbud imod AI våben kommer ret sikkert først efter at en Stor krig er blevet udkæmpet med AI våben så man (formodentlig) er blevet chokeret over deres virkning/effektivitet.

Kan man så forvente, at der under denne krig ikke sker krigsforbrydelser, så som drab på civile?

Kemiske våben blev forbudt fordi de efterlod forfærdelige skader, og dræbte på en frygtelig måde.

Atomvåben er vel ikke forbudte, men der er en ikke spredningsaftale. Årsagen til det er at antallet af civile ofre er enormt ved atomvåben.

Er der grund til et lignede forbud efter en krig, hvor den ene part har tabt efter et slag hvor en million soldater ligger dræbte med et skud igennem hovedet? Smerterfri død, og kun militære ofre. Det er måske at sætte det lidt på spidsen, men kan robotterne overholde konventionerne, så kommer der næppe lignende forbud ud af det.

29
8. april 2018 kl. 00:28

Ja vi har fået et Forbud imod brug af Kemiske våben, som for det meste er blevet overholdt. Det er brugt lokalt nogle gange, mest i Irak/Iran Krigen i 1980erne.

Men Forbudet mod Kemiske Våben kom først efter at en Verdens krig var blevet udkæmpet med udbredt brug af Kemiske Våben , Forbudet imod Atom Våben kom Først efter at 2 Atom bomber var blevet kastet.

Forbud imod AI våben kommer ret sikkert først efter at en Stor krig er blevet udkæmpet med AI våben så man (formodentlig) er blevet chokeret over deres virkning/effektivitet.

28
7. april 2018 kl. 23:56

For et par år siden var der en gut som byggede sin egen selvkørende bil. Ved hjælp af maskinlæring og er par tusinde manuelt kørte kilometer, og så var den hjemme.

I stedet for at dæmme op omkring udviklingen, så tror jeg at forskerne kan gøre mere gavn ved at demokratisere adgangen til AI.

Jeg ville ikke turde være diktator i en fremtid, hvor alle våben var autonome. Der skal blot et omprogrammeret våben til!!!

27
7. april 2018 kl. 20:25

Hvem siger at AI ikke går fra et neanderthalstadie og udvikler sig til højere niveauer med kvantealgoritmer:)

25
6. april 2018 kl. 22:43

Spis brød til René. Der er kun et Nordkoreansk universitet man nægter at arbejde sammen med.

24
6. april 2018 kl. 21:07

Toby Walsh har valgt og vil have resten af eksperticen med sig

Det fortvivlende er bare at ånden allerede er ude af flasken.

https://blogs.nvidia.com/blog/2016/07/07/deep-learning-cats-lawn/

Det bliver svært et proppen den ned igen, opskriften på et en effektiv antipersonnel "løsning " er lige her:

https://myplace.frontier.com/~r.bond/cats/cats.htm

Alt mulig held og lykke til dem der forsøger at forbyde autonome våben......

Moralen må være at man skal gennemtænke konsekvenserne af teknologi før man udvikler den. At gøre i nælderne er irreversibelt - der er ingen vej tilbage.

23
5. april 2018 kl. 20:27

AI SW udvikler ikke sig selv - vi har valget ikke at kode det. Toby Walsh har valgt og vil have resten af eksperticen med sig - jeg håber hans mission lykkes.

22
5. april 2018 kl. 18:26

Forbyd dog krig, nu vi er i gang!</p>
<p>God ide - eller lad os i det mindste slippe af med nationalstaterne og samle verdens nationer under FN -

I har, tilsyneladende aldrig læst højrefløjens blogge, ejheller "Nationen" på EB? Der er fandeme langt til en fredelig verden med de nuværende regimer.

Hvis man så yderligere medtager den udbredte, og i uhyggelig grad regeringsstøttede, nynazisme der florerer i Rusland og andre østlande. Så kan man altså blive lidt bange. Når så en figur som Trump blander sig i keglespillet, ligge panikken latent....

21
5. april 2018 kl. 17:05

Nu er der jo ingen grund til at være naivt navlepillende - jeg håber du forstod hvad jeg mente, ellers er der ingen grund til at fortsætte debatten.

Jeg beklager da at være både naiv, navlepillede og muligvis ikke forstå, hvad du mente, og dermed ukvalificeret til at fortsætte debatten...

I min åbenlyse ringhed forsøgte jeg blot at påpege, at der er forskel på internationale aftaler, og nationale lovgivninger.

Altsammen blot for at støtte Christians argument om, at man kunne gå samme vej som man tidligere har gjort med andre våbentyper, som vi har reguleret via internationale aftaler. Et argument, der ifølge dit indlæg åbenbart ikke stammer her fra jorden !

Men, bevares, så lad os stoppe her.

/Bo

20
5. april 2018 kl. 16:55

Det har "vi" da kunne udmærket. Hverken min lokale Fakta eller Rema-1000 i den næste by fører automatvåben. Selv Bilka i den nærliggende købstad

Nu er der jo ingen grund til at være naivt navlepillende - jeg håber du forstod hvad jeg mente, ellers er der ingen grund til at fortsætte debatten.

Jeg køber ikke de generelle argumenter der kører på: De andre er onde derfor kan vi lige så godt give op.

Jeg siger ikke at der er nogle der er onde, men du er nødt til at tage den menneskelige natur i ed. For bio og kemiske våben er det ret let at trække en streg i sandet. Men hvor trækker du stregen i sandet når alverdens våben i forvejen er udstyret med mere regnekraft end NASA havde i '60erne? AI er jo blot et stykke SW.
Hvorledes vil du skelne imellem et Tomahawk missil der kører konventionel SW og et der er udstyret med AI? Det er helt umuligt. De eneste realistiske muligheder er enten a/ at holde op med at slås eller b/ forbyde våbensystemer med regnekraft.

  • personlig tror jeg a/ er mere realistisk end b/
19
5. april 2018 kl. 16:22

Det lykkedes FN at opdage at brugen af freongasser ikke var en holdbar løsning og gøre noget ved det. Jeg køber ikke de generelle argumenter der kører på: De andre er onde derfor kan vi lige så godt give op. Toby Walsh mission er netop ikke at give op - jeg håber han lykkes med sin mission.

18
5. april 2018 kl. 16:18

Høhh, ved ikke på hvilken planet du befinder dig, men her nede på jorden kan vi ikke engang finde ud af at forbude automatvåben og bumpstocks i supermarkederne.

Det har "vi" da kunne udmærket. Hverken min lokale Fakta eller Rema-1000 i den næste by fører automatvåben. Selv Bilka i den nærliggende købstad tilbyder det ikke, og Harald Nyborg har dem ikke i deres katalog. Og alle er her på jorden :-)

At man nogle steder ikke kan finde ud af at holde militærvåben ude af civile hænder er et spørgsmål om national lovgivning.

På internationalt plan har "vi" fx, med en vis (og også kun vis) grad af succes, kunne indgå traktater der forbyder/regulerer kemiske og biologiske våben.

Det forhindrer ikke en stat i at udvikle dem, men giver verdenssamfundet legal mulighed for at overvåge og gribe ind når/hvis det sker. En lignende model kunne vel i det mindste overvejes for AI-våben - også selvom det er en uperfekt løsning.

/Bo

16
5. april 2018 kl. 15:17

Bare for at ekstrapolere: Hvis det har noget som helst at skulle have sagt med forbud, hvorfor så ikke bare forbyde A-våben, kanoner, tanks, rifler, maskin- og andre geværer, pistoler, slangebøsser og slynger?</p>
<p>Forbyd dog krig, nu vi er i gang!

Det man KAN gøre er jo at forbyde BRUGEN af AI våben via FN. Hvis de store lande går med til det - altså Kina, Rusland og USA, så vil de andre nok også, da de jo nok vil være underdogs i det spil. Det har jo sådan set fungeret ok mht. kemiske, biologiske og A-våben. Altså ikke, at de ikke findes, men de bliver stort set ikke brugt.

15
5. april 2018 kl. 12:48

Forbyd dog krig, nu vi er i gang!

God ide - eller lad os i det mindste slippe af med nationalstaterne og samle verdens nationer under FN - så er der mindre at slås om. I vores egen lille andedam kan vi jo starte med arbejde imod et stærkere EU så vi i det mindste slipper for at skulle ryge i totterne på vores naboer......

14
5. april 2018 kl. 12:38

Før debatten kører helt af sporet, hvad med at dreje den i retning af hvad man realistisk kan gøre?

Det er hurtigt gjort: Ingenting.

Sagen i en nøddeskal er, at AI-våben gør en aggressor stærkere end dig (altså, dit land). Derfor vil en aggressor ønske AI-våben. Har denne aggressor midler nok, så får han AI-våben. Og så er dit land på spanden, hvis dit land ikke selv har investeret i AI-våben, for så kommer han og tager dig!

Bare for at ekstrapolere: Hvis det har noget som helst at skulle have sagt med forbud, hvorfor så ikke bare forbyde A-våben, kanoner, tanks, rifler, maskin- og andre geværer, pistoler, slangebøsser og slynger?

Forbyd dog krig, nu vi er i gang!

13
5. april 2018 kl. 12:05

@ René Fleron Mener du, at det skulle være muligt med en intelligent løsning der kan universielt politisk accepteres ? Jeg kan ikke !

12
5. april 2018 kl. 11:34

Og det tror du selv på? Ingen nye smartphones, ingen nye CUDA kort til at køre spil på? Det kommer ikke til at ske.
Før debatten kører helt af sporet, hvad med at dreje den i retning af hvad man realistisk kan gøre?

Jeg har ikke set andre forslag det er realistisk at kunne håndhæve.

Det er ligesom de atomdrevne biler. Rigtig smart, indtil man tænker over muligheder og konsekvenser af misbrug. Eller blot fissions motorer til rumrejser. Det faldt på konsekvensen af uheld.

11
5. april 2018 kl. 10:56

Det er jo muligt at lave en intelligent prioritering af hvad vi skal beskæftige os med.

9
5. april 2018 kl. 10:29

Nope - umuligt, så skal vi forbyde computere

Korrektion, vi skal da forbyde yderligere udvikling af computere.

De AI vi kan bygge i dag er nok farlige, men ikke som sådan en eksistentiel trusel.

En AI der kræver en serverfarm, eller flere MW for at tænke har et alvorligt handikap.

8
5. april 2018 kl. 09:58

Forbyde chips der kan bruges til AI

Nope - umuligt, så skal vi forbyde computere. Og hvor ligger AI'en egentlig? Det kan være et stykke SW der kører på et grafikkort, men Alexa, Siri , Watson og Bixby ligger alle i skyen. Så snart du har forbindelse til www har du AI potentiale.

7
5. april 2018 kl. 09:52

Men AI våben opstår ikke af sig selv

Jo, hvis der er AI, så er der AI våben.

Den eneste måde det kan undgås er at slå ned på den hardware som gør det muligt. Forbyde chips der kan bruges til AI. Der skal en international AI-kommision til at inspicere de virksomheder der har kapaciteten til det, AMD, nvidia, Intel et.al. nøjagtig på samme måde som atom-kommisionen virker i dag.

De her våben er skabt til asymetrisk krig og en asymetrisk krig kan man ikke vinde, man kan kun holde op med at kæmpe den.

Dvs. være slaver af dem der har den teknologi? Det er nu engang sådan at du skal adlyde dem der har mulighed for at udøve fysisk magt over dig. I Danmark er det politiet, i Somalia er det den lokale krigsherre.

5
5. april 2018 kl. 09:40

Men AI våben opstår ikke af sig selv - heldigvis. Så kloge forstandige forskere verden rundt kan blive enige med hinanden om: Det her har vi ikke brug for og så lade det være. Det vil virke.

Desværre ser vi alt for ofte at noget teknologi bliver udviklet med gode hensigter hvorefter det bliver modificeret og brugt af nogen med onde hensigter. Det eneste vi kan gøre for at forhindre det er at stoppe al udvikling, hvilket aldrig kommer til at ske.

6
5. april 2018 kl. 09:44

Men AI våben opstår ikke af sig selv - heldigvis

Er du sikker på det? Jeg så en Nvidia programmær der havde sat et grafik kort op til at genkende katte ved hjælp af AI, Når kattene kom ind i hans have tændte han spriklerne, der så skræmte kattene væk.

Erstat "katte-genkendelsen" med "menneske-genkendelse", og vandkanonen med en gatling kanon, så har du et masseødelæggelsevåben - specielt hvis du skruer det på toppen af en af de der overhypede selvkørende biler......

Eneste vej ud af moradset er at forbyde våben der kan aktiveres uden menneskelig håndspålæggelse - og hvem ser det som en realistisk mulighed? Suk......

4
5. april 2018 kl. 09:34

Meget snart vil det nemlig være umuligt at vælte.

3
5. april 2018 kl. 09:09

Du har helt ret man kan ikke lovgive sig ud af det her. Men AI våben opstår ikke af sig selv - heldigvis. Så kloge forstandige forskere verden rundt kan blive enige med hinanden om: Det her har vi ikke brug for og så lade det være. Det vil virke. Hvis Toby Walsh's mission lykkes er der håb. De her våben er skabt til asymetrisk krig og en asymetrisk krig kan man ikke vinde, man kan kun holde op med at kæmpe den. Så med mindre man drømmer om den uendelige krig er de her våben ubrugelige.

2
5. april 2018 kl. 02:26

Man kan lave alle mulige regler, f.eks. blot et forbud mod at bruge dem mod civile eller civil infrastruktur men det er alt for mange folk ligeglade med. Vi har blot i det sidste år set kemisk krigsførsel i Syrien, nervegas i England, eller blot machetter mod børn i Afrika.

En af de allertidligste historier om mennesker, Adam og Eva, handler om et regelbrud. Det er menneskets natur, det kan ikke stoppes, og på samme måde som atomvåben er vi nød til at have vores egne våben til afskækkelse.

Jeg mener det var Charles Stross som i Accelerando skriver at kunstig intelligens er det næste skridt i evolutionen. På samme måde som aber udviklede sig til mennesker (Vi avler nogle rigtig kloge børn, så kan de lave alt arbejdet mens vi slapper af eller leger) så er mennesker nu ved det samme igen.

Aberne er endt i reservater, I Accelerando gemmer de få overlevende sig i kolonier omkring røde dværge, som ikke er besværet værd for de nye væsner at omdanne til server farme.

1
4. april 2018 kl. 23:08

Intelligente våben, der selv bestemmer hvem der skal leve og dø er måske ikke det vi står og mangler allermest akut.