Kamprobotternes akilleshæl er uforudsigelighed

16. oktober 2016 kl. 10:0041
Kamprobotternes akilleshæl er uforudsigelighed
Terminator-filmene, hvori det fiktive program Skynet bekriger menneskeheden for at sikre egen overlevelse, har lagt navn til det såkaldte Terminator-argument mod at overdrage for meget ansvar til kunstig intelligens. Illustration: Tristar Pictures.
Mens udviklingen af våbensystemer med kunstig intelligens fortsætter med uformindsket styrke, forstår vi stadig ikke til fulde maskinernes tænkning. Det kan blive afgørende for, at mennesker aldrig kommer til at overlade aftrækkeren til en maskine.
Artiklen er ældre end 30 dage

Det amerikanske forsvar kommer ikke til at overlade beslutningen om at anvende militær magt til robotter. Det var udmeldingen, da general Paul Selva fra det amerikanske flyvevåben holdt tale i Washington forrige måned.

»Vi bruger meget af vores tid på at afgøre, om de redskaber, vi udvikler, fritager mennesker fra beslutningen om at påføre fjenden vold,« forklarede generalen, som også er næstformand i den magtfulde sammenslutning af det amerikanske forsvars øverstkommanderende, Joint Chiefs of Staff.

Hvorvidt, generalens udmelding bliver bestemmende for det amerikanske forsvars anvendelse af kunstig intelligens, vil vise sig. Men Pentagon, der inden for det seneste årti har satset massivt på præprogrammerede eller fjernbetjente våben, investerer i øjeblikket i udviklingen af en lang række helt eller delvist autonome våbensystemer med kunstig intelligens.

Og her udgør manglen på forudsigelighed den allerstørste barriere. Det konkluderer den 40 mand store ekspertkomité Defense Science Board, som rådgiver det amerikanske forsvarsministerium i teknologiske spørgsmål, i en ny rapport om autonomi. Ekspertkomiteen fastslår tidligt i den omfattende rapport, at udviklingen af tilstrækkelig forudsigelighed og tilregnelighed er af ‘langt større betydning og mere presserende end noget enkeltstående udviklingsprogram’ inden for militære systemer med kunstig intelligens.

Artikelserie

Autonome våben: Den tredje revolution af krigsførelse?

Først kom krudtet, så kom atomvåben, og nu står kamprobotterne klar. Autonome våben beskrives som den tredje revolution af krigsførelse, og med den hastige udvikling følger alvorlige advarsler fra fagfolk.

Men hvad er et autonomt våben egentlig, og bliver det nogensinde forsvarligt at overlade beslutningen om militær magt til maskiner? Ingeniøren ser i efteråret nærmere på de stadig mere intelligente kamprobotter.

16.10. Kamprobotternes akilleshæl er uforudsigelighed
20.10. Hvornår er krigsrobotter autonome?

Menneskelig versus maskinel tænkning

Defense Science Board opstiller en række centrale forhold, der kan underminere tilliden mellem mennesker og maskiner. Herunder manglen på analogi mellem menneskelig og maskinel tænkning:

Artiklen fortsætter efter annoncen

Eftersom et autonomt system benytter andre sensorer og data­kilder end systemets menneskelige partnere, opererer det potentielt ud fra helt andre antagelser om det operationelle miljø. Og hver af systemets byggesten, hvad enten det er mønstergenkendelse til billedanalyse, optimeringsalgoritmer i beslutningsprocessen eller dybe neurale netværk til indlæring, kan sende maskinens ræsonnement i en markant anderledes retning end ventet.

»Udfordringen med neurale netværk er generelt, at det er meget svært at gennemskue, hvad de egentlig har lært. Vi kan ikke verificere, at systemer, som bygger på neurale netværk, virker efter hensigten i alle tilfælde. Derfor er det problematisk at anvende den slags teknologier militært,« siger Thomas Vestskov Terney, konsulent inden for digital strategi og ph.d. i kunstig intelligens.

Læs også: Kunstig intelligens overvinder kampflypilot

Som en anden central problemstilling peger Defense Science Board på manglende gennemsigtighed, idet en akilleshæl for systemer med kunstig intelligens ofte er en begrænset evne til at gøre information om systemets ræsonnement tilgængelig og forståelig for mennesker. Og uden indsigt i de antagelser, systemet baserer sine beslutninger på, kan mennesker ikke forudsige systemets handlinger.

Artiklen fortsætter efter annoncen

‘Når noget går galt, hvilket det før eller siden gør, skal et autonomt system tillade mennesker eller andre maskiner at gribe ind og korrigere eller stoppe systemets handlinger rettidigt og hensigtsmæssigt,’ skriver Defense Science Board.

Tre eksempler på automatiske forsvarssystemer

Selvlæring eller forudsigelighed

Ikke mindst peger Defense Science Board på, at selvlærende systemer vil vokse fra deres oprindelige verificering og validering, efterhånden som grænsen for deres kapacitet bliver ændret.

Hos Institut for Naturfagenes Didaktik på Københavns Universitet peger lektor Mikkel Willum Johansen tilsvarende på, at en uforenelighed mellem selvlæring og forudsigelighed kan blive den afgørende grund til, at robotter med kunstig intelligens aldrig bliver kompetente til at trykke på aftrækkeren selv.

»Jo mere tilpasningsdygtige, systemerne bliver, desto mere brugbare er de i militære operationer. Men desto sværere bliver det også at forudsige deres handlinger. Man vil fra militært hold gerne have både en høj grad af adaptivitet og forudsigelighed, og det kan man ikke få, så man må nøjes med det bedst mulige kompromis,« siger Mikkel Willum Johansen.

Læs også: Tilhører fremtidens luftrum kampfly eller droner?

De internationale regler om militær magtanvendelse forbyder ikke eksplicit brugen af autonomi. Og Defense Science Board konkluderer, at autonomi ligefrem kan styrke overholdelsen af principperne i krigens regler. Komiteen peger på målsøgende ammunition, der gør det muligt at ramme militære mål med større nøjagtighed og færre civile tab til følge. Et eksempel er de radar- og laserguidede luft-til-jord-missiler Brimstone, der efter affyring i en given retning selv udsøger et mål og identificerer målets mest sårbare punkt, og som selv­destruerer, hvis de ikke finder et mål.

En spilleplade under udvikling

Man skelner normalt mellem tre overordnede grader af selvbestemmelse i våbensystemer: Semi-autonome systemer, som er underlagt fuld menneskelig kontrol og kræver tilladelse til at angribe specifikke mål, kendt som human-in-the-loop. Autonome systemer under opsyn, hvor mennesker overvåger systemets operationer og har mulighed for at gribe ind, kendt som human-on-the-loop. Og endelig fuldt autonome våbensystemer, hvor mennesker ikke længere har indflydelse på beslutningskæden, og systemet selv kan udvælge mål.

»Spørgsmålet er, om man kan tale om helt autonome systemer i forstanden fri vilje. Der er næppe nogen, der ønsker et fuldt autonomt våbensystem baseret på kunstig intelligens, for så snakker vi jo Skynet,« siger Thomas Vestskov Terney med henvisning til Terminator-­filmenes AI-netværk, der udvikler selvbevidsthed og erklærer menneskeheden krig.

»Men jeg tror, at vores definition af autonome systemers spilleplade kommer til at udvikle sig meget. Defense Science Board giver udtryk for en forventning om, at man i den nære fremtid vil nedbryde skellet mellem menneske og maskine og derved få en samarbejdssituation, hvor afgrænsningen af systemernes opgaver er meget mere fleksibel. Og dermed bliver systemerne mere autonome, i takt med at deres opgave kan defineres bredere,« siger Thomas Vestskov Terney.

Artiklen fortsætter efter annoncen

Læs også: Autonome droner giver krigens regler kamp til stregen

Det er særligt i form af human-on-the-loop-systemer, Defense Science Board ser et potentiale. Effektivt samarbejde mellem mennesker og maskiner kræver en fælles forståelse af formålet med militære operationer, selv om de er udtrykt i forskellige semantikker, skriver komiteen.

‘En høj grad af autonomi må betinges af en maskines evne til at udlede sin operatørs hensigt og handle adaptivt på en ikke præprogrammeret måde. Og i processen være i stand til at håndtere situationer, der ikke er forudset af hverken designeren eller operatøren,’ skriver Defense Science Board.

En fælles forståelse af hensigterne bag målet garanterer imidlertid ikke en fælles forståelse af midlerne til at nå målet, påpeger Mikkel Willum Johansen.

»Robotternes mål kan vi nogenlunde kontrollere. Det er snarere midlerne, vi ikke kan forudsige. Vi kan komme til at designe systemer, der benytter uproportionale midler til at nå deres mål. Systemet kunne for eksempel konkludere, at det kan lokke fjendtlige soldater frem ved at torturere et barn. Men det er ikke et middel, vi kan acceptere. Magtanvendelse skal ifølge Genève­konventionen være proportional med det militære mål, selv hvis civile tab forekommer,« siger Mikkel Willum Johansen.

41 kommentarer.  Hop til debatten
Debatten
Log ind eller opret en bruger for at deltage i debatten.
settingsDebatindstillinger
41
22. oktober 2016 kl. 17:25

Skal våben have lov at skyde selv? Spørges der. Det er vel meget enkelt, hvis vi kan leve med at være second in command på denne planet, altså ikke længere at være toprovdyret, så er det vel bare at give den gas. Hvis vi gerne vil fortsætte med at være den forreste art i Darwins kapløb skal vi nok ikke give robotter våben og license to kill.

40
19. oktober 2016 kl. 07:36

Operativsystemet har mulighed for at sikre, at vigtige drivere ikke kan ændres eller opdateres. Det umuliggør, at drivere kan angribes. Den eneste mulighed du har for at ændre en beskyttet driver, er at boote i et andet operativsystem, der giver direkte adgang til hardwaren, eller at fysisk placere harddisken i et system, der giver raw access til harddiskens data.

Det er ellers lige præcis hvad et root kit gør, det modificerer drivere.

Læg dertil at en sektor-editor giver adgang til at læse og skrive enkelte sektorer på harddisken, uden at operativsystemet reagerer på det.

At lave et 100% sikkert operativsystem er ganske enkelt ikke muligt, ethvert program med en kompleksitet ud over "Hello World" rummer både kendte og ukendte fejl.

39
18. oktober 2016 kl. 23:30

Jens, det du skriver er meget fantasifuldt, men det har intet med eksisterende computere og operativsystemer at gøre.</p>
<p>Læsning og skrivning af harddisk sker ved at operativsystemet og/eller programmer anvender en driver, dvs. et program som oversætter mellem harddiskens fysiske niveau og systemets logiske niveau.</p>
<p>Sådan en driver kan være indeholdt i et ondsindet program eller virus, og når først systemet er inficeret kan intet operativsystem beskytte harddisken. Alternativt kan selve driveren være inficeret. I begge tilfælde kan operativsystemet snydes til ikke at registrere unormal aktivitet. Derfor er der behov for antivirus programmer.

På de computere man har kunnet få i mange år (fra 386 og op), har hardwaren indeholdt beskyttelse, der umuliggør at drivere kan overskrives eller ændres. Dog har der for en del år siden været nogle hardware bugs, der har muliggjort det umulige. Operativsystemet har mulighed for at sikre, at vigtige drivere ikke kan ændres eller opdateres. Det umuliggør, at drivere kan angribes. Den eneste mulighed du har for at ændre en beskyttet driver, er at boote i et andet operativsystem, der giver direkte adgang til hardwaren, eller at fysisk placere harddisken i et system, der giver raw access til harddiskens data. PC'ens hardware (CPU'en), er designet til, at du kan umuliggøre raw access til harddisken, og derfor er også muligt at forhindre, at driverne ændres eller modificeres.

Det er korrekt, at hverken Windows eller Linux er sikre operativsystemer. Forskellen mellem dem er minimal, og mange af fejlene i Windows, er stjålden fra Unix eller Linux. Men hardwaren er oprindeligt designet til, at sikre mod utilsigtet adgang til harddiskens sektorer, og designet til, at umuliggøre raw access til harddisken. Problemet med Unix og Linux er primært, at sikkerhedsniveauet sættes af mennesker. Det er operativsystemer, der ikke er designet til at være sikre, men designet til, at kunne opsættes til stor sikkerhed. Det kan også forklares omvendt - at de er konstrueret til, at man konfigurerer, hvem der kan lave lovlige indbrud i systemet, og fundamentalt fungerer det ved indbrud. Derfor er svært at komme hacking og virus'er til livs.

38
18. oktober 2016 kl. 22:37

Jens, det du skriver er meget fantasifuldt, men det har intet med eksisterende computere og operativsystemer at gøre.

Læsning og skrivning af harddisk sker ved at operativsystemet og/eller programmer anvender en driver, dvs. et program som oversætter mellem harddiskens fysiske niveau og systemets logiske niveau.

Sådan en driver kan være indeholdt i et ondsindet program eller virus, og når først systemet er inficeret kan intet operativsystem beskytte harddisken. Alternativt kan selve driveren være inficeret. I begge tilfælde kan operativsystemet snydes til ikke at registrere unormal aktivitet. Derfor er der behov for antivirus programmer.

37
18. oktober 2016 kl. 21:40

Det giver ikke nogen sikkerhed overhovedet. Et ondsindet program kan helt enkelt læse harddisken på blok eller sektor niveau, og dermed gå uden om alle indbyggede adgangskontroller.

Nej, der findes ingen adgang til harddisk eller hardware. Det kan beskyttes på flere måder - på moderne CPU'er, f.eks. dem der er i en PC, er beskyttelsen en del af computerens hardware. I nogle computere, der anvender dynamiske compilere som del af operativsystemet, er alle programmer skrevet i en kode, som de dynamiske compilere fortolker, og det betyder, at det kun er muligt at udføre kode, som går igennem dem. Denne metode har den fordel, at det er muligt at gøre softwaren totalt hardware uafhængigt, da den kode som udføres, ikke er specificeret af hardware, men af operativsystemet. Samtidigt muliggøres intelligent udførsel, hvor den dynamiske compiler kan behandle koden, inden den udføres. Det eneste i sådan et operativsystem der indeholder maskinkode, er den driver i operativsystemet, som er til CPU'en. Det betyder også, at den pågældende CPU starter op i CPU driveren, da det er det eneste der indeholder kode, som CPUen forstår. Den dynamiske compiler, ligger på et niveau over CPU koden, og kan håndtere instruktioner til forskellige CPU'er, men arbejder tæt sammen med CPU driveren, så den kan oversætte koden til CPU'en. Noget af det første, som den oversætter er sig selv. Normalt bruges harddiskens ubrugte sektorer som cache. Det betyder, at den dynamiske compiler kan genbruge oversættelser, den har gjort tidligere, hvis der er harddisk plads nok. Så det tager ikke længere tid, end almindeligt compileret kode, andet end første gang det udføres, da det med stor sandsynlighed allerede er oversat. Ændres noget, f.eks. isættes en ny CPU, så vil dens driver automatisk oversætte koden til den, så den bliver brugt, til de opgaver den er egnet til. Et system kan normalt have forskellige typer CPU'er. Måske bliver en gang også muligt med drivere til FPGA'er, så operativsystemet automatisk lægger noget af koden i en FPGA, hvis det er egnet for det. Tror ikke, at nogen har lavet sådanne drivere til almindelige operativsystem kode endnu. Men, det vil være et skridt i den rigtige retninger, at give FPGA'er operativsystem. Mange indeholder allerede en CPU, så hvis det er muligt at lave en driver, der automatisk compilerer den kritiske del af koden ud på FPGA'en, og den ukritiske i CPU'en, så vil det være et fremskidt indenfor FPGA kodning. Det er i dag muligt, at oversætte almindelig C kode til FPGA'er, og måske også C++ kode. Men der mangler stadigt meget indenfor dette arbejde, så der automatisk kan genbruges blokke, automatisk syntetiseres CPU'er med et instruktionsæt til opgaven, og automatisk kan splittes, hvad der skal køre i FPGA kode, og over i en eventuelt indbygget CPU. På nuværende tidspunkt, tror jeg dog det går lidt, inden FPGA'er der "omkoder" hardwaren, mens programmerne køres, bruges som CPU. Deciderede CPU'er er ofte bedre.

36
18. oktober 2016 kl. 12:50

Branchen med militære robotter er i sig selv undergravet af præstationsangst. Det gælder hele tiden om at have et system der er bedre end de opgaver som dén type robotter løser og som konkurrenterne også laver robotter til. Ergo gælder det om at lave robotter der er bedre end konkurrentens. Ikke ukendt i den kommercielle verden, hvilke der leverer produktionserfaringer.

Sætter man et program til at danne kode der reagerer på input og som søger det bedste resultat ud af forsøgene, vil man uværgerligt komme til at danne noget kode der ikke er beskrevet før. Der skal så noget kontrol-kode til at tjekke om resultatet ligger inden for grænserne. Vil man have en robot der er bedre end andre, vil kapløbet kommet til at gå over stregen i sidste ende. Er det ikke det Terminator filmene handler om?

35
18. oktober 2016 kl. 09:10
33
18. oktober 2016 kl. 03:38

Re: Hacking</p>
<pre><code>Med andre ord mener du at Microsoft, Google, Adobe, Apple, SUN, IBM og mange flere har overladt al kodning af deres software til hackere? Seriøst???

Ja, det er ganske tydeligt.
</code></pre>
<p>Har du et bud på hvorfor de nævnte firmaer har valgt at ansætte hackere i stedet for programmører?

Problemet ligger mere korrekt i det overordnede design - som programmørerne ikke har indflydelse på. Så programmørerne laver kun tingene, som de får besked på. Det er de overordnede der har designet systemet, til at være hackerbart.

Et operativsystem skal designes ligesom OOP. Alt er privat - og der er kun tilgang gennem funktioner. Ingen, har direkte adgang til data i et program. Det giver ingen mening, at kunne opsætte rettigheder til indbrud, ligesom man gør i Linux. Den eneste, der må og har adgang til et programs data, er programmet selv. For alle andre er de ikke eksisterende - de er private. Ønsker man, at gøre noget ved dem, så kontakter man programmet, og lader dennes funktioner ændre i programmets data. Kun på den måde, sikrer man sig imod virusser. Ingen kan ændre programmet. Og ingen kan ændre programmets data, andet end programmet selv.

Windows er ekstra slem - hele systemet er designet til indbrud, og intet er ordentligt beskyttet. Mange af metoderne, er lavet så det er gjort totalt umuligt, at rette fejlene. Det er en dygtig hacker, der ligger bag designet. Systemet er ikke kun designet til indbrud - det er sikret imod, at det kan sikres mod indbrud og identitetstyveri.

Ved et ordentligt operativsystem, er det ikke muligt at sætte rettigheder til indbrud. Det er ikke muligt, at gøre noget forkert, der tillader virus. Et program kan ikke gemme på harddisken - eller andre steder - andet i områder, der er forbeholdt programmet. Og så kan kun programmet bruge og læse områderne, og se hvad de gemmer. Du kan derfor f.eks. i et tekstbehandlingsprogram gemme en filnavn, kaldet dit CPR nummer, uden at tekstbehandlingsprogrammet på nogen måder kender det navn du har givet dataene. For det kan og skal ikke indtastes i tekst behandlingsprogrammet. Den har ikke adgang til brugerens harddisk. I stedet kontaktes brugerens "fil-browser", der spørger om navnet, og sørger for, at gemme dataene - helt uden, at programmet der beder om, at få dataene gemt, har nogen mulighed for adgang til filnavnene.

Et antivirus program må ikke være muligt at lave. Et sådan program, kræver brud med alle sikkerhedsprincipper - dvs. at for at lave et antivirus program, så kræves at systemet er designet for virus og spyware. Ellers, vil programmet ikke have adgang til at undersøge og scanne noget. Et antivirus program, kræver adgang til sikre data, som det aldrig må være muligt at give programmet nogen rettigheder til, i et sikkert system. Kan et antivirus program køre, så er det garanti for, at det er muligt med virus og spyware i systemet. Hele forretningsområdet er baseret på kriminelle principper.

30
17. oktober 2016 kl. 20:30

Mønstergenkendelse er faktisk en vigtig del af det vi kalder "intelligens" - hvis du nogensinde har set en IQ-test, vil du vide at der som regel indgår identifikation af en form for møster, samt en anvendelse af dette mønster til at besvare et sprørgsmål eller løse en udfordring.

Intelligens er at kunne løse et problem. Det sker f.eks. ved at gennemløbe et stort antal muligheder, og finde den rette. En kvantecomputer er derfor intelligent. For den kan finde nålen i en høstak.

Har du ikke en kvantecomputer, og skal finde løsningen på et problem, så er det kompliceret og besværligt, at gennemløbe alle muligheder. Derfor, skal mange triks i brug - problemet med at gennemgå alle muligheder, løses ved hjælp af analyse, og ikke ved at reelt gennemgå dem. I forbindelse med analysen, vil der f.eks. være problemstillinger, som man har fundet løsningen på før, og i sådanne tilfælde, kan mønstergenkendelse bruges, for at finde ud af, at det er et velkendt problem.

Mønstergenkendelse, er efter min mening ikke intelligens. Det er et redskab for intelligens. Præcist på samme måde som f.eks. hukommelse og store regnemaskiner. Du bliver ikke mere intelligent af, at du får en blok papir og blyant, en stor regnemaskine, eller en bog hvor svarene står. Mønstergenkendelse er på samme måde kun et redskab for intelligens. Det er noget, som intelligens kan bruge, på samme måde som regnemaskiner og blyanter.

Mange typer intelligenstest måler ikke intelligens. Og du vil se, at de ofte kan påvirkes ved, at personen der udfører intelligenstesten, f.eks. får en tavle, blyant/papir, regnemaskine, regnestok, bøger, eller andre redskaber. Det siger sig selv, at man ikke bliver mere intelligent af det - men hvis hjælpemidlerne er tilladte, så viser det alligevel noget om ens evne til at anvende hjælpemidler, og det er intelligens.

Nogle mennesker, har en lav IQ uden hjælpemidler. Men med hjælpemidler, kan de måske løse opgaver, som mange med større intelligens uden, ikke kunne håndtere. I nogle tilfælde kan andre mennesker, også være en form for hjælpemiddel. Og man ser, at mennesker øger deres intelligens i fællesskab, fordi de kan bruge hinanden. Nogle former for intelligens, er ikke særligt intelligente som enkelt individ - intelligensen opstår, som del af et kollektivt system. Du kan meget nemt risikere, at hvis du tager et intelligent system, så vil de enkeltdele systemet består af, have meget lav - eller ingen intelligens. Intelligensen opstår, som et resultat af sammenkoblingen, og den intelligens, der opstår ved at fungere fælles. En meget vigtig egenskab ved intelligens, er evnen til at opnå en større intelligens i fællesskab, end summen af de enkelte intelligenser.

Jeg mener, at intelligens ikke er redskaberne. Men evnen til at få intelligens til at opstå, ved redskabers hjælp.

27
17. oktober 2016 kl. 17:26

@ Ole Laursen Utroligt spændende område som også Martin Bøgelund er inde over i hans kommentar, Bevisthed, intelligens og hvor selvstændigt tænkende væsner er vi egentligt når at det kommer til stykket. Ikke så meget som man umiddelbart skulle tro åbenbart, som det ser ud. Meget fascinerende, men også meget meget mærkeligt og på en måde lidt naturstridigt i forhold til hvad vi gerne vil tro. Hvilket også bare gør AI teknologien med maskinlæring endnu spændende, men på en måde også mere skræmmende.

26
17. oktober 2016 kl. 14:36

I nogle tilfælde, kan kunstig intelligens måske godt bruges, hvis den er bevis baseret og ikke giver tilfældige resultater. Vi skal som minimum, kunne bevise at resultatet er i orden.

Hvis jeg må anbefale en bog, så prøv at læse "You are not so smart":

https://www.amazon.com/You-Are-Not-So-Smart/dp/1592407366

Næsten alle menneskelige beslutninger sker intuitivt, dvs. uden nogen som helst anden forklaring end at vores hjerne når frem til at det er den beslutning som er bedst ud fra hvad vi tidligere har lært. Vi opdager det bare ikke fordi vi efterrationaliserer, eller med andre ord opdigter en forklaring.

Det er et kunstigt, og urealistisk, krav at stille op at man skulle kunne bevise noget - især set i lyset af at ens bevismuligheder hvad angår den virkelige verden er begrænsede, jvf. sorte svaner. Beviser i algoritmesammenhæng har næsten altid et særdeles begrænset virkefelt, der kun i ringe omfang udtaler sig om den praktiske anvendelighed af det program som algoritmen indgår i.

24
17. oktober 2016 kl. 11:05

Fordelene ved forudsigelighed skal måske afvejes når det gælder de fleste former for ikke bare kamp, men "konflikt spil". En opvejning af fordelene ved at ens "eget parti" har oversigt med at modparten har så lidt oversigt som muligt og enten ikke kan forudse hvad der vil ske eller ser fejl.

23
17. oktober 2016 kl. 10:53

Neurale netværk kan bruges til mønstergenkendelse, og det er en af de ting, som de er gode til. Men, mønstergenkendelse, har reelt ikke meget med kunstig intelligens at gøre. Det er mønstergenkendelse.

Jens, det er som om du slet ikke rigtigt har fået skovlen under begrebet "kunstig intelligens".

Mønstergenkendelse er faktisk en vigtig del af det vi kalder "intelligens" - hvis du nogensinde har set en IQ-test, vil du vide at der som regel indgår identifikation af en form for møster, samt en anvendelse af dette mønster til at besvare et sprørgsmål eller løse en udfordring.

Begrebet "intelligens" bruges typisk om måden vi løser opgaver og udfordringer på - fremfor at følge et instinkt, eller lade os styre af følelser, gør vi mennesker noget anderledes (set ift sammenligning med dyr) - vi observerer, opstiller hypoteser, efterprøver hypoteserne, observerer igen, osv.

Hele denne cyklus er drevet af mønstergenkendelse, som bruges til at samle indtryk fra sanserne, for derefter at anvende vores hukommelse til at identificere hvad vi står overfor. Hvis vi ikke har et eksakt eller bare nogenlunde match i hukommelsen, kan vi opstille hypoteser ud fra de delelementer vi så rent faktisk kan genkende, efterprøve dem, og derved lære mere om det vi observerer.

Så nej; mønstergenkendelse og kunstig intelligens er ikke det samme, men en kunstig intelligens uden evnen til at genkende mønstre, kan aldrig få en læringscyklus op at køre - og dermed ikke kunne udvise intelligent adfærd.

21
17. oktober 2016 kl. 03:09

Al programmering er sårbar overfor hackere, man kan indlæse latent virus, der først vil aktiveres efter et stykke tid, så man ikke kan scanne imod det.

Der kan komme data tab ved skade, og derved bliver robottens adfærd uforudsigelig.

20
16. oktober 2016 kl. 21:27

Er det science fiction?

Nej, ikke i nogen af de science fiction film jeg har set. Det minder mer om en gammel film fra sovjetunionen, hvor en maskinpistols bevæbnet soldat stod ved siden af programmøren, for at sikre han ikke begik dumheder. I dag er han udskiftet med bio-feedback. I princippet er det tale om bevissystemer, hvor der også tages hånd om menneskelige fejl, og hvor det er muligt at matematisk kalkulere om en handling er bevidst, eller en fejl. Bio-feedback muliggør, f.eks. med implanter, muliggør at det er muligt at sikkert identificere programmøren, og at følge alt, fra tasten trykkes i editoren til kodelinjen, så man kan spore i koden, hvilken programmør der er, og se handlingen udføres. Bio-feedback kan bruges til skjult feedback, så programmøren forstår vigtigheden af handlingerne. F.eks. hvis han gør noget forkert, kan det føles. Jeg syntes, at det er for hårdt at programmere under et sådant system. Men, det kan være nødvendigt.

15
16. oktober 2016 kl. 15:30

Jeg kan forstå at du ikke har en PC med Windows 10, hvor man ikke har en sk.. at skulle have sagt, når det passer Microsoft, at afbryde mig i et for mig vigtigt øjeblik, som eksempel; Lige før jeg skal checke ind i en lufthavn. Jeg har den opfattelse at min PC er min.....og kun min.....og det er mig der bestemmer om det er tid til opdateringer. Sådan er det bare ikke mere.

@Bjarne. Jeg vil forslå dig at installere Linux mint. Her er du selv i kontrol igen. Windows 10 er ligesom så meget andet en reklamesøjle for ligegyldigheder og kan heldigvis i de fleste tilfælde totalt undgås. Det er er stort set kun drenge der spiller spil og nogle få med særlige programmer, der er fortrækker eller måske ligefrem er tvunget til at bruge windows. Find en gammel solid bærbar med minimum Duo-core og 2 GB ram og SSD, så snurre Mint fint til det meste daglige brug. Grunden til at jeg fortrækker f.eks en brugt Lenovo, er at hængsler til skærm, tastatur og mus osv er i væsentlig bedre kvalitet end meget der kan købes fra nyt, til samme pris - selv det 9cellers batteri på min snart 8 år gamle Lenovo virker stadig upåklageligt i næsten 2,5-3 timer, ved moderat forbrug. Du er for det meste kun kontrolleret, hvis du selv vælger det. Du bestemmer selv fuldstændigt hvornår og hvordan opdateringer skal udføres og systemet bruger ikke udnødvendige ressource på andet end det, som du beder det om. Linux kan til og med afprøves direkte fra en USB-nøgle, uden at "pille" ved det eksisterende styre- eller filsystem.

14
16. oktober 2016 kl. 15:07

Stort set alt som kan genkende former, billeder, stemmer mv. indeholder neurale netværk og maskin læring som en væsentlig del af deres kode. Så hvis du har brug for den funktionalitet og assistance det giver, at kunne automatisk klassificere sensor input, for dermed at mindske load på den menneskelige faktor, så slipper du ikke for maskin læring.

FYI, så indgår det i rigtig rigtig mange dimser idag, også brugt i militære sammenhæng.

mvh Kim

13
16. oktober 2016 kl. 14:50

Du har intet at frygte.....for det er på vej....og det kommer.

Jeg kan forstå at du ikke har en PC med Windows 10, hvor man ikke har en sk.. at skulle have sagt, når det passer Microsoft, at afbryde mig i et for mig vigtigt øjeblik, som eksempel; Lige før jeg skal checke ind i en lufthavn. Jeg har den opfattelse at min PC er min.....og kun min.....og det er mig der bestemmer om det er tid til opdateringer. Sådan er det bare ikke mere.

Da jeg i tidernes morgen skulle programmere i Algol W foregik det ved at lave huller i en helvedes masse papkort og selv om der var nogle nørder på hullestuen dengang ,der talte om at lave et skakprogram, fortalte vore lærere at det ville være spildt arbejde.

IBMs deep blue mod Kasparov 11, Maj1997. Resultat: Deep Blue–Kasparov (3½–2½).

Der er gået 20 år siden. Jeg er derfor ikke så sikker som du er det, at de ting du frygter, ikke vil ske.

Tænk på hvorledes børsrobotterne, mobilepay, internettet, har påvirket samfundene. Negativt hvis man er telefon, bank og postansat. Det er sikkert rigtigt at jagerfly stadigt et stykke tid endnu vil indeholde en pilot, men......

12
16. oktober 2016 kl. 14:05

Jeg er faktisk lidt bange for udviklingen med kunstig intelligens, og mener at man skal være meget påpasselig, men jeg tror ikke at det er en udvikling der kan stoppes. Den kommer, så gælder det bare om at hænge på og være med helt fremme, og måske med lidt held dermed også være med til at styre udviklingen i en fornuftig retning.

I nogle tilfælde, kan kunstig intelligens måske godt bruges, hvis den er bevis baseret og ikke giver tilfældige resultater. Vi skal som minimum, kunne bevise at resultatet er i orden.

Desværre er vi ude på en teknologisk afvej. I stedet for, at udvikle pålidelig teknologi, så vælger vi, at udvikle systemer, der er designet til upålidelighed. De skal være upålidelige, de skal kunne hackes, og det skal være umuligt at placere et ansvar. Den anden vej, er at lave pålidelige systemer, hvor vi kan garantere at computeren fungerer og gør sit arbejde korrekt. I sådanne systemer findes virus og hacking ikke. Der findes ikke software fejl. Og det er ikke muligt, at lægge noget sådant ind. Hvis nogen forsøger, så er der i systemet bevis systemer, der kan finde den, der har forsøgt at omgå sikkerheden bevist. Og det er ikke muligt, at lægge noget forkert ind, uden det gøres bevidst. Programmørerne kan lave fejl - det sker der intet ved, da de opdages automatisk. Søger de, at omgå sikkerheden, så der reelt opstår fejl, så opdages det også - og det kan ikke ske, uden det er en bevidst handling bag forsøget. Det betyder, at man ved at programmøren bevidst, har forsøgt at gøre noget ulovligt. Fejl er og bliver umulige, i sådanne systemer.

Nu, forsøger man så at sælge kommerciel game teknologi til forsvaret. Det er forrykt og forkasteligt.

Vi kan ligeså godt sætte en metalkasse til at være præsident. Det er ganske enkelt ude med folkestyret, da folket ikke vælger dem der bestemmer.

Jeg frygter en fremtid, som i de værste Science Fictions, hvor menneskets fremtid, ligger i hænderne på en "computervirus", der ikke ved hvad den gør. I hvert fald, ved dem der går ud over, ikke hvad de har købt. Måske er vi nået det punkt, hvor vi - og specielt amerikanerne - behøver at blive "frelst" fra hvad vi selv gør.

11
16. oktober 2016 kl. 13:52

"Det centrale i intelligens er oftest ikke at kunne udføre, men at forklare handlingen." Det er jeg enig i, men så begynder vi mere at snakke om definitionen på intelligens. Selvfølge bliver noget kunstigt aldrig helt det samme som det det imitere. Jeg er faktisk lidt bange for udviklingen med kunstig intelligens, og mener at man skal være meget påpasselig, men jeg tror ikke at det er en udvikling der kan stoppes. Den kommer, så det gælder bare om at hænge på og være med helt fremme, og måske med lidt held dermed også være med til at styre udviklingen i en fornuftig retning.

10
16. oktober 2016 kl. 13:36

Men mulighederne og pengene er enorme inden for det felt, så det kommer vi til at se meget mere til er jeg helt sikker på.

Jeg tror mere på intelligente systemer, der er bevis bag. Det centrale i intelligens er oftest ikke at kunne udføre, men at forklare handlingen. Et kunstigt intelligent system, skal kunne analysere, og på baggrund af analysen kunne komme til en slutning, som den kan forklare, og føre beviser for.

Vi kan ikke acceptere, at "tilfældige" algoritmer får magt.

9
16. oktober 2016 kl. 13:24

De systemer vi snakker om her er jo på en måde en blanding. De starter jo ikke på bar bund, men selvfølgeligt med en algoritme og et dataset der udgør dens basisviden inden for det felt den skal fungere. Det Neurale netværk kommer jo så at sige så oven i. Med datasetet har den al relevant viden som er tilgængeligt på området, og så går den jo så først igang med at lære, hvilket den kan gøre meget hurtigere end menesker, men uheldigvis også nogle gange på uforudsette måder. Men mulighederne og pengene er enorme inden for det felt, så det kommer vi til at se meget mere til er jeg helt sikker på.

8
16. oktober 2016 kl. 13:15

Jeg tror at størstedelen af IT-branchen og militærindustrien er ret uenig i den betragtning.

Prøv at spørg nogen, der faktisk ved noget om neurale netværk. De kan ikke bruges til noget. En algoritme der løser opgaven, er til enhver tid meget bedre - og mere præcist - end neurale netværk. Og neurale netværk, har overhovedet ingen intelligens. Selvom de kan lære, er de ikke intelligente. Der findes ikke intelligente neurale netværk.

Kunstig intelligens, er meget andet end neurale netværk. Neurale netværk, er noget af det "uheldige" indenfor kunstig intelligens. De tilhører det ubrugelige, som ikke kunne bruges. Hvordan vil du sikre korrekthed af neurale netværk, og det de gør? Når mennesker gør noget, så kan vi bevise vores handlinger, og give en fornuftig forklaring, hvor vi forklarer baggrunden for vores handlinger.

7
16. oktober 2016 kl. 12:53

"Hvilket også gør dem totalt ubrugelige, til alt andet end lejetøj.

I langt de fleste tilfælde, er bedst at undgå neurale netværk. Og at søge en bedre løsning."

Jeg tror at størstedelen af IT-branchen og militærindustrien er ret uenig i den betragtning.

6
16. oktober 2016 kl. 12:43

De taler bla om udfordringer og problemstillinger med maskinlæring.

Jeg tror ikke på, at computere kan løse reelle problemer. De kan sagtens køre bil, fordi det er overskuelige problemstillinger, som de kan kodes til. Og dem der programmerer dem, kan tage ansvaret for det, fordi det er en overskuelig, og begrænset opgave, hvor man overlader tænkningen til "modparten" i trafikken, eller til robotter, der er kodet til at fungere i fællesskab. Selvkørende køretøjer fungerer godt. For man skal bare være klog nok til, at ikke springe direkte ud foran dem.

Prøv at læse lidt op på neurale netværk. Deres reaktioner opnås ved træning hvor man "belønner" og "straffer" netværket for at vælge rigtigt/forkert mod eksempler. Netværkets reaktioner er ikke styret af kode, men af læring. Og du kan aldrig vide med sikkerhed hvordan netværket reagerer når det møder noget som det ikke har prøvet før.

Hvilket også gør dem totalt ubrugelige, til alt andet end lejetøj.

I langt de fleste tilfælde, er bedst at undgå neurale netværk. Og at søge en bedre løsning.

I militære sammenhæng, vil jeg sammenligne maskinlæring med at sætte "Rogue Agents" til at udføre opgaven. Det kan ganske enkelt ikke accepteres, da der ikke er nogen ansvarlige. Neurale netværk, er totalt ubrugelige militært. Ganske enkelt fordi, at ingen kan acceptere ansvarsfralæggelsen der står i produktets disclaimer.

5
16. oktober 2016 kl. 12:31

Algoritmerne 100% defineret i dens kode. Robotter gør, som de kodes til.

. Prøv at læse lidt op på neurale netværk. Deres reaktioner opnås ved træning hvor man "belønner" og "straffer" netværket for at vælge rigtigt/forkert mod eksempler. Netværkets reaktioner er ikke styret af kode, men af læring. Og du kan aldrig vide med sikkerhed hvordan netværket reagerer når det møder noget som det ikke har prøvet før.

3
16. oktober 2016 kl. 12:09

Ikke når der er tale om "maskinlæring"...

Algoritmerne 100% defineret i dens kode. Robotter gør, som de kodes til.

Problemet er, hvis man ikke forstår matematikken bag algoritmerne. Måske er de udviklet til, at ikke kunne forstås af dødelige.

Jeg tror problemet netop er, at forskerne udvikler algoritmer med fascination for det uforståelige, og ikke udvikler selvlærings algoritmer med henblik på, at der kan forstås hvordan de fungerer, og resultatet kan overskues. En sådan selvlæring vil ikke virke avanceret men "dum".

Egentligt tror jeg ikke, at selvlæring er godt i militær sammenhæng. Jeg tror mest på udenadslære (programmering), og at computerne skal gøre, eksakt som de får besked på. Ellers, står man med et ansvarsproblem. Der er en som giver ordre, og som har ansvar. Ikke en maskine, der selvlæres, til at tage det ansvar, som ingen vil have.

1
16. oktober 2016 kl. 11:39

En robot gør det, som den er programmeret til - så enkelt er det.

Hvis man ønsker, at den skal være uforudsigelig, så kan man lægge nogle tilfældigheder ind, og kombinere det, med algoritmer som militæret ikke kan forstå. Måske er det fjenden der i virkeligheden har lavet koden. Ofte, sætter de større resurser af og offentliggør forskningen, for at få andre til at bruge den. Den, som vinder, er dem der har ofret mest på forskningen, og fået andre til at bruge deres forskning.

Ønskes en forudsigelig robot - så er det intet problem. Robotter gør eksakt som de programmeres til. Ofte sættes flere helt uafhængige programmører, og med uafhængige biblioteker, til samme opgave, og deres kode virker helt ens. Er der forskelle, så opdages det når koden kører, og der tages efter den hardware, og de programmer, som svarer ens, mens den der svarer forskelligt kobles ud, og fejlene logges, med henblik på at undersøge og rette softwarefejl. Normalt anvendes køer/streams, så små tidsmæssige forskelle ikke betyder noget, eller bruges eksakt-tids kodning, hvor der er tidsinformationer med i dataene, så de svarer præcist ens - på samme cycle, eller nanosekund.