Skyldig, indtil det modsatte er bevist.

Af Poul-Henning Kamp,  tirsdag 02. mar 2010 kl. 23:52

Inden vi bliver færdige med Toyotas pedaler, vil der blive afdækket mangt og meget, men det fundamentale problem vil sandsynligvis ikke blive rettet.


Den 10 juni 2006 drønede en Toyota Camry op af en motorvejsrampe med et sted imellem 110 og 150 km/h, pløjede ind i en Oldsmobile og dræbte ialt 3 personer.

Føreren har hele tiden påstået at hans bremser ikke virkede, men blev idømt 8 års fængsel "drab med motorkøretøj".

Blandt sagens beviser stikker to ting særligt i øjnene:

1. Han havde sin gravide kone, 4-årige datter, far og bror i bilen og var på vej hjem fra kirke.

2. En lokal mekaniker undersøgte bilens bremser og vidnede at han ikke kunne finde nogen problemer med dem. En expert betalt af forsikringen nåede samme konklusion.

(Læs flere detaljer hos Huffington Post.)

Vi får nok aldrig sikkerhed for, om bilen var defekt, eller om en urutineret billist febrilsk trampede sømmet i bund istedet for bremsen.

Det jeg synes er interessant ved den historie, er at retten fandt det tilstrækkeligt at lade to tilfældige kanutter, der ikke engang har adgang til kildeteksten, afgøre om bilen gjorde noget dumt.


Salig Jens Martin Knudsen sagde i en af vores forelæsninger, at termodynamikken var den eneste uretfærdige del af fysikken:

Statistisk, sagde han, var det muligt at fylde en keddel med koldt vand fra brønden, stille den på det rødglødene komfur og se vandet fryse til en klump is.

Folk glemmer altid, at termodynamikken er baseret på sandsynligheder.

Newtons love siger ikke "sandsynligvis falder æblet til jorden", men temodynamikken siger "sandsynligvis bliver vandet varmere."

Og netop fordi sandsynligheden er "en mod næsten uendelig", er der ikke en kæft der tror på den stakkels lille bedstemor, for hvem kedlen, helt i pagt med termodynamikken, frøs til is.


Computere er uretfærdige på samme vis:

Når vi underskriver med en digital signatur, er det kun et sandsynlighedsbevis der føres, der er en forsvindende sandsynlighed, typisk i størrelsesordenen 1:10^80, for at beviset ikke holder.

Det er temmelig lange odds, men de er stadig odds og ikke et bevis[1].

(Til sammenligning er der ca. 1:3125 sandsynlighed for at din nøgle også passer til naboens dør.)

Når vi validerer og tester computerprogrammer der har med virkeligheden at gøre, kan vi også kun føre sandsynlighedsbeviser for at de ikke indeholder fejl.

Verden er plasteret til med veltestede programmer som, hvis de blev brugt på en helt bestemt måde, gjorde noget helt forkert.

Slog patienten ihjel, istedet for at behandle hans kræftsvulst f.eks.

Eller min favorit: forhindrer rumfærgen i at lette, til trods for at netop software til rumfærgerne er noget af det mest gennemtestede kode der er skrevet, nogensinde.


Steve Wozniak, manden der byggede Apple computerer, sammen med Steve Jobs, afveg fra teksten til en konference og fortalte publikum:

Citat:

"I don't get upset and teed off at things in life, except computers that don't work right," Then he said he had been trying to get through to Toyota and the National Highway Transportation Safety Administration (NHTSA) for three months, but could not get anyone to explore an alleged software-related acceleration problem: "This new [Prius] has an accelerator that goes wild, but only under certain conditions of cruise control. And I can repeat it over and over and over again–safely."


Når en computergud som The Woz[2] påstår at han kan reproducere et softwareproblem med en bestemt bil og hverken fabrikant eller myndigheder tager ham alvorligt, endsige på ordet, så er vores syn på computere helt, HELT i skoven.

Der er simpelthen brug for en klokkeklar ny regel i retsplejen:

Citat:
I enhver retssag skal involverede computere opfattes som defekte, indtil det modsatte er bevist. Føres dette bevis som sandsynlighedsbevis, må sandsynligheden aldrig vurderes lavere end 1:1000.


For I ved da godt, alle i almindelige mennesker, at vi computernørder er pavestolte, hvis der kun er én fejl per tusinde linier kode, når vi er færdige med at teste, ikke ?

phk

[1] Held og lykke med at overbevise byretten, hvis du trækker det korte strå. Du skal nok ikke vente nogen hjælp eller forståelse fra banken, PBS eller Visa.

[2] I'm not worthy! I'm not worthy!



03. mar 2010 kl 14:17

Svend Ferdinandsen

At blive hørt

Det ser heldigvis ud til at arrogancen og selvtilfredsheden i sådanne store og måske også succesfulde firmaer er ved at komme ned på jorden.
Det minder lidt om når man indleverer bilen til reparation og prøver at beskrive fejlen og måske gætte på stedet den er. Ja, ja, siger de og skifter noget der ikke afhjælper fejlen. -Sådan en amatør skal ikke komme her og fortælle mig hvor fejlen er.
Sådanne rapporteringer forsvinder undervejs til dem der bør sætte noget i værk, eller de bliver så forvanskede undervejs at de afvises.
Min forrige Berlingo startede jævnligt advarsel for airbag ved at blinke med en lampe. I instruksionsbogen stod at den skulle lyse konstant ved fejl. De lavede alle mulige krumspring for at rette det, men det hjalp selvfølgelig ikke. Det eneste rigtige havde sikkert være at rette i noget SW, enten kode eller limits.
Mit gasfyr fra Baxi (Europas største), hvor de hellere vil ændre på hele mit anlæg end at rette en parameter i styringen, som jeg heldigvis selv fandt og ændrede.
OSV OSV.


03. mar 2010 kl 15:32

Eivind Triel

Re: At blive hørt

Hej PHK

Jeg kan i grundet godt lide NASA's tanke omkring redundans i den primære computer samtidig har man lige en designmæssige fuldstændig anderledes hardware/software som "sutter" på de samme imput data. "HEY boys - hvis alt andet svigter så skift til Apple" ;-)

En anden ting. Det kan i grunden undre at Arbejdstilsynet (og tilsvarende udenlanske instanser) ikke stiller krav omkring installation af en nødafbryder i de (nu meget automatiserede) biler som bruges i forbindelse med arbejde.

... og en sidste ting: Hvor sikker skal man være før man sætter sig ind i en bil, der ikke længere har mekanisk/hydraulisk forbindelse mellem bremsepedalen og bremsebakkerne..... tak for kaffe.

-Eivind


03. mar 2010 kl 15:51

Niels Dybdahl

Beviser

Beviser findes kun i retssager og matematikken. De findes ikke i den virkelige verden.


04. mar 2010 kl 03:09

Gert Bo Thorgersen

Re: Beviser

Nu bliver der endog nævnt NASA og der har vi jo da Feynman gik i dybden med undersøgelsen af hvorfor raketten under opsendelsen gik i stykker og de 8 astronauter dræbt. Og mod det ønskede kom Feynman jo med årsagen.

Og fra atombombe konstruktionen er han jo kendt for "Surerly You're joking Mr. Feynman!"

So han ville jo have været egnet til at kigge på Toyota problemet.


04. mar 2010 kl 16:15

Ulrik Suhr

Re: Re: Beviser

Er det ikke nærmere at store firmaer. Altid nægter alt da der ingen konsekvens er for dem?


05. mar 2010 kl 09:27

Tyge Vind

Computere er uretfærdige


Tak PHloggen for et betydningsfuldt indlæg om en måske ubekvem sandhed.

Jeg har tidligere omtalt dette og skrevet, at computere arbejdede med usikkerhed, men det er nok en fordel at skelne mellem den statstiske usikkerhed og dette ubehagelige fænomen, som vi med PH kan kalde uretfærdig.

Klassiske ulykker som overbelastede tage og trykbeholdere som sprænges, kan vi nogenlunde overblikke, og modvirke f. eks. med fail safe løsninger.

Men som PH skriver:
"vi computernørder er pavestolte, hvis der kun er én fejl per tusinde linier kode, når vi er færdige med at teste, ikke ?"

I turbinesikkerheden betyder det, at man ikke vil fail safe koble stopsignaler fra computere. Det vil give for mange driftafbrud!
Det samme gælder sikkert både for biler og jernbaner, og det er faktiskt meget alvorligt nu, når man til og med bruger en computer i telefoner.

En fejl (bug?) må ikke resultere i driftsafbrud, hverken i samtaler eller rejser.

Inden hele vidden af dette gik op for mig, troede jeg, at det kun var "Open Source udviklere", der arbejdede som jeg, når jeg skriver: uden garanti, men det er altså det normale i computerverden.

Løsninger må være en udfordring til alle nørder, hilser Tyge



05. mar 2010 kl 10:45

Sven Nielsen

Re: Re: Beviser

Nu bliver der endog nævnt NASA og der har vi jo da Feynman gik i dybden med undersøgelsen af hvorfor raketten under opsendelsen gik i stykker og de 8 astronauter dræbt. Og mod det ønskede kom Feynman jo med årsagen.

Hvilke 8 dræbte astronauter? Når jeg tæller (Scobee, Smith, Onizuka, Resnik, McNair, McAuliffe og Jarvis) kommer jeg kun til 7. Hvem var den ottende, som ifølge din påstand blev dræbt? Kan du oplyse os om det?


06. mar 2010 kl 20:41

Lars Christoffersen

ESA kan også lave fejl

Her er rapporten om Adriane 5 første mislykkede opsendelse:
http://www.di.unito.it/~damian...html

Se under pkt. 3.1. Genbrug af et softeware modul fra Adriane 4, med lidt kode er ikke skulle bruges, men af "sikkerhedsgrunde" ikke blev fjernet (man ville ikke omprogrammere det af frygt for at introducere nye fejl) blev fatalt for opsendelsen. Havde det været korrekt programmeret fra starten af, så.........


06. mar 2010 kl 23:14

Jens Madsen

Re: ESA kan også lave fejl

I turbinesikkerheden betyder det, at man ikke vil fail safe koble stopsignaler fra computere. Det vil give for mange driftafbrud!

Så er der noget galt.

Redundante systemer, og automatisk fejlrettende systemer, burde give færre driftsbrud, og i nogle tilfælde minimere den tid, et system er ude af drift.

Ofte er der god grund til, når et system lukker ned, og det vil være langt dyere at bare fortsætte, da det ofte medfører at fejlen forværres, og måske endog resulterer i en kædereaktion, så dele der er gået i stykker, medfører andre dele går i stykker, og at katastrofen forværres. I værste tilfælde, kan store kraftmaskiner explodere, og medføre store skader på både bygninger, andet udstyr og mennesker.

Det samme gælder sikkert både for biler og jernbaner, og det er faktiskt meget alvorligt nu, når man til og med bruger en computer i telefoner.

Tror nok, at det er et lovkrav både indenfor jernbaner og biler. Mindre vigtige dele, er måske ikke fail-safe.


Ny i debatten? Opret en brugerkonto

  • Seneste nyt
  • Mest læste
  • Debatterede
 

Nyhedsbrev

Tilmeld dig vores nyhedsbrev.