close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
Ved at tilmelde dig accepterer du vores Brugerbetingelser, og at Mediehuset Ingeniøren og IDA-gruppen lejlighedsvis kan kontakte dig om arrangementer, analyser, nyheder, tilbud mm via telefon, SMS og email. I nyhedsbreve og mails fra Mediehuset Ingeniøren kan findes markedsføring fra samarbejdspartnere.
andre skriver

Uber: Nødopbremsning var slået fra før fatal påkørsel

Illustration: Screenshot, Tempe Police, Uber

En selvkørende bil fra Uber påkørte og dræbte i marts en 49-årig kvinde ved navn Elaine Herzberg i Arizona. Ny rapport fra USA's National Transport Safety Board viser, at nødopbremsningen var slået fra som en del af designet.

OGSÅ VÆRD AT LÆSE
via Politiken 17. aug 2018 07:35
Trump vs. Erdogan: Handelskrig forsinker F-35
via Global Construction Review 16. aug 2018 22:38 14
Sydkoreansk højhastighedsjernbane til 1,7 mia. kr. udkonkurreret af busser

Så alt i alt:

Bilens så cyklen 6 sekunder inden kollisionen men identificerede den ikke korrekt før omkring 1 sekund inden kollision, hvor den konkluderede at en nødopbremsning var nødvendig.

Den funktion var slået fra fordi det ville føre til at bilen hele tiden bremsede ned (med andre ord - de algoritmer/udstyr UBER har lige nu er hamrende upålideligt).

Men her detekterede systemet jo faktisk at en opbremsning var nødvendig, men systemet var så ikke sat op til at gøre føreren opmærksom på dette.

UBER mener at føreren skal reagere i nødstilfælde, men føreren var her distraheret fordi hun var i gang med at rapportere status på kørslen på en tablet efter forskrift fra UBER.

Konklusion:?

  • 16
  • 0

Måske er jeg mistroisk generelt. Men hvis deres "nødbremse" altid var slået fra, ville der så ikke være sket væsentligt flere små-uheld?

De bilder os jo ind, at hvis de "bare lige" slår nødbremsen til igen, så er alt godt. Pyh, det var da også en dum lille fejl.

  • 5
  • 0

Her er lige den substantielle del

According to data obtained from the self-driving system, the system first registered radar and LIDAR observations of the pedestrian about 6 seconds before impact, when the vehicle was traveling at 43 mph. As the vehicle and pedestrian paths converged, the self-driving system software classified the pedestrian as an unknown object, as a vehicle, and then as a bicycle with varying expectations of future travel path. At 1.3 seconds before impact, the self-driving system determined that an emergency braking maneuver was needed to mitigate a collision (see figure 2). According to Uber, emergency braking maneuvers are not enabled while the vehicle is under computer control, to reduce the potential for erratic vehicle behavior. The vehicle operator is relied on to intervene and take action. The system is not designed to alert the operator.

https://www.ntsb.gov/investigations/Accide...

  • 9
  • 0

Så hvis menneskene bag (Uber) nu i stedet for havde betroet bilen selv at tage aktion i nødstilfælde, frem for at overlade det til kontrolløren i bilen, så havde dødsulykken måske været undgået (omend kollision måske ikke kunne være undgået).

Med 1.3 sekunder til bremsning kunne hastigheden være bragt betydeligt ned.

Jeg ville mene at man i hvert fald kan konkludere én ting: Man skal ikke slå sikkerhedssystemer fra i selvkørende biler.

Derudover synes jeg måske algoritmen burde have taget højde for at der var et objekt tæt på kørselslinjen, og have sænket farten allerede 6 sekunder inden, uagtet objektets bevægelsesretning og kategori.

Men jeg vil mene at selve ansvaret for ulykken ligger hos Uber, som havde slået et sikkerhedssystem fra.

  • 3
  • 0

Men jeg vil mene at selve ansvaret for ulykken ligger hos Uber, som havde


Dét mener jeg ikke man kan sige så simpelt. For det første har du som fodgænger også et ansvar for at sikre fri bane færre du krydser vejen. Det betyder selvfølgelig ikke bilisten har "påkørselsret", men forgængeren har altså også selv er ansvar.
For det andet er det for nemt at sige de bare skulle have slået sikkerhedssystemet til. Det står næsten direkte at systemet har for mange falske positive. Man må ikke bremse unødigt og det er der en god grund til. Det kan fremprovokere farlige situationer. Så hvis systemet havde været slået til kunne det være det havde forårsaget ulykker andre steder.

Når Über slår systemet fra har de selvsagt er ansvar for at oplyse føreren om hvilket agtpågivenhed der påhviler han/hende. Har de det? Hvor tydeligt?

Det er også er menneskeligt træk at slække på opmærksomheden når "der alligevel ikke sker noget". Er førerne blevet advaret om det?

Det er lidt som at høre våbentosserne fra NRA argumentere at våben i hænderne på private er godt fordi angrebet på Bataclan ville have set helt anderledes ud. Og jo, de har ret. De udelader bare alt det uønskede der følger med.

Du er nødt til at have hele billedet med.

  • 1
  • 1

For det andet er det for nemt at sige de bare skulle have slået sikkerhedssystemet til. Det står næsten direkte at systemet har for mange falske positive. Man må ikke bremse unødigt og det er der en god grund til. Det kan fremprovokere farlige situationer. Så hvis systemet havde været slået til kunne det være det havde forårsaget ulykker andre steder.

Vi taler om samme sikkerhedssystemer som er aktive når en menneskelig fører kører bilen. Der bremser sikkerhedssystemet ikke unødigt eller laver farlige situationer. Hvorfor skulle det så være anderledes hvis det er en AI der kører?

Herfra ligner det godt design at have uafhængige systemer der kan gribe ind, hvis det primære system ser ud til at have lavet fejl. Præcis ligesom det ville gøre ved manuel kørsel.

  • 1
  • 2

Vi taler om samme sikkerhedssystemer som er aktive når en menneskelig fører kører bilen.


Helt det samme? Hvor kommer vendingen "erratic driving" så fra? I så fald ville en standard Volvo så også udvise "erratic driving". Der kan være mange årsager. Det kan også være at Uber bare forsøger sig med en tåbelig undskyldning. Det er derfor det tager så lang tid at undersøge. Det er så uendelig simpelt at side i en sofa og fortælle hvad alle andre burde gøre på et skrøbeligt grundlag. Men det bliver man ikke ekspert af - eller værd at høre på.

  • 2
  • 2

Helt det samme?

Ja! De slog det system som Volvo leverer med bilen fra. Hvis bilens indbyggede system havde været aktivt, så var der blevet bremset inden sammenstødet.

Ja vi ved ikke præcist hvorfor de slog det fra - de nævner selv det med "erratic driving" men det lyder som en ret hul undskyldning. Det vil som sagt ikke give mere erratic driving end når det er et menneske systemet overvåger. Derudover er det et menneske der har ansvaret for kørslen, men nu uden sikkerhedssystemer aktivt - det burde være kriminelt.

Mere sandsynligt så slog de det fra fordi de skulle genbruge sensorere eller interfaces til deres AI styring. Altså et simpelt spørgsmål om at spare tid og penge. Og det har kostet menneskeliv.

  • 7
  • 0

Det kræver en helt særlig form for arrogance at lave Defect Driven Development i produktionen.

Ud fra rapporten kan man læse at de kører den samme tur igen og igen, i håb om at der sker en fejl de kan lære noget af. Rette koden, og køre turen igen,...

  • 3
  • 0

Når Über slår systemet fra har de selvsagt er ansvar for at oplyse føreren om hvilket agtpågivenhed der påhviler han/hende. Har de det? Hvor tydeligt?


Det er ikke kun et spørgsmål om, hvor meget man har oplyst føreren.

Hvis man har pålagt føreren rapporteringsopgaver under kørslen, har man som firma taget stilling til, at føreren ikke behøver fungere som fører.

Hvis firmaet samtidigt ved, at bilen ikke er egnet til at føre sig selv, er den jo fuldstændigt gal, uanset hvor meget føreren er blevet oplyst.

  • 4
  • 0

Og må jeg så be om kammertonen.

Det er sandelig kammertonen du har fået. Det kan sagtens være Uber har gjort sig skyldig. Det kan være føreren er skyldig. Jeg aner det ikke. Det kan jeg ikke afgøre baseret på det der har været fremme i medierne. Måske er der mere i rapporten. Aner det ikke!

Før jeg danner mig en mening om det har jeg brug for fakta og ikke gætværk. Det er også sådan videnskab fungerer: Man gætter, så undersøger man objektivt, så konkluderer man.

  • 1
  • 7

Hvis man har pålagt føreren rapporteringsopgaver under kørslen, har man som firma taget stilling til, at føreren ikke behøver fungere som fører.

Njaa.... det er selvfølgelig en del af ligningen. Lovgivningen i USA er nogle gange lidt... anderledes en i Europa, men jeg føler mg overbevist om at det stadig må være sådan at når du sætter dig bag rattet har du ansvar for din kørsel. Hvilket instrukser der er givet, også mht. rapporterering, er helt sikkert en del af de undersøgelser der pågår.

  • 0
  • 3

Det er gæt på hvorfor de slog det fra, men det er ubestridt at det kostede et menneskeliv. De bør stilles til ansvar herfor.


De slår Volvos systemer fra for at lave egne systemer som kan bruges i andre typer biler(min logiske konklusion). De kører testkørsler MED chauffør som er instrueret i at gribe ind (i følge rapporten), selvfølgelig for at finde fejl i softwaren - softwaren skal fejle for at forbedre systemet. I mine øjne kan Uber højst klandres for ikke at have instrueret testdriveren godt nok - konceptet er i mine øjne ok. Og ja, rapporten er letlæst. Der står ingen steder, at chaufføren skal lave rapporter undervejs.

  • 1
  • 1

"Tagging", er at identificere og notere forskellige data eller dele af en programkode ud fra hvilken type de er, så man senere kan finde dem igen i programmet og/eller output. Det kræver at der er nogle valgmuligheder, som skal noteres manuelt (usandsynligt) eller krydses af, fx i et skema på en ipad. Den er man så nødt til at kigge på og dermed kigge væk fra vejen. På videoen ser det ud som om, det var det der skete. Dette må vel være pointen.

Tagging er ikke det samme som rapportering, hvilket Allan heller ikke ikke har påstået, men det er selvfølgelig, som han siger, en rapporteringsopgave der er nødvendig, for at senere at kunne lave en rapport. Altså ikke "bare at trykke på en knap".

Det svarer til at tekste gentagne gange, mens man kører og tagging var en del af førerens instruks i følge Uber. Dermed har de dømt sig selv.

  • 0
  • 3

". In addition, the operator is responsible for monitoring diagnostic messages that appear on an interface in the center stack of the vehicle dash and tagging events of interest for subsequent review."

Det strider vel mod "Kør bil når du kører bil".

Ud fra beskrivelsen kan man måske udlede, at føreren nu også er pålagt at holde øje med en skærm midt i bilen, og så registrere/tagge hver gang den viser noget af interesse.

Det virker i øvrigt totalt "plim".
Hvis der vises noget på en skærm må det da også ligge i en log i bilens IT-system.
Så hvorfor skal føreren manuelt sidde og fokusere på en skærm på midterkonsollen, forholde sig til hvad der står på denne (interessent eller ej), og så "tagge" når det er sket?

Når jeg kører bil, så kører jeg bil.
Hvis der er noget jeg SKAL forholde mig til lige nu, så lyser en rød lampe i det primære instrumentbræt lige foran mig. Det kan fx være motorhavari.

Alt andet "distraktion" forholder jeg mig ikke til, med mindre jeg selv tager initiativ til det. Det kan f.eks. være når jeg lige er stoppet for et af de røde lys jeg kender godt, hvor jeg ved at der er rødt f.eks. mindst 20 sekunder.
Det er jo ikke bilen der bestemmer over mig, men mig der bestemmer. Jeg bestemmer så, at 99,99% af opmærksomheden er dedikeret til trafikken, for ellers er det farligt for alle.

  • 3
  • 0

"Du gætter, der står intet om ipad eller lignende og din definition af tagging er ikke korrekt."

Hvad er din definition? Tag og tagging kan betyde rigtig mange ting inden for mange områder. Jeg valgte den der har at gøre med programmering, da der er tale om testning af et programs funktionalitet. Mere generelt er betydningen af ordet, at afmærke, registrere, afkrydse, vedhæfte en mærkat (label) og meget andet. Når du trykker på ja eller nej i forbindelse med en brugerundersøgelse, så laver du en "tagging".

Pointen er stadig at føreren blev instrueret i at have opmærksomheden inde i bilen. Og nej, der står ikke noget om en ipad, men et eller andet skulle jo bruges til at notere på, men mindre føreren kun skulle bruge hukommelsen og derfor sad og stirrede koncentreret ned i gulvet.

Grænsen mellem almindelige retoriske tricks og udstilling af dum stædighed kan være svær at finde. Gætter jeg på

  • 0
  • 3

Den er på 3,5 side, letlæst

Så fik jeg læst den og det er korrekt, der er ikke mange detaljer. For mig det centrale i rapporten dette:

According to Uber, the developmental self-driving system relies on an attentive operator to intervene if the system fails to perform appropriately during testing. In addition, the operator is responsible for monitoring diagnostic messages that appear on an interface in the center stack of the vehicle dash and tagging events of interest for subsequent review.

At føreren skal være opmærksom kan næppe komme som en overraskelse, da bilen endnu ikke er certificeret til kørsel uden opsyn. Dernæst er der nogle aktiviteter der tager opmærksomheden væk fra kørslen. Hvor meget kan man ikke sige ud fra rapporten.

Jeg fastholder stadig at det kan forsvares at frakoble antikollisionssystemet i bilen såfremt køreren er opmærksom. Om det har været muligt afhænger af hvor stor en yderligere belastning føreren har været pålagt. F.eks. mener man jo at det er tilstrækkelig sikkert at bruge en GPS hvor man en gang i mellem kaster et blik på skærmen - i den anden ende har vi håndholdte mobiltelefoner og lignende.

  • 0
  • 0

Førerens skyld er irrelevant i forhold til min påstand om firmaets skyld.

Det kan vi sagtens blive enige om. Min påstand er stadig at Ubers skyld afhænger af omfanget af ekstra opgaver, hvilken instrukser der er givet, om operatørerne har udviklet en uheldig kultur, om Uber i så fald var opmærksom herpå eller måske burde have været.... alt det der mangler i den foreløbige rapport. Der kommer vi til at vente på den endelige undersøgelse.

Tror ikke der kan koges mere suppe på den nu.

  • 0
  • 0