En selvkørende bil fra Uber påkørte og dræbte i marts en 49-årig kvinde ved navn Elaine Herzberg i Arizona.
Ny rapport fra USA's National Transport Safety Board viser, at nødopbremsningen var slået fra som en del af designet.
Bilens så cyklen 6 sekunder inden kollisionen men identificerede den ikke korrekt før omkring 1 sekund inden kollision, hvor den konkluderede at en nødopbremsning var nødvendig.
Den funktion var slået fra fordi det ville føre til at bilen hele tiden bremsede ned (med andre ord - de algoritmer/udstyr UBER har lige nu er hamrende upålideligt).
Men her detekterede systemet jo faktisk at en opbremsning var nødvendig, men systemet var så ikke sat op til at gøre føreren opmærksom på dette.
UBER mener at føreren skal reagere i nødstilfælde, men føreren var her distraheret fordi hun var i gang med at rapportere status på kørslen på en tablet efter forskrift fra UBER.
UBER mener at føreren skal reagere i nødstilfælde, men føreren var her distraheret fordi hun var i gang med at rapportere status på kørslen på en tablet efter forskrift fra UBER.
Konklusion:?
Konklusion: Uber mente, at deres testbil kunne køre ægte førerløst. Ellers er der ingen undskyldning for at lade chaufføren passe rapporteringsopgaver under kørslen.
Har man virkelig ikke råd til en chauffør og en rapportør i hver bil?
According to data obtained from the self-driving system, the system first registered radar and LIDAR observations of the pedestrian about 6 seconds before impact, when the vehicle was traveling at 43 mph. As the vehicle and pedestrian paths converged, the self-driving system software classified the pedestrian as an unknown object, as a vehicle, and then as a bicycle with varying expectations of future travel path. At 1.3 seconds before impact, the self-driving system determined that an emergency braking maneuver was needed to mitigate a collision (see figure 2). According to Uber, emergency braking maneuvers are not enabled while the vehicle is under computer control, to reduce the potential for erratic vehicle behavior. The vehicle operator is relied on to intervene and take action. The system is not designed to alert the operator.
Så hvis menneskene bag (Uber) nu i stedet for havde betroet bilen selv at tage aktion i nødstilfælde, frem for at overlade det til kontrolløren i bilen, så havde dødsulykken måske været undgået (omend kollision måske ikke kunne være undgået).
Med 1.3 sekunder til bremsning kunne hastigheden være bragt betydeligt ned.
Jeg ville mene at man i hvert fald kan konkludere én ting: Man skal ikke slå sikkerhedssystemer fra i selvkørende biler.
Derudover synes jeg måske algoritmen burde have taget højde for at der var et objekt tæt på kørselslinjen, og have sænket farten allerede 6 sekunder inden, uagtet objektets bevægelsesretning og kategori.
Men jeg vil mene at selve ansvaret for ulykken ligger hos Uber, som havde slået et sikkerhedssystem fra.
Men jeg vil mene at selve ansvaret for ulykken ligger hos Uber, som havde
Dét mener jeg ikke man kan sige så simpelt. For det første har du som fodgænger også et ansvar for at sikre fri bane færre du krydser vejen. Det betyder selvfølgelig ikke bilisten har "påkørselsret", men forgængeren har altså også selv er ansvar.
For det andet er det for nemt at sige de bare skulle have slået sikkerhedssystemet til. Det står næsten direkte at systemet har for mange falske positive. Man må ikke bremse unødigt og det er der en god grund til. Det kan fremprovokere farlige situationer. Så hvis systemet havde været slået til kunne det være det havde forårsaget ulykker andre steder.
Når Über slår systemet fra har de selvsagt er ansvar for at oplyse føreren om hvilket agtpågivenhed der påhviler han/hende. Har de det? Hvor tydeligt?
Det er også er menneskeligt træk at slække på opmærksomheden når "der alligevel ikke sker noget". Er førerne blevet advaret om det?
Det er lidt som at høre våbentosserne fra NRA argumentere at våben i hænderne på private er godt fordi angrebet på Bataclan ville have set helt anderledes ud. Og jo, de har ret. De udelader bare alt det uønskede der følger med.
Man kan så mene at de slet ikke er klar til almindelig trafikerede veje endnu!
Det kan de da sagtens være. Det drejer sig om at føreren skal være klar over at han/hun pine-død skal være fuldstændig klar over han/hun har ansvaret for at bremse som under manuel kørsel - også selv om systemet måske tilsyneladende gør det selv hver gang.
For det andet er det for nemt at sige de bare skulle have slået sikkerhedssystemet til. Det står næsten direkte at systemet har for mange falske positive. Man må ikke bremse unødigt og det er der en god grund til. Det kan fremprovokere farlige situationer. Så hvis systemet havde været slået til kunne det være det havde forårsaget ulykker andre steder.
Vi taler om samme sikkerhedssystemer som er aktive når en menneskelig fører kører bilen. Der bremser sikkerhedssystemet ikke unødigt eller laver farlige situationer. Hvorfor skulle det så være anderledes hvis det er en AI der kører?
Herfra ligner det godt design at have uafhængige systemer der kan gribe ind, hvis det primære system ser ud til at have lavet fejl. Præcis ligesom det ville gøre ved manuel kørsel.
Vi taler om samme sikkerhedssystemer som er aktive når en menneskelig fører kører bilen.
Helt det samme? Hvor kommer vendingen "erratic driving" så fra? I så fald ville en standard Volvo så også udvise "erratic driving". Der kan være mange årsager. Det kan også være at Uber bare forsøger sig med en tåbelig undskyldning. Det er derfor det tager så lang tid at undersøge. Det er så uendelig simpelt at side i en sofa og fortælle hvad alle andre burde gøre på et skrøbeligt grundlag. Men det bliver man ikke ekspert af - eller værd at høre på.
Ja! De slog det system som Volvo leverer med bilen fra. Hvis bilens indbyggede system havde været aktivt, så var der blevet bremset inden sammenstødet.
Ja vi ved ikke præcist hvorfor de slog det fra - de nævner selv det med "erratic driving" men det lyder som en ret hul undskyldning. Det vil som sagt ikke give mere erratic driving end når det er et menneske systemet overvåger. Derudover er det et menneske der har ansvaret for kørslen, men nu uden sikkerhedssystemer aktivt - det burde være kriminelt.
Mere sandsynligt så slog de det fra fordi de skulle genbruge sensorere eller interfaces til deres AI styring. Altså et simpelt spørgsmål om at spare tid og penge. Og det har kostet menneskeliv.
Mere sandsynligt så slog de det fra fordi de skulle genbruge sensorere eller interfaces til deres AI styring. Altså et simpelt spørgsmål om at spare tid og penge. Og det har kostet menneskeliv.
Det er spekulationer og gætværk. Youtube, måske ekstrabladet, er det rette forum.
Det kræver en helt særlig form for arrogance at lave Defect Driven Development i produktionen.
Ud fra rapporten kan man læse at de kører den samme tur igen og igen, i håb om at der sker en fejl de kan lære noget af. Rette koden, og køre turen igen,...
Det er sandelig kammertonen du har fået. Det kan sagtens være Uber har gjort sig skyldig. Det kan være føreren er skyldig. Jeg aner det ikke. Det kan jeg ikke afgøre baseret på det der har været fremme i medierne. Måske er der mere i rapporten. Aner det ikke!
Før jeg danner mig en mening om det har jeg brug for fakta og ikke gætværk. Det er også sådan videnskab fungerer: Man gætter, så undersøger man objektivt, så konkluderer man.
Hvis man har pålagt føreren rapporteringsopgaver under kørslen, har man som firma taget stilling til, at føreren ikke behøver fungere som fører.
Njaa.... det er selvfølgelig en del af ligningen. Lovgivningen i USA er nogle gange lidt... anderledes en i Europa, men jeg føler mg overbevist om at det stadig må være sådan at når du sætter dig bag rattet har du ansvar for din kørsel. Hvilket instrukser der er givet, også mht. rapporterering, er helt sikkert en del af de undersøgelser der pågår.
Det er gæt på hvorfor de slog det fra, men det er ubestridt at det kostede et menneskeliv. De bør stilles til ansvar herfor.
De slår Volvos systemer fra for at lave egne systemer som kan bruges i andre typer biler(min logiske konklusion). De kører testkørsler MED chauffør som er instrueret i at gribe ind (i følge rapporten), selvfølgelig for at finde fejl i softwaren - softwaren skal fejle for at forbedre systemet. I mine øjne kan Uber højst klandres for ikke at have instrueret testdriveren godt nok - konceptet er i mine øjne ok. Og ja, rapporten er letlæst. Der står ingen steder, at chaufføren skal lave rapporter undervejs.
Der står ingen steder, at chaufføren skal lave rapporter undervejs.
". In addition, the operator is responsible for monitoring diagnostic messages that appear on an interface in the center stack of the vehicle dash and tagging events of interest for subsequent review."
". In addition, the operator is responsible for monitoring diagnostic messages that appear on an interface in the center stack of the vehicle dash and tagging events of interest for subsequent review."
Tagging er vel ikke det samme som rapportering, det betyder vel bare at trykke på en knap.
"Tagging", er at identificere og notere forskellige data eller dele af en programkode ud fra hvilken type de er, så man senere kan finde dem igen i programmet og/eller output. Det kræver at der er nogle valgmuligheder, som skal noteres manuelt (usandsynligt) eller krydses af, fx i et skema på en ipad. Den er man så nødt til at kigge på og dermed kigge væk fra vejen. På videoen ser det ud som om, det var det der skete. Dette må vel være pointen.
Tagging er ikke det samme som rapportering, hvilket Allan heller ikke ikke har påstået, men det er selvfølgelig, som han siger, en rapporteringsopgave der er nødvendig, for at senere at kunne lave en rapport. Altså ikke "bare at trykke på en knap".
Det svarer til at tekste gentagne gange, mens man kører og tagging var en del af førerens instruks i følge Uber. Dermed har de dømt sig selv.
"Du gætter, der står intet om ipad eller lignende og din definition af tagging er ikke korrekt."
Hvad er din definition? Tag og tagging kan betyde rigtig mange ting inden for mange områder. Jeg valgte den der har at gøre med programmering, da der er tale om testning af et programs funktionalitet. Mere generelt er betydningen af ordet, at afmærke, registrere, afkrydse, vedhæfte en mærkat (label) og meget andet. Når du trykker på ja eller nej i forbindelse med en brugerundersøgelse, så laver du en "tagging".
Pointen er stadig at føreren blev instrueret i at have opmærksomheden inde i bilen. Og nej, der står ikke noget om en ipad, men et eller andet skulle jo bruges til at notere på, men mindre føreren kun skulle bruge hukommelsen og derfor sad og stirrede koncentreret ned i gulvet.
Grænsen mellem almindelige retoriske tricks og udstilling af dum stædighed kan være svær at finde. Gætter jeg på
Så fik jeg læst den og det er korrekt, der er ikke mange detaljer. For mig det centrale i rapporten dette:
According to Uber, the developmental self-driving system relies on an attentive operator to intervene if the system fails to perform appropriately during testing. In addition, the operator is responsible for monitoring diagnostic messages that appear on an interface in the center stack of the vehicle dash and tagging events of interest for subsequent review.
At føreren skal være opmærksom kan næppe komme som en overraskelse, da bilen endnu ikke er certificeret til kørsel uden opsyn. Dernæst er der nogle aktiviteter der tager opmærksomheden væk fra kørslen. Hvor meget kan man ikke sige ud fra rapporten.
Jeg fastholder stadig at det kan forsvares at frakoble antikollisionssystemet i bilen såfremt køreren er opmærksom. Om det har været muligt afhænger af hvor stor en yderligere belastning føreren har været pålagt. F.eks. mener man jo at det er tilstrækkelig sikkert at bruge en GPS hvor man en gang i mellem kaster et blik på skærmen - i den anden ende har vi håndholdte mobiltelefoner og lignende.
Njaa.... det er selvfølgelig en del af ligningen. Lovgivningen i USA er nogle gange lidt... anderledes en i Europa, men jeg føler mg overbevist om at det stadig må være sådan at når du sætter dig bag rattet har du ansvar for din kørsel. Hvilket instrukser der er givet, også mht. rapporterering, er helt sikkert en del af de undersøgelser der pågår.
Førerens skyld er irrelevant i forhold til min påstand om firmaets skyld.
Altså medmindre man lever i en alternativ virkelighed, hvor der altid er præcis 1 part, der har skyld.
Førerens skyld er irrelevant i forhold til min påstand om firmaets skyld.
Det kan vi sagtens blive enige om. Min påstand er stadig at Ubers skyld afhænger af omfanget af ekstra opgaver, hvilken instrukser der er givet, om operatørerne har udviklet en uheldig kultur, om Uber i så fald var opmærksom herpå eller måske burde have været.... alt det der mangler i den foreløbige rapport. Der kommer vi til at vente på den endelige undersøgelse.
Så alt i alt:
Bilens så cyklen 6 sekunder inden kollisionen men identificerede den ikke korrekt før omkring 1 sekund inden kollision, hvor den konkluderede at en nødopbremsning var nødvendig.
Den funktion var slået fra fordi det ville føre til at bilen hele tiden bremsede ned (med andre ord - de algoritmer/udstyr UBER har lige nu er hamrende upålideligt).
Men her detekterede systemet jo faktisk at en opbremsning var nødvendig, men systemet var så ikke sat op til at gøre føreren opmærksom på dette.
UBER mener at føreren skal reagere i nødstilfælde, men føreren var her distraheret fordi hun var i gang med at rapportere status på kørslen på en tablet efter forskrift fra UBER.
Konklusion:?
Måske er jeg mistroisk generelt. Men hvis deres "nødbremse" altid var slået fra, ville der så ikke være sket væsentligt flere små-uheld?
De bilder os jo ind, at hvis de "bare lige" slår nødbremsen til igen, så er alt godt. Pyh, det var da også en dum lille fejl.
Konklusion: Uber mente, at deres testbil kunne køre ægte førerløst. Ellers er der ingen undskyldning for at lade chaufføren passe rapporteringsopgaver under kørslen.
Har man virkelig ikke råd til en chauffør og en rapportør i hver bil?
Her er lige den substantielle del
https://www.ntsb.gov/investigations/Accide...
Det havde man i starten. Men man har så åbenbart sparet det væk.
Så hvis menneskene bag (Uber) nu i stedet for havde betroet bilen selv at tage aktion i nødstilfælde, frem for at overlade det til kontrolløren i bilen, så havde dødsulykken måske været undgået (omend kollision måske ikke kunne være undgået).
Med 1.3 sekunder til bremsning kunne hastigheden være bragt betydeligt ned.
Jeg ville mene at man i hvert fald kan konkludere én ting: Man skal ikke slå sikkerhedssystemer fra i selvkørende biler.
Derudover synes jeg måske algoritmen burde have taget højde for at der var et objekt tæt på kørselslinjen, og have sænket farten allerede 6 sekunder inden, uagtet objektets bevægelsesretning og kategori.
Men jeg vil mene at selve ansvaret for ulykken ligger hos Uber, som havde slået et sikkerhedssystem fra.
Så når man skal kontrollere om det virker, så slår man det der skal virke fra for at kunne monitorere det?
Dét mener jeg ikke man kan sige så simpelt. For det første har du som fodgænger også et ansvar for at sikre fri bane færre du krydser vejen. Det betyder selvfølgelig ikke bilisten har "påkørselsret", men forgængeren har altså også selv er ansvar. For det andet er det for nemt at sige de bare skulle have slået sikkerhedssystemet til. Det står næsten direkte at systemet har for mange falske positive. Man må ikke bremse unødigt og det er der en god grund til. Det kan fremprovokere farlige situationer. Så hvis systemet havde været slået til kunne det være det havde forårsaget ulykker andre steder.
Når Über slår systemet fra har de selvsagt er ansvar for at oplyse føreren om hvilket agtpågivenhed der påhviler han/hende. Har de det? Hvor tydeligt?
Det er også er menneskeligt træk at slække på opmærksomheden når "der alligevel ikke sker noget". Er førerne blevet advaret om det?
Det er lidt som at høre våbentosserne fra NRA argumentere at våben i hænderne på private er godt fordi angrebet på Bataclan ville have set helt anderledes ud. Og jo, de har ret. De udelader bare alt det uønskede der følger med.
Du er nødt til at have hele billedet med.
Man kan så mene at de slet ikke er klar til almindelig trafikerede veje endnu!
Det kan de da sagtens være. Det drejer sig om at føreren skal være klar over at han/hun pine-død skal være fuldstændig klar over han/hun har ansvaret for at bremse som under manuel kørsel - også selv om systemet måske tilsyneladende gør det selv hver gang.
Vi taler om samme sikkerhedssystemer som er aktive når en menneskelig fører kører bilen. Der bremser sikkerhedssystemet ikke unødigt eller laver farlige situationer. Hvorfor skulle det så være anderledes hvis det er en AI der kører?
Herfra ligner det godt design at have uafhængige systemer der kan gribe ind, hvis det primære system ser ud til at have lavet fejl. Præcis ligesom det ville gøre ved manuel kørsel.
Helt det samme? Hvor kommer vendingen "erratic driving" så fra? I så fald ville en standard Volvo så også udvise "erratic driving". Der kan være mange årsager. Det kan også være at Uber bare forsøger sig med en tåbelig undskyldning. Det er derfor det tager så lang tid at undersøge. Det er så uendelig simpelt at side i en sofa og fortælle hvad alle andre burde gøre på et skrøbeligt grundlag. Men det bliver man ikke ekspert af - eller værd at høre på.
Ja! De slog det system som Volvo leverer med bilen fra. Hvis bilens indbyggede system havde været aktivt, så var der blevet bremset inden sammenstødet.
Ja vi ved ikke præcist hvorfor de slog det fra - de nævner selv det med "erratic driving" men det lyder som en ret hul undskyldning. Det vil som sagt ikke give mere erratic driving end når det er et menneske systemet overvåger. Derudover er det et menneske der har ansvaret for kørslen, men nu uden sikkerhedssystemer aktivt - det burde være kriminelt.
Mere sandsynligt så slog de det fra fordi de skulle genbruge sensorere eller interfaces til deres AI styring. Altså et simpelt spørgsmål om at spare tid og penge. Og det har kostet menneskeliv.
Det er spekulationer og gætværk. Youtube, måske ekstrabladet, er det rette forum.
Det kræver en helt særlig form for arrogance at lave Defect Driven Development i produktionen.
Ud fra rapporten kan man læse at de kører den samme tur igen og igen, i håb om at der sker en fejl de kan lære noget af. Rette koden, og køre turen igen,...
Det er gæt på hvorfor de slog det fra, men det er ubestridt at det kostede et menneskeliv. De bør stilles til ansvar herfor.
Og må jeg så be om kammertonen. Hvis du ikke har noget at bidrage med bør du måske bare tie.
Det er ikke kun et spørgsmål om, hvor meget man har oplyst føreren.
Hvis man har pålagt føreren rapporteringsopgaver under kørslen, har man som firma taget stilling til, at føreren ikke behøver fungere som fører.
Hvis firmaet samtidigt ved, at bilen ikke er egnet til at føre sig selv, er den jo fuldstændigt gal, uanset hvor meget føreren er blevet oplyst.
Det er sandelig kammertonen du har fået. Det kan sagtens være Uber har gjort sig skyldig. Det kan være føreren er skyldig. Jeg aner det ikke. Det kan jeg ikke afgøre baseret på det der har været fremme i medierne. Måske er der mere i rapporten. Aner det ikke!
Før jeg danner mig en mening om det har jeg brug for fakta og ikke gætværk. Det er også sådan videnskab fungerer: Man gætter, så undersøger man objektivt, så konkluderer man.
Njaa.... det er selvfølgelig en del af ligningen. Lovgivningen i USA er nogle gange lidt... anderledes en i Europa, men jeg føler mg overbevist om at det stadig må være sådan at når du sætter dig bag rattet har du ansvar for din kørsel. Hvilket instrukser der er givet, også mht. rapporterering, er helt sikkert en del af de undersøgelser der pågår.
Jeg vil gerne opfordre til at kigge i den: Den er på 3,5 side, letlæst, og jeg postede et direkte link ovenfor. Men der er ikke mange detaljer endnu.
Mit indtryk fra at have læst den er at det var et spørgsmål om tid før det gik galt. Der var ikke styr på nødprocedurer.
Det lyder meget overkommeligt. Det vil jeg gøre!
De slår Volvos systemer fra for at lave egne systemer som kan bruges i andre typer biler(min logiske konklusion). De kører testkørsler MED chauffør som er instrueret i at gribe ind (i følge rapporten), selvfølgelig for at finde fejl i softwaren - softwaren skal fejle for at forbedre systemet. I mine øjne kan Uber højst klandres for ikke at have instrueret testdriveren godt nok - konceptet er i mine øjne ok. Og ja, rapporten er letlæst. Der står ingen steder, at chaufføren skal lave rapporter undervejs.
". In addition, the operator is responsible for monitoring diagnostic messages that appear on an interface in the center stack of the vehicle dash and tagging events of interest for subsequent review."
Tagging er vel ikke det samme som rapportering, det betyder vel bare at trykke på en knap.
"Tagging", er at identificere og notere forskellige data eller dele af en programkode ud fra hvilken type de er, så man senere kan finde dem igen i programmet og/eller output. Det kræver at der er nogle valgmuligheder, som skal noteres manuelt (usandsynligt) eller krydses af, fx i et skema på en ipad. Den er man så nødt til at kigge på og dermed kigge væk fra vejen. På videoen ser det ud som om, det var det der skete. Dette må vel være pointen.
Tagging er ikke det samme som rapportering, hvilket Allan heller ikke ikke har påstået, men det er selvfølgelig, som han siger, en rapporteringsopgave der er nødvendig, for at senere at kunne lave en rapport. Altså ikke "bare at trykke på en knap".
Det svarer til at tekste gentagne gange, mens man kører og tagging var en del af førerens instruks i følge Uber. Dermed har de dømt sig selv.
Du gætter, der står intet om ipad eller lignende og din definition af tagging er ikke korrekt.
"Du gætter, der står intet om ipad eller lignende og din definition af tagging er ikke korrekt."
Hvad er din definition? Tag og tagging kan betyde rigtig mange ting inden for mange områder. Jeg valgte den der har at gøre med programmering, da der er tale om testning af et programs funktionalitet. Mere generelt er betydningen af ordet, at afmærke, registrere, afkrydse, vedhæfte en mærkat (label) og meget andet. Når du trykker på ja eller nej i forbindelse med en brugerundersøgelse, så laver du en "tagging".
Pointen er stadig at føreren blev instrueret i at have opmærksomheden inde i bilen. Og nej, der står ikke noget om en ipad, men et eller andet skulle jo bruges til at notere på, men mindre føreren kun skulle bruge hukommelsen og derfor sad og stirrede koncentreret ned i gulvet.
Grænsen mellem almindelige retoriske tricks og udstilling af dum stædighed kan være svær at finde. Gætter jeg på
Så fik jeg læst den og det er korrekt, der er ikke mange detaljer. For mig det centrale i rapporten dette:
At føreren skal være opmærksom kan næppe komme som en overraskelse, da bilen endnu ikke er certificeret til kørsel uden opsyn. Dernæst er der nogle aktiviteter der tager opmærksomheden væk fra kørslen. Hvor meget kan man ikke sige ud fra rapporten.
Jeg fastholder stadig at det kan forsvares at frakoble antikollisionssystemet i bilen såfremt køreren er opmærksom. Om det har været muligt afhænger af hvor stor en yderligere belastning føreren har været pålagt. F.eks. mener man jo at det er tilstrækkelig sikkert at bruge en GPS hvor man en gang i mellem kaster et blik på skærmen - i den anden ende har vi håndholdte mobiltelefoner og lignende.
Førerens skyld er irrelevant i forhold til min påstand om firmaets skyld.
Altså medmindre man lever i en alternativ virkelighed, hvor der altid er præcis 1 part, der har skyld.
Det kan vi sagtens blive enige om. Min påstand er stadig at Ubers skyld afhænger af omfanget af ekstra opgaver, hvilken instrukser der er givet, om operatørerne har udviklet en uheldig kultur, om Uber i så fald var opmærksom herpå eller måske burde have været.... alt det der mangler i den foreløbige rapport. Der kommer vi til at vente på den endelige undersøgelse.
Tror ikke der kan koges mere suppe på den nu.