Helt normale problemer

Af Poul-Henning Kamp,  fredag 22. okt 2010 kl. 22:40

Jeg er nået til bogen "Normal Accidents" i min læseferie.

Mens jeg læser kommer jeg til at tænke på vandforsyningen i Køge, der i forsøget på at komme en forurening til livs, skabte en anden.

Og jeg tænker også på:

...IBM der gik i sort fordi et enkelt kabel blev sat forkert i en switch.
...Flyet på startbanen der ikke havde strøm til at stoppe motorene
...Flyet der styrtede fordi samme alarmlyd blev genbrugt
...Et par rumfærger
...De mange historier om nødstrøm der ikke virker

Og alle de andre problemer hvor operatører og teknikere kløede sig i nakken og ikke anede hvad der foregik.

Bogen handler nemlig om kaskadefejl i komplexe systemer og den profeterer at det bliver bare værre og værre med den slags.

Og det må man give forfatteren ret i: Bogen er skrevet i 1984 og det er ikke blevet bedre, tværtimod.

Den første rumfærge gik helt firkantet sagt til, fordi ledelsen kaldte teknikkerne på det dybe gulvtæppe og spurgte om de virkelig ville skuffe præsidenten, hvilket pressede dem til at tage en chance med et meget komplext system.

Den fejl begår vi heldigvis ikke igen

phk


PS: Indledningen omtaler "the work of Jens Rassmussen in Denmark."

Det kan næsten kun være Jens Rasmussen fra Risø, internationalt anerkendt for sit arbejde med operatør/maskine/system problematikken.

Lidt googling afslører, at selvom man kan finde mange af Jens Rasmussens arbejder i obskure hjørner af Risø's webside, findes der ikke nogen side for manden selv, eller noget der ligner en opsamlingsside for hans arbejde.

Jens Rasmussens 'føl' og medforfatter Kim J. Vicente har idag sit eget institut på U.Toronto, hvor tre af de fem mest indflydelsesrige publikationer stadig har Jens som medforfatter.

Jeg ved godt at Jens' arbejde stort set prædaterer Internettet i Danmark, men helt ærligt Risø: Jens er en af jeres største successhistorier, kunne I ikke lokkes til at ofre en web-side på ham ?



23. okt 2010 kl 09:25

Lars Christoffersen

Rumfærge: Det er endnu værre

Den første rumfærge gik helt firkantet sagt til, fordi ledelsen kaldte teknikkerne på det dybe gulvtæppe og spurgte om de virkelig ville skuffe præsidenten, hvilket pressede dem til at tage en chance med et meget komplext system

Faktisk kan man sige at fejlen ligger endnu tidligere og er endnu mere politisk. Normalt ville man ALDRIG bygge sådan en raket i flere stykker. Det blev kun gjort, fordi man af politiske grunde lagde ordren hos et firma der lovede at bygge rakatterne i en bestemt delstat, af hensyn til en ligelig fordeling af arbejdspladser. Derfor kunne raketterne ikke være længere end de kunne køres på togvogne og konsekvenser er at man lavede dem i 3 stumper, der så blev sat sammen i Cape Kennedy! Konsekvensen af denne beslutning kender vi alle.
Måske et opråb til dem der mener at "udkants Damark" er så forbigået. Nogle gange er det bedst for alle at bygge og lave tingene der hvor det er mest logisk.


23. okt 2010 kl 10:53

avatar

Poul-Henning Kamp

Re: Rumfærge: Det er endnu værre

Du har ret i at designprocessen ikke var noget kønt syn, men det er i mine øjne et andet problem end hvordan du bruger resultatet når det foreligger.

"Kør efter omstændighederne" som man siger.

Poul-Henning


23. okt 2010 kl 12:10

dan poulsen

Fokus

Dertil skal lægges at det altid er mere sexet at opfinde en ny feature end at rette en gammel fejl.
Jeg er aldrig blevet populær når jeg for tredie gang har fået kommunikations software til at gå i sort med buffer overflows, eller når jeg anvender en gnistpistol på et tastatur.
At f.eks. Nemide gik ned på introdagen, grundet i at man lavede et par tusinde forespørgsler i CPR registeret viser at fokus ofte ikke er rettet imod den kedelige test fase.
Og ja 2 delsystemer med hver 98% oppetid kan sagtens have en nedetid på 100% hvis de kobles. Her gælder de simple matematiske regler ikke altid.


23. okt 2010 kl 12:20

Lars Christoffersen

Mere læsning om helt normale uheld

PS: Hvis ud ikke allerede har læst den så er "Ablaze: Story of Chernobyl" af Paul Piers Read rigtig god læsning. Noget i samme genre, formoder jeg.


23. okt 2010 kl 12:32

Michael Coene

Mange historier

Jeg er sikkert læserne kan bidrage med mange historier fra egen erfaring. Jeg hørt en kollega fortælle hvordan en hel raffinaderi gik i sort efter at en teknikker skiftede en lysstofrør i kontrolrummet... Hvem har bedre?


23. okt 2010 kl 13:23

Anthon Eliassen

Mars Climate Orbiter

I 1998 mistede NASA kontrollen over Mars Climate Orbiter kort tid før den nåede sit mål. Årsagen var noget så banalt som enheder. Softwaren regnede i enheden Pound-force (lbF) mens fartøjet var gearet til enheden Newton. D'OH !!!


23. okt 2010 kl 14:01

avatar

Poul-Henning Kamp

I rammer forkert...

Denne bog handler ikke om den slags fejl, den handler om komplexe systemer hvor uforudsete koblinger og afhængigheder gør at operatørene ikke aner hvad der foregår.

Poul-Henning


23. okt 2010 kl 14:54

Bjarke Mønnike

Man kan hvis...

....man går ind i PHK´s link "Normal Accidents" bladre i bogen for at få et indtryk af indholdet !

Komplexe systemer der ikke har en synlig struktur kan være meget svære at fejlfinde i og mange gange løses problemer ikke tilbunds men stopper når man har fået "skidtet" til af fungere acceptabelt, hvorved den skjulte fejl måske aldrig viser sig. men modsat når den viser sig går det grueligt galt.

Eksempler her på er Chernobyl hvor dygtige teknikere laver et forsøg og reaktoren løber fra dem.

Eller den store strømafbrydelse i 2003 hvor en hændelse mørklagde hele Sydsverige og Sjælland og kun takket være den gamle store museeumsdiesel på HC Ørstedsværket kom vi op og køre igen

http://ing.dk/artikel/48630-st...rige


23. okt 2010 kl 15:26

Lars Christoffersen

Re: Man kan hvis...


Eksempler her på er Chernobyl hvor dygtige teknikere laver et forsøg og reaktoren løber fra dem.

Hmmm, dygtige kommer vist an på i hvilken kontekst du ser det i. Det er ikke at være dygtig når man først kobler alle sikkerhedssystemer ud derefter tilsidesætter samtlige procedurer for bestemte hændelser! Alt sammen for at afslutte de sidste tests og få den bonus der blev udbetalt når blokken kunne gå i "kommerciel" drift (ja, jeg ved godt det var USSR, men da det gik galt var blokken endnu ikke overgået til normal drift, men var stadig i en test fase). Læs bogen som jeg skriver om, højere oppe i tråden!


24. okt 2010 kl 01:05

Svend Ferdinandsen

Re: I rammer forkert...

For eksempel 3's opdatering der gik helt i sort.
Det er vel et godt eksempel på komplekse systemer der lige skal rettes lidt til, og bang så stopper alt.
Særligt SW-systemer har potentialet for disse fejl.
Systemerne er komplekse og opbygget af en hel masse moduler som ingen har fuldt overblik over, specielt ikke hvordan de egentlig arbejder sammen.
Jeg har selv arbejdet med et strømmålemodul, som havde mindre kalibreringsområde end tolerancerne. Det lykkedes ikke at få en forklaring på hvad resultatet blev brugt til og hvordan, så det var umuligt at udvide limits for at undgå fejl i produktionen. I stedet forbedrede man kredsløbet, men stadig uden at kende formålet, men så undgik man fejl i produktionen.
Held og lykke til den som finder på at bruge resultatet til noget væsentligt.


24. okt 2010 kl 10:18

Sten Basbøll

Hvad skete der.

Et eksempel mere. År siden. En færge på HH overfarten fik totalt black out lige før anløb af Helsingborg og fortsatte derfor i friløb, uden manøvreevne, ind i yder bassinget og ramte i krogen under fyrtårnet hvor man smadrede ror og skrue mod stenene.

Bladene på de vendbare skruer gik uden strøm til systemet i neutral og styremaskiner koblede ud. Rorgængeren havde da det skete heldigt lagt roret en smule til bagbord og der blev det, Heldigt da man så i stedet for at ramme en udgående færge i ydebassinet fik kurs mod fyrtårnet og opfyldning af store sten, bølgedæmpningen i krogen.

Nødstrøm batterier og generator koblede ikke ind - eller startede som den skulle. blev ellers afprøvet ugentligt skemalagt og journalførte terminer.

Årsagen til black out blev først fundet under værftopholdet hvor sømanden der havde skullet løfte bovporten ved havneanløbet,

kommende sent ombord fra landlov i opløftet stemning i debat m en kammerart trykkede på de 2 sæt knapper der skulle starte begge pumper til hydraulikken der løftede porten.

Host, fra maskinrummet - og det blev mørkt og stille ombord.. :-)

Det viste sig at spidsbelastningen fra opstart af 2 små hydraulikpumper var større end en bestemt (ud af 3) af lysmaskinerner kunne klare, hver pumpe trak vistnok 8-900 A i et splitsekund, og det ejendommelig var så at manden havde og brugte 2 fingre af præcis samme længde da han, for at spare løftetid startede begge systemer.

Det var ellers helt almindelig at man brugte begge pumper, havde aldrig givet problemer, men vi fik selvfølgelig sat en omskifter ind så der kun kunne køres med et system af gangen. Jo det blinkede altid lidt i lyset. Men jeg mener at det kun var den ene generator der var lidt sløv i regulatoren. Jeg mener at de var ratede til 600A

Hvorfor nødstrømmen ikke koblede ind blev vist ikke rigtig opklaret. Virkede hver gang efterfølgende, men jeg tror nok, at der alligevel blev skiftet lidt relæer og stammet efter i tavlerne i batterirummet.

Smanden var ved at blive fyret for ikke omgående at ha fortalt om sin oplevelse under anløbet. Men det uanset, VAR provokationen forsøgt af mester, alt blir jo vendt og drejet under fejlfindingen. Men igen, flere årsager.

Der skete ikke personskader.


24. okt 2010 kl 11:34

Sten Basbøll

Hvad skete der.

Jo altså, der kørte normalt 2 ud af de 3 generatorer, og på værft, til nattebrug, her kun 1 - der så heldigt viste sig at være den der var "svag", lidt sløv i reguleringen. Da haveriet skete, gik nr. 2 generator også ned da den 1´faldt væk.
Det var også heldigt, at man, da man skulle blære sig over for kameraten, ikke have tage sektionen med pumperne fra på tavlen.

Og, at man denne gang, kammeraten, ikke kunne holde mund. Man syns ellers at det var morsomt at se 3 maskinmetre, en værftsingenør og skibselektrikker rende forvirrede rundt med lommelygter midt om natten. Hvad sker der? Faggrænser, I skal ikke fortælle os noget. og Jo der blev råbt højt! Først af lettelse og så over idiotien.



24. okt 2010 kl 12:20

Frithiof Andreas Jensen

Re: Man kan hvis...

Alt sammen for at afslutte de sidste tests og få den bonus der blev udbetalt når ...

Endnu et Klassisk eksempel på at performance-relaterede mål sjældent fører til den forbedring man (måske!) ønskede men i stedet frembringer endnu mere fusk og svindel*!

Måske faldt USSR sammen fordi de oveni alle fem-årsplanerne slet ikke havde råd til den slags importerede Vestlige "værdier"?

*) "Measuring and Managing Performance in Organistations", Robert D. Austin. Jeg er aldeles sikker på at ingen i regeringen har læst den!!


25. okt 2010 kl 12:17

avatar

Torben Mogensen

Re: Man kan hvis...


Endnu et Klassisk eksempel på at performance-relaterede mål sjældent fører til den forbedring man (måske!) ønskede men i stedet frembringer endnu mere fusk og svindel*!

Et andet eksempel er sagen om skoletest i Chicago, hvor lærere snød på deres elevers vegne fordi deres løn afhang af resultaterne i prøverne.

Produktivitetsmål, der giver økonomisk gevinst, har uafværgeligt følgende konsekvenser:

- Der snydes på vægten.
- Der fokuseres udelukkende på at forbedre målene, uanset om dette rent faktisk giver bedre produktivitet eller kvalitet.
- Der bruges ressourcer på at måle i stedet for at producere.
- Dem, der indfører målene, vil se en stigning i de målte tal, og forledes til at tro, at situationen er forbedret, mens det omvendte kan være (og ofte er) tilfældet.


25. okt 2010 kl 13:42

Lars Christoffersen

Re: Man kan hvis...

Et andet eksempel er sagen om skoletest i Chicago, hvor lærere snød på deres elevers vegne fordi deres løn afhang af resultaterne i prøverne.

Det beviser ingen ting, ud over lærerne var korrupte! Det samme med Tjernobyl. Hvis de havde vidst hvad de arbejdede med og man havde haft erfaringsudveksling var det måske aldrig sket.
Og hvordan man man forbedre et mål. Et mål er vel noget man arbejder hen imod, hvorefter man laver et nyt. Produktiviteten afgør hvor hurtigt man kommer derhen!


Ny i debatten? Opret en brugerkonto

  • Seneste nyt
  • Mest læste
  • Debatterede
 

Nyhedsbrev

Tilmeld dig vores nyhedsbrev.