Tænkeboks: Sandsynligheden for falsk-positiv er 4,6%
more_vert
close

Få de daglige nyheder fra Version2 og Ingeniøren. Læs mere om nyhedsbrevene her.

close
By signing up, you agree to our Terms & Conditions and agree that Teknologiens Mediehus and the IDA Group may occasionally contact you regarding events, analyzes, news, offers, etc. by telephone, SMS and email. Newsletters and emails from Teknologiens Mediehus may contain marketing from marketing partners.

Tænkeboks: Sandsynligheden for falsk-positiv er 4,6%

Illustration: MI grafik

I sidste uges opgave fra Mads Clausen Instituttet ved SDU skulle kvalitetsingeniøren i en produktionsvirksomhed på regnearbejde, nemlig finde ud af sandsynligheden for, at et produkt er defekt, selv om en test er positiv.

Det vides erfaringsmæssigt, at 1 ud af 1000 produkter er defekte, og at den automatiserede test vil vise en falsk-positiv i 2 % af tilfældene og en falsk-negativ i 4 % af tilfældene.

Så spørgsmålet lød: Hvad er sandsynligheden for, at et positivt testresultat er forkert?

Vi bringer også denne gang løsningen i faksimile, for at undgå at sætter Nissen kommer til at spolere de fine formler.

Illustration: MI Grafik

I kan løbende se – og diskutere – alle opgaverne og deres løsninger på adressen: ing.dk/fokus/taenkeboksen

Vi bringer en ny udfordring for matematiknørderne i næste uge.

/ Lynch

Illustration: MI Grafik

Jeg er desværre ikke for klog, intet har ændret sig siden da, jeg beklager!
Og har ikke set sidste uges opgave. Men:

"falsk positiv" betyder at et defekt produkt er sluppet gennem kontrollen og erklæret OK.

Har vi 1.000 produkter vil 1 være defekt.
Har vi 100.000 produkter vil 100 være defekte.

Af de 100 defekte produkter vil 2 være "falsk positive" (2%).
Sandsynligheden for at "et positivt testresultat er forkert" er derfor 2 ud af 100.000 eller 0.002% - so ungefähr, give or take.

Jeg har lige været til J-dag, klokken er nu 02.30, og jeg føler mig forholdsvis ædru, men også her må jeg vist tage så grueligt fejl!
Oplys mig gerne, tak

  • 1
  • 2

Jeg har ganske vist også haft et vist sygefravær i statistik undervisningen, men jeg er alligevel lidt overrasket over resultatet 4,6 %.
Hvis jeg har forstået opgaven rigtigt går den ud på at finde sandsynligheden for at et produkt der slipper igennem testen faktisk er defekt.
Da sandsynligheden for et defekt produkt lige ud af produktionen er 1/1000 = 0,1 %, vil jeg ikke anbefale at man indfører en test der øger denne sandsynlighed til 4.6%

Jeg er tilbøjelig til at give Lars Røssell ret. Blot mangler han at tage højde for de emner, der faktisk bliver kasseret i testen.

Jeg vil også tage udgangspunk i 100.000 testede emner

heraf er 100 defekte. 98 sorteres fra, mens 2 slipper igennem som falske positive.
99.900 er i orden, men testen sorterer 3.996 fra som falsk negativ.

efter testen står man altså tilbage med

100.000 - 3996 - 98 = 95906. Heriblandt 2 defekte.

Sandsynligheden for at få et defekt produkt bliver herved 2/95.906 = 0,002 %
Så kan det måske alligevel betale sig at teste. Eller har jeg misforstået opgaven ?

  • 2
  • 2

Godmorgen.
Altså. Hvis man tester for at finde fejl, så er et positivt resultat=at man har fundet en fejl.

Ligesom at når man tester en person for HIV, så findes personen HIV positiv hvis vedkommende er smittet.

Opgaven går således ud på at kigge på mængden af emner, som den automatiske kontrol har fundet fejl i. Blandt disse er under 5% faktisk fejlbehæftede. En ret ringe automatisk kontrol skulle jeg mene.

  • 2
  • 0

Selvom jeg havde opfattet positiv som et godkendt produkt og havde brugt Bayes formel, tror jeg ikke jeg kunne have delt det op på den korrekte måde.
At resultatet afhænger så meget af den forventede produktionsfejlrate er lidt forbavsende. Resultatet er ~fejlrate/falsk positiv.

Er der nogle som kan estimere produktionen udfra resultatet af måske 100 automatiske test, og hvordan.

  • 2
  • 0

Original:

Hvad er sandsynligheden for, at et produkt er defekt, når den automatiserede test er positiv?

En uge senere:

Så spørgsmålet lød: Hvad er sandsynligheden for, at et positivt testresultat er forkert?

  • 1
  • 2

lynch har glemt at ofre til sætternissen, og har skrevet forkert ... hvor han skulle have skrevet defekt ... ak ja.

Men løsningen er stadig rigtig nok

  • 2
  • 0

.......blev engang spurgt om han var nervøs da han som den første amerikaner tog turen rundt om jorden.
Svaret var:" Hvad ville du være, hvis du sad på toppen af en million af de billigste tilbud"

Lige sådan viser diskussionen her, at dansk er et svært sprog, når man skal diskutere matematiske emner semantisk........jeg håber sandeligt på at I bliver enige :)

  • 2
  • 2

overskriften er også absurd. Det står faktisk i opgaven, at den er 2%

  • 0
  • 1

Altså. Hvis man tester for at finde fejl, så er et positivt resultat=at man har fundet en fejl.

Ligesom at når man tester en person for HIV, så findes personen HIV positiv hvis vedkommende er smittet.

Ja, og det skal bruges med omtanke, ellers forstår mindre intelligente folk som jeg det ikke. Og det kan have livstruende konsekvenser ikke at udtrykke sig tydeligt i netop denne sammenhæng.

Der var således en indvandrerkvinde som Odense Kommune ikke kunne få i arbejde, hun var fuldstændig opgivende og opførte sig som om hun skulle dø i flere år. Det troede hun også at hun skulle. Hun var nemlig blevet testet og havde fået besked på at testen og hun var HIV-negativ. Hun gik ud fra når noget var negativt var det ikke godt, og at hun var smittet. Da man endelig efter flere år fandt ud af hvad der var galt blev hun meget, meget vred, og det kan man jo næsten godt forstå. (tolkebistand?)

Jeg er heldigvis ikke vred:-)

I denne artikel indledes med at opgaven er at "finde ud af sandsynligheden for, at et produkt er defekt, selv om en test er positiv."
Jeg beklager hvis jeg har misforstået det vanskelige spørgsmål.

  • 0
  • 0

Hvilken sandsynlighed er der for at læserne har opfattet positiv som at testen har godkendt emnet (at testen ikke er fejlet)?

Det trøster mig at jeg ikke er den eneste der var i tvivl om hvad positiv og negativ betød.
Men i øvrigt er dansk ikke så svært, det kræver bare at man gør sig umage og ikke forfalder til sædvane uden at tvivle lidt.

  • 1
  • 0

Det er en pudsig formel, som kan bruges til meget, selvom resultatet skal vurderes nøje.
Jeg lavede et lille excel ark for at teste det:

Produktionen er alle rapporter om klima
Fejlrate (FR) er den procentdel som ikke støtter AGW
Den automatiske test er IPCC, som sampler produktionen og siger ok (AGW er rigtigt) eller ikke ok (AGW er forkert).
FP falsk positiv 0,3 AGW er rigtigt selvom rapporten ikke understøtter det
FN falsk negativ 0,1 AGW er forkert selvom rapporten understøtter det
FR 0,05 Mængden af rapporter der ikke understøtter AGW

T er OK, D er fejl (ikke AGW)

P(D|T) = P(T|D) * FR/(P(T|D) * FR +P(T|cD) * P(cD)) Godkendt trods fejl
(1-FN)FR/((1-FN)FR + FP*(1-FR))
P(D|T) % = 13,64 Godkendt trods fejl

Prøv det: https://docs.google.com/spreadsheets/d/e/2...

Nogle antagelser har stor betydning og andre ikke.
Jeg håber jeg har regnet rigtigt, som i opgaven.

  • 1
  • 0

Hvis i kan se andet end dette excel ark må i gerne sige det til mig.
Jeg har ikke prøvet at linke til mit drev før, og jeg ved ikke hvad jeg skulle gøre ved det.

  • 0
  • 0

Jeg beklager meget, at jeg formulerede mig sjusket i mit resumé af opgaven - det er naturligvis den oprindelige opgaveforbulering, der er gældende.
Vh. Lynch

  • 3
  • 0

sidder her søndag med papirudgaven af nedisgaB og må istemme de første kommentarer. Den opgave er intuitivt ikke formuleret korrekt eller udregningen er forkert.
Lad os tage forudsætningerne.
1. ud af 1000 produkter er 1 produkt fejlbehæftet
2. en POSITIV test indikerer at produktet er OK
3. sandsynligheden for en FALSK POSITIV test er P=0.02.
Sandsynligheden for en KORREKT NEGATIV test er mao 0.98.
4. sandsynligheden for en FALSK NEGATIV test er P=0.04.
Sandsynligheden for en KORREKT POSITIV test er mao 0.96.

så vi har fire cases
1. produkt er ok og test siger ok. Dette er 999x0.96= 959.04
2. produkt er ok og test siger Not-ok. Dette er 999x0.04= 39.96 (falsk negativ test)
3. produkt er not-ok og test siger ok. Dette er 1x0.02 = 0.02 (falsk positiv test)
4. produkt er not-ok og test siger not-ok. Dette er 1x0.98 = 0.98

Det kan anbefales at lave et beslutningstræ på ovenstående. Første forgrening er Produktet er ok | produktet er ikke ok. Anden forgrening er Test er ok | test er notOK.

For at rekapitulere. Ud af 1000 objekter:
959.04 er ok og er godkendt. Alle er glade.
39.96 er ok men dømmes fejl og kasseres fejlagtigt. Økonomichefen er ikke så glad..
0.02 er notOK men dømmes ok. De afskibes og resulterer i kundeklager eller whatever.
0.98 er notOK og kasseres retmæssigt.

Spørgsmålet var "hvad er sandsynligheden for at et positivt testresultat er forkert?".
her søger vi altså sandsynligheden for, så at sige, at afskibe et produkt der er fejlbehæftet.
Resultatet er = 0.02 / (0.02 + 959.04) = 2.09E-5 eller 21ppm. Det er i mange tilfælde ikke så dårligt.
Hvis jeg sad som proces ingeniør ville jeg være mere bekymret for kassationsraten. Bemærk at der kasseres 40.94 emner hvoraf bare 1 faktisk er fejlbehæftet.

At udlede at sandsynligheden for falsk positiv fejl er 4.6% giver ingen mening, når den grundlæggende fejlrate er 0.1%. Hvis det var korrekt ville ingeniøren stå sig bedre i at lukke testafdelingen og afskibe alle 1000 emner. Hermed er fejlraten garanteret 0.1%

Og Nej, det er ikke overraskende at risikoen for positive fejl afhænger af fejlraten i produktionen. Grundlæggende, jo flere fejlemner der produceres, jo flere muligheder er der for at fejlbehæftede emner slipper igennem kvalitetskontrollen. Hvilket tydeligt indikerer at man ikke kan kontrollere sig til kvalitet. Kvaliteten sikres i produktionen.

  • 2
  • 1

@Kurt Christensen,
Korrekt, men det kan ikke detso mindre være en bekostelig affære at skulle reteste.

Og husk, at fx i farmabranchen er det ikke altid OK at reteste. Når en batch eller emne er kasseret er det kasseret. FDA har tidligere udstedt adskillige warning letters til firmaer der tester, indtil testen er god nok, for dette er tydeligt ikke i forbrugernes interesse.

Ofte kan fokusering på denne processtrøm "reject-retest-rework" eller "factory-in-the-factory" være en betydelig driver for nedbringning af de økonomiske omkostninger i produktionen. Jeg har set flere eksempler, hvor ukorrekt testhåndtering resulterer i dødsspiralagtige aktiviteter.
"batchen er ikke godkendt-> vi indsætter resurser til at håndsortere/teste -> færre resurser til produktionen -> flere fejl"

  • 0
  • 0

@Kurt Christensen
korrekt igen, men hvis fejlemnerne fx er fotoinspicerede ampuller med injektionsvæske kan du ikke skifte noget ud. Ampullen er kasseret og du kan ikke få den tilbage. Selv om man måske ved at 95% af fejlemnerne faktisk er gode nok og kassationen skyldes 'andet'. Så er vi igen tilbage til at teste indtil testen er ok, og den går ikke. (se nedenfor)
I det konkrete regneeksempel kasseres 40 emner selv om kun 1 burde være fejlbehæftet så 97.5% af de kasserede emner var ok.

(FDA warning letter)
Your original atomic absorption analysis of (b)(4) sample 15/0871 was out-of-specification (OOS). A retest of the sample was also OOS. A third sample was retested and found within specifications. You invalidated the OOS results without justification or documented investigation.

  • 2
  • 0

Med opgavens tal giver min formel disse 4,6%. Men hvis testen forbedres så kun den fejler med 0,1% til hver side, så vil 50% fejlaftigt godkendes.
Hvis testen bliver endnu bedre kommer man op på 90% fejlagtigt godkendte.
Er der nogle der kan forklare det på en forståelig måde?

  • 0
  • 0

Folk vil så gerne lægge værdi i ordene.

Positivt = godt, Negativt = dårligt.

Men sådan er det altså ikke.

Testen leder efter fejl, og når den detekterer en fejl, så er det et positivt resultat. Vi finder det vi lader efter: Bingo, positivt.

Så de fire cases:
1. Fejl detekteret i fejlbehæftet produkt: Ægte positiv (Jeg ved ikke om "ægte" er den korrekte benævnelse)
2 . Fejl detekteret i fejlfrit emne: Falsk positiv
3. Ingen fejl detekteret i fejlbehæftet emne: Falsk negativ
4. Ingen fejl detekteret i fejlfrit emne: Ægte negativ

Opgaven går ud på at kigge på foholdet imellem (1+2) og 1. Det har vi etableret og skrevet flere gange i begge tråde. Der er ingen grund til at regne på andet end det. (Andet end af akademisk interesse :) )

God søndag :)

  • 3
  • 0

Svend, de 4,6% er dem af de positivt testede, der er defekte. Og selvfølgelig stiger det tal med en bedre test.

PS: Ganske elendigt indtastningsfelt, I har fået lavet, ing.dk!

  • 0
  • 0

Svend, de 4,6% er dem af de positivt testede, der er defekte. Og selvfølgelig stiger det tal med en bedre test.


Jeg har tænkt på det samme men:
Det er der jeg ikke kan følge med. Der burde være 999 positive for hver tusind.
Hvis den automatiske kontroltest er uden fejl, så vil alle der er testet postive i denne test egentlig være defekte emner.
Hvis testen har 10 procent fejlvurderinger til hver side vil resultatet blive 0,89% .

  • 0
  • 0

Lad os holde fast i een ting vi forhåbentlig kan blive enige om. Bayes theorem udtrykker en betinget sandsynlighed P(A|B)= P(B|A)P(A)/P(B). Er alle enige?

I artiklens start står "(find) sandsynligheden for, at et produkt er defekt, selv om en test er positiv." Så "positiv" er her at testen siger at produktet er ok. Det ligger i dansk grammatik i betydningen af "..defekt, selv om.."

Dette er bare ikke hvad der menes med P(A|B) i Bayes theorem, det er nemlig sandsynligheden for at produktet er defekt GIVET at testen siger det er defekt, og det er det, der udregnes i faksimilen (4.6%). Og det kommer nok som en overraskelse, at af alle rejects er 95,4% falske rejects, Dvs de er gode nok selv om testen siger det modsatte!
Og forvirringen er total når man dernæst formulerer "Hvad er sandsynligheden for, at et positivt testresultat er forkert?"
Da der er byttet om på meningen af positiv ift Bayes theorem vil jeg ikke forsøge at byde på hvad det betyder.

  • 2
  • 1

der har været kommentarer om værdien af kvalitetskontrollen. Jeg ser det således:
Base rate for fejl er P=0.001. Hvis alle emner afskibes har vi en klage per 1000 = 1000ppm.
Kvalitetskontrollen fanger 20.94 'Fejl' ægte og falske. Fjerner vi disse fra batchen er der no 0.04 fejl tilbage i en batch der har 1000-20,94 = 979,06 emner. Den resulterende fejlrate er = 0,04 / 979,06 = 4,09E-5 eller 40.9 ppm dvs vores kontrollerede batch 'kvalitet' er nu 24,48 gange bedre end den oprindelige base rate på 1000 ppm.
Hermed er der nu nogen parametre at stille på - Vil ingeniøren stramme op på kvalitetskontrollen eller skal den slækkes? Det bliver ultimativt et spørgsmål om, hvad en kvalitetsfejl i markedet koster, kontra hvad det koster at kassere eller korrigere fejlene i produktionen.

  • 1
  • 1

der har været kommentarer om værdien af kvalitetskontrollen. Jeg ser det således:
Base rate for fejl er P=0.001. Hvis alle emner afskibes har vi en klage per 1000 = 1000ppm.
Kvalitetskontrollen fanger 20.94 'Fejl' ægte og falske.

Hvis man sætter det som jeg mener er de korrekte betingede sandsynlighder ind i formlen i starten af tråden får jeg 20,9ppm falske positive.
P(T|D) Falsk positiv 0,02
P(T|cD) 1-Falsk negativ 0,96 (P(cT|cD)+P(T|cD) =1)

  • 0
  • 0

Det var synd at opgaven kom mere til at handle om hvad positiv test betød end resultatet. (Opgavestilleren har mailet mig at positiv betyder fejlet i test).
For det er da interessant at P(D|T), et produkt som kasseres i testen, kun er 4,6% sikkert reelt et fejlet produkt. Mit link til Vestergård, forklarer det med at antallet af falske positive (fejlede i testen uden at være defekte) er langt større end mængden af de der er reelt defekte og også blev positive i testen.

I den slags opgaver kan selv et kommas placering i teksten betyde alverden, eller i hvilken rækkefølge udsagnene kommer, og formalismen (hvad der forstås ved feks. P(D|T) ) kan også være noget usikker.
Det gode er, at på grund af al denne tvivl fik jeg læst lidt op på emnet, og er nu forvirret på et højere plan.

  • 0
  • 2

Svend, det er næsten de samme tal omkring sygdom i det link du henviser til -- dér er der også kun ca. 5% sandsynlighed for at man virkelig er syg, når testen er positiv


Ja, og det er der Bayes kræver nogen tolkning, fordi det netop er resultatets troværdighed ved en screening af alle, både raske og eventuelt syge.
Det enkelte resultat er væsentlig mere troværdigt end kombinationen af alle resultater.
Flyver du een gang er sandsynligheden for uheld meget lille, og det er den hver gang du flyver. Flyver du 1000 gange er sandsynligheden pludselig større for at du forulykker på nummer 1001, hvis du ikke er forulykket før.
Det er et statistisk argument for ikke at flyve for meget.

  • 0
  • 3

Flyver du 1000 gange er sandsynligheden pludselig større for at du forulykker på nummer 1001, hvis du ikke er forulykket før.

Nej.

  • 2
  • 0

Hej
Den automatiske test er ikke så ringe, den sænker fejlraten hos kunden med en faktor 50. De kasserede emner kan så sendes igennem en mere præcis og omkostningstung test, her skal kun ca. 4% af emnerne igennem - en faktor 25 besparelse.
Mvh. Thomas

  • 1
  • 0

Kim. Re Nej.
Det er en begynderopgave i sandsylighedregning, og gælder også for chancer i et lotteri.
En eller flere fejl efter 1000 forsøg med enkeltfejlrate på R regnes sådan ud:
U(1000) = 1-(1-U(1))^1000.

  • 0
  • 4

Det er en begynderopgave i sandsylighedregning...


Måske skal man passe på med ikke at være alt for kæk og benytte ord som "begynderopgave" i denne sammenhæng. Sandsynligheden for at slå en sekser med en terning er 1/6 hver gang! Det er ikke det samme som sandsynligheden for at slå en sekser 2 gange i træk. På samme måde er sandsynligheden for at forulykke med en flyvemaskine ikke er større blot fordi man har fløjet 1000 gange før.

  • 4
  • 0

Sandsynligheden for at slå en sekser med en terning er 1/6 hver gang! Det er ikke det samme som sandsynligheden for at slå en sekser 2 gange i træk. På samme måde er sandsynligheden for at forulykke med en flyvemaskine ikke er større blot fordi man har fløjet 1000 gange før.


Mit svar drejede sig om hvad chancen er for i det mindste at få en 6'er eller flere efter feks 6 slag. (sandsynligheden for ulykke (en 6'er) efter N antal flyvninger.
Mindst en 6'er svarer til 1 -(ingen sekser)^N
Ingen sekser er 5/6 af sandsynligheden for at få 6 i et kast. 1 eller flere seksere er 1-(1-1/6)^N. Med N=6 bliver det~0,66 efter 6 kast.
Sandsynligheden for ulykke er den samme ved hver flyvning, men betragter du 1000 flyvninger som et eksperiment ser det anderledes ud. Meget godt udtrykt ved at det jo ikke kan blive ved at gå godt.

  • 0
  • 2