værd at vide

Om skæve PISA-undersøgelser og radioaktive diamanter som batterier

På tirsdag offentliggøres den nye PISA-undersøgelse, der ser på, hvordan 15-årige skoleelever verden over formår at udnytte deres kompetencer inden for læsning, matematik og naturfag i konkrete problemstillinger.

Når landene på den måde bliver ranglistet, giver det altid anledning til kommentarer. Og listen vil med sikkerhed blive fulgt af beretninger om, at danske skoleelever nu enten er blevet klogere eller dummere – holdt op mod, at kinesiske børn er meget klogere end danske børn. I hvert fald de kinesiske børn, der bor i Shanghai eller Hong Kong.

Uden at jeg har fået den mindste form for kendskab til resultatet af PISA 2015 (testen blev gennemført sidste år), er jeg helt overbevist om, at disse lande og områder ligger i top og langt foran Danmark, som nok i lighed med tidligere undersøgelser kommer til at ligge tæt på OECD-gennemsnittet.

Flere kritikere på banen

PISA-undersøgelsen har været mødt med megen kritik bl.a. fra den danske statistiker, professor emeritus Svend Kreiner fra Københavns Universitet for en fejlagttig brug af Raschmodellen (opkaldt efter den danske matematiker Georg Rasch).

Lad mig blot citere fra abstractet fra en artikel i Psychometrika: 'Vores analyser ... understøtter ikke påstandene om, at landenes placeringer rapporteret af PISA er robuste.'

En anden mangeårig kritiker er Marina Norling, der bl.a. har skrevet flere indlæg i bladet Folkeskolen om PISA. Hun peger på et yderligere problem i form af den overrepræsentation, elever med anden etnisk baggrund end dansk har i undersøgelsen.

Denne form for oversampling af etniske elever udføres med henblik på at studere forskelle mellem forskellige elevgrupper, som det sker i undersøgelsen PISA Etnisk, som ifølge Marina Norling er et enestående dansk fænomen.

For at undersøgelsen alligevel skal give et retvisende billede, bruges forskellige vægte, så grupper, der er overrepræsenterede i stikprøven, har små vægte, mens grupper, der er underrepræsenterede, har store vægte.

Jeg har set lidt på metoden, og ved første øjekast ser det hele tilforladeligt ud, men jeg vil dog give kritikerne ret i, at der ingen mulighed er for præcist at se, om vægtningen er gennemført korrekt.

Marina Norling mener dog også, at det forhold, at gruppen af elever, der udvælges til test, rummer mange elever med dårlige kundskaber og kompetencer, gør, at alle i testgruppen – måske ubevidst – laver et dårligt testresultat, for det bliver ligesom normen i det lokale, hvor testen foregår.

Om det er rigtigt eller ej er svært at vurdere, men jeg sendte dog for tre dage siden en forespørgsel til den danske leder af PISA-undersøgelsen, Hans Hummelgaard fra KORA (Det Nationale Institut for Kommuners og Regioners Analyse og Forskning), omkring nogle af de problemer, der kunne være med oversampling.

Det gjorde mig ikke klogere, for jeg hørte ingenting.

Efter at jeg har set lidt nærmere efter både hos OECD og det danske PISA-konsortium kan jeg dog konstatere, at det er en uhyre kompliceret metode og analyse, der benyttes.

Umiddelbart virker det, som om forskerne har styr på det meste. På den anden side virker kritikken fra bl.a. Svend Kreiner og Marina Norling relevant.

Uanset om Danmark holder sin nuværende placering eller rykker lidt frem eller tilbage, og andre medier derfor vil erklære, at nu er børnene igen blevet dummere eller sensationelt er blevet bedre – og det skal vi nok holde øje med på tirsdag her på sitet – vil jeg ikke lade PISA-undersøgelsen være afgørende for, hvordan det danske skolesystem skal videreudvikles. Og jeg er slet ikke sikker på, at vi skal kopiere vinderne i et og alt.

Det vil dog være kedeligt, hvis den skævhed, som er lagt ind i den danske undersøgelse for at kunne lave PISA Etnisk, koster Danmark point og pladser, fordi der muligvis ikke er kompenseret for den på den helt rigtige måde.

Glem PISA, gør som Lucy

Måske burde vi bare glemme alt om PISA og i stedet udelukkende fokusere på bedre lærere.

Jeg blev meget overrasket, da dronningen af alle klummeskribenter i verden, Lucy Kellaway fra Financial Times, i sidste uge erklærede, at til næste år – som 58-årig – skifter hun karriere.

I stedet for at være feteret stjerneskribent og hudfletter nr. 1 af erhvervsledernes brug af floskler i deres interne og eksterne kommunikation, bliver hun nu matematiklærer. Læs hendes redegørelse for dette skifte og om betydningen af gode lærerkræfter på Financial Times. Hvis linket havner foran en paywall, så prøv at søge med ordene 'I’m leaving and I want you to join me'.

Mange er gode til at tale lærergerningen ned, få er gode til at tale den op. Hvad Anders Bondo Christensen som dansk lærerformand ikke formår at gøre, det gør Lucy Kellaway.

Batterier og radioaktivitet

Lad os springe til et helt andet emne fra ugens videnskabsstrøm, hvor det var let at misforstå, hvad det unikke egentlig var.

En britisk forskergruppe fra Bristol University har fremlagt et forslag til at omdanne atomaffald til batterier. Det er en historie, som gik verden rundt, og som vi valgte kort at omtale ved en henvisning til en artikel på dr.dk, men som mange læsere valgte at kommentere hos os.

Læs også: Forskere: Vi kan omdanne radioaktivt affald til batterier, der holder tusinder af år

Men tøv en kende, siger jeg. For hvis du tror, vi om føje år kan indkapsle alle former for radioaktivt affald og høste energi fra de radioaktive henfald på en sikker måde, så må du hellere tro om igen.

De britiske forskere forestiller sig ikke at bruge det mest højradioaktive affald i form af uran, plutonium og slige materialer, men kulstof-14 fra de grafitmoderatorer, som Storbritannien har benyttet i sine gaskølede Magnox-reaktorer, og som nu er ved at blive udfaset.

De udtjente grafitmoderatorer nærmest hober sig op.

Bristolforskernes idé med at tage kulstof-14 fra moderatorer og omdanne det til et diamant-batteri (se i videoen hvordan) virker da bestemt gennemførlig, men anvendelserne vil nok være meget begrænsede, som forskerne også selv er inde på. Og det vil nok kun gøre et begrænset indhug i affaldslageret af grafitmoderatorer.

Alle, der har set denne metode som en løsning på atomaffaldsproblemet, bør i stedet se den som en smart metode til fremstilling af specialbatterier med begrænset efterspørgsel.

Plutos iskolde hjerte

Pluto bliver ved at overraske.

Sidste uge berettede jeg næsten poetisk om, hvordan det hjerteformede område på dværgplaneten havde været på vandretur, så det havde stillet sig i en position, der altid var rettet stik modsat månen Charon.

Læs også: Plutos hjerte har været på vandretur

I denne uge skriver forskere i Nature, at ishjertet har forårsaget en depression.

De videnskabelige artikler, jeg henviste til i sidste uge, formodede, at regionen Sputnik Planitia, der udgør venstre del af hjertet, var dannet i forbindelse med et stort nedslag, hvorefter krateret var fyldt med tung is.

Denne omfordeling af masse havde så i forbindelse med tidevandskræfterne fra Charon fået Pluto til at dreje sig.

Det lød ganske plausibelt, men det er måske ikke helt rigtigt, hvis man i stedet skal tro den forklaring, som en forskergruppe anført af Douglas Hamilton fra University of Maryland i USA nu fremlægger.

En computersimulering, som disse forskere har gennemført, tyder i stedet på, at isen på Pluto inden for en million år efter dannelsen af Charon samlede sig i et stort område.

I takt med, at ismængden tog til, blev det koldere, da den hvide is reflekterede det sparsomme sollys. Det gjorde det endnu koldere og virkede som et positivt feedback til opsamlingen af is i det hjerteformede område.

De store og tunge ismængder trykkede på overfladen og forårsagede en depression – og ishjertet tog på vandretur som beskrevet i de foregående forskningsartikler og Ingeniørens omtale heraf.

Så ikke alene har Pluto et hjerte af is, men det har også forårsaget en depression.

Efter at være bragt i denne trykkede stemning burde vi være klar til at modtage de forventeligt sørgelige budskaber om PISA-undersøgelsen på tirsdag.

Emner : Værd at vide
sortSortér kommentarer
  • Ældste først
  • Nyeste først
  • Bedste først

Kære Jens! Du skrev: "Umiddelbart virker det som om forskerne har styr på det meste."

Efter min mening har forskerne ikke styr på det vigtigste. Nemlig hvordan det går de elever og de lande som får de gode PISA-resultater.

Statistisk set er der én bestemt skoleform der topper når det gælder elever (i Danmark) som fuldfører en videregående uddannelse. Det er Rudolf-Steinerskolerne. Som absolut ikke lægger vægt på PISA-relaterede emner, men fokuserer på at uddanne hele og måske sågar lykkelige mennesker.

Efter sigende er de rigtig glade for Rudolf-Steiner børnehaver og skoler i Silicon Valley, og det forstår jeg godt. Det er intelligente mennesker som bor og arbejder dér ...

At fokusere på karakterer og færdig-læring er urelevant for de fleste (?) fag.. Pædagoger, læger, servicemedarbejdere, bagerjomfruer, chauffører, jordemødre osv. har brug for HELT andre kompetencer end dem der bliver målt gennem PISA.

  • 8
  • 0
  • forskellene i hvornår bestemte fag/emner tages op i undervisningsforløbet? Jeg erindrer en Pisa-undersøgelse for mange år siden, i efteråret, hvor en dansk 7. klasse skulle besvare adskillige spørgsmål i science-fag. Det var bemærkelsesværdigt, al den stund at de danske elever kun havde haft et par måneders undervisning i fysik og blev målt i forhold til elever i andre lande, der havde haft science i 2 år og mere. Ikke desto mindre klarede de danske elever sig ved den lejlighed en hel del bedre end man kunne forvente på den baggrund.
  • 1
  • 0

Muligvis, men jeg tænkte på dataindsamling og statistisk analyse.

Ja det forstår jeg;.-)

Min pointe er at når forskerne ikke har styr på hvad hovedformålet er med deres forskning har de ikke styr på det vigtigste. Det svarer til at skrive en opgave om det forkerte emne ...

PISA bliver brugt som et politisk instrument til at presse reformer ned over skoler og børnehaver. Og PISA synsvinkel er en fejlfortolkning af menneskers og samfunds behov.

En anden undersøgelse skriver f.eks. "Danske unge dumper i arbejdsmarkedsfærdigheder". Den påviste at Danmark ligger på plads 40 hvad angår uddannelse til erhvervslivet. Undersøgelsen gik ud fra helt andre præmisser, nemlig at den verden vi er på vej ind i kræver evne til omstilling, livsvarig læring og selvstændig tænkning. (http://www.business.dk/arbejdsmarked/dansk...)

Følelsesmæssig intelligens er muligvis fy-ord for ingeniører, men den er vigtig: "dårlig adfærd reduceres med 10 procent, mens den positive adfærd omvendt stiger med 10 procent. Samtidig viser det sig, at børnenes generelle indlæring forbedres med i gennemsnit 11 procent." http://nordicparenting.dk/2016/10/07/forsk...

  • 1
  • 0

Uanset om Danmark holder sin nuværende placering eller rykker lidt frem eller tilbage, og andre medier derfor vil erklære, at nu er børnene igen blevet dummere eller sensationelt er blevet bedre – og det skal vi nok holde øje med på tirsdag her på sitet – vil jeg ikke lade PISA-undersøgelsen være afgørende for, hvordan det danske skolesystem skal videreudvikles. Og jeg er slet ikke sikker på, at vi skal kopiere vinderne i et og alt.

Uanset om jeg holder min nuværende vægt eller rykker lidt frem eller tilbage, og andre derfor vil erklære, at nu er jeg igen blevet tykkere eller sensationelt er blevet tyndere – og det skal jeg nok holde øje med når jeg bestiger vægten – vil jeg ikke lade vejningen være afgørende for, hvordan mine spisevaner skal videreudvikles. Og jeg er slet ikke sikker på, at jeg skal kopiere de tynde i et og alt.

Tak for forsøget på at afværge en national depression på tirsdag.

  • 1
  • 0

Læser man de tekniske rapporter fx PISA 2012 (https://www.oecd.org/pisa/pisaproducts/PIS...) kap. 8, så beregnes en elevs vægt i undersøgelsen på følgende måde:

Den enkelte udvalgte elevs vægt er produktet af

the school base weight, is given as the reciprocal of the probability of inclusion of school i into the sample;

the within-school base weight, is given as the reciprocal of the probability of selection of student j from within the selected school i;

og fem justeringsfaktorer som skal kompensere for fx skoler som nægter at deltager selv om de var valgt til deltage og elever, der ikke dukker op selv om de var valgt til at deltage.

I den danske 2012 rapport står følgende om "oversamplingen" - s 154: "I Danmark har man i PISA 2012 valgt, som en national option, at lave en oversampling af elever med en anden etnisk baggrund end dansk. Det gjorde man også i PISA 2009. Det betyder, at man i Danmark har udvalgt flere skoler med mange elever med anden etnisk baggrund end dansk, og at man på de deltagende skoler har udtrukket flere elever med anden etnisk baggrund end dansk. En efterfølgende vægtning af data sørger for, at data alligevel er repræsentative for populationen af 15-årige under uddannelse."

Om selve udtrækket hedder det fx - s 155 "På de udtrukne skoler i stratum 02, 03 og 04 blev eleverne delt i to grupper, hvorfra der blev udtrukket elever. I stratum 02 blev der udtrukket 20 elever (TCS=20) med dansk etnisk baggrund, og alle eleverne med anden etnisk baggrund end dansk blev tilføjet til udtrækket."

TCS er det antal elever man må udtrække. Hvis der er mere end 20 elever fx 30 så bliver hver elevs vægt 3/2. Men "alle eleverne med anden etnisk baggrund end dansk blev tilføjet til udtrækket. De ekstra elever må være den nationale option, hvis data så bare er inkluderet i PISA, som om de deltog i den internationale undersøgelse.

Der er helt tydelig brud på den tekniske standard i PISA, der siger, at man skal udtrække en repræsentativ stikprøve.

Selv om der et eller andet sted i PISAs vægtberegninger sker en justering for de ekstra elever, så er skaden sket. Det skyldes, at testen kalibreres på uvægtede data (s. 148 ff). Og med flere "fagligt svage" elever i stikprøven end i populationen så får Danmark noteret en højere fejlprocent, end vi ville med en repræsentativ stikprøve og derfor falder vi ned af ranglisten.

Og så er der jo så også lige de færøske elever, som underligt nok også optræder i den danske stikprøve:

Side 221 i den tekniske rapport: Denmark PS+CBA 15, but 0 in SEN schools, and all students in stratum 5 schools (Faroes) 28 for strata 1, and 4, 20 for strata 2, and 3, all for stratum 5

  • 2
  • 0

Jeg synes, at det er meget uklart, hvordan PISA-undersøgelserne inddrager det frohold, at der er meget store forskelle på, hvor vanskeligt det er at lære at læse og skrive ens eget modersmål. Jeg læste for et stykke tid siden en bog om indlæring og her stod, at blandt indoeuropæiske sprog var det sprog, der var vanskeligst at lære engelsk, dansk og fransk kom ind på en delt andenplads, mens finsk og italiensk var de sprog, der lettest at lære. Altså for landenes egne indbyggere. Årsagen var sammenhængen mellem skrift og tale sprog, hvor afstanden er stor i engelsk, mens den er lille på finsk og italiensk. Når finnerne kommer højt ud i PISA-undersøgelserne og danskerne lavt kunne det altså skyldes afstanden mellem tale og skriftsprog. Dermed ville resultatet intet have med kvaliteten af skolesystemerne at gøre. Det burde i hvert fald klart fremgå af PISA-undersøgelserne, hvad der kan tilskrives skole og undervisning og hvad der kan tilskrives helt andre forhold.

  • 0
  • 0
Bidrag med din viden – log ind og deltag i debatten