Mere om standardafvigelser

Af Poul-Henning Kamp,  mandag 02. jan 2012 kl. 19:26

Den sandsynligvis største forbedring af vejrudsigter og klimamodeller var da man begyndte at køre "ensembler" og behandle deres output statistisk.

Her er et aktuelt eksempel fra ECMWF:



ECMWF's "Ensemble Prediction System" er en temmelig interessant affære som de har rodet med i mange år og som en del af den helt naturlige kamp for at blive bedre, har de også analyseret fejlene, for at forstå dem.

Groft sagt bygger man et ensemble af varierende input-scenarier og kører f.eks 50 kørsler med 25 sådanne scenarier med hhv positivt og negativt fortegn på "forstyrrelsen".

Samtidig kører man naturligvis en "kontrol" hvor man ikke har pillet.

Denne kurve fra ECMWF's håndbog, tror jeg de fleste vil blive forbavset over:



På Y-aksen har vi hvilken andel af ensemblet der har mindre fejl end kontrolkørslen. På X-aksen har vi hvor lang tid ud i fremtiden vejret forudsiges.

Der er masser af klog læsning i håndbogen, om hvorfor, hvordan og hvornår, men kurven her viser den allervigtigste pointe: Vejret konvergerer (det meste af tiden).

Vi har alle hørt om sommerfuglen der skaber stormvejr og vittigheder om at slippe en vind og give Moskva en snestorm osv.

Det er i princippet ikke forkert, det er bare vildt usandsynligt, på samme måde som der er en ikke-nul sandsynlighed for, at en keddel fyldt med koldt vand fryser til is, når man sætter den på en rødglødende kogeplade.

I praksis er den slags småting inderligt ligegyldige: Det er de store energistrømme der skaber vejret: Oceanerne, jordens rotation og solens strålingsenergi.

Denne kurve er forudsætningen for at klimamodeller kan bruges til noget: Hvis ikke vejret konvergerede, ville alle modeller, vejr såvel som klima, være helt ubrugelige efter ganske få uger.

Men som det ses på den øverste figur, er spredningen imellem modellerne ikke jævnt fordelt: At forudsige vejret for nogle millioner kvadratkilometer Atlanterhav er nemt, at gøre det for nogle få hundrede kvadratkilometer Skagerak er overhovedet ikke nemt.

Opløsningen i ECMWF's model er i størrelsesordenen 16km, hvilket giver et par millioner punkter over hele jordoverfladen, hver med circa 100 punkter i højden, i alt et par hundrede millioner kasser atmosfære.

Derfor stiger spredningen i ensemblet når lokalgeografien er særlig relevant, som f.eks i Skagerak, det må vi leve med, indtil ECMWF's computere bliver store nok.

phk

PS: Debatindlæg der påstår at klimamodeller ikke kan bruges til noget vil herefter blive ignoreret og debatanterne anbefales at læse håndbogen der er link til ovenfor: På den måde spilder de ikke deres tid.



03. jan 2012 kl 13:12

Karsten Bolding

2 andre ensemble metoder ...

Istedet for at pertubere initial og/eller randbetingelser kan man brug multi-model (MM) eller multi-scheme (MS) approach.

I MM benytter man forskellige modeller til at danne ensemblet.

I MS benytter man den samme model men i forskellige model konfigurationer - man kan f.eks. ændre på fysik/turbulens skema, advektionsskema og konvektionsskema. Med 4 forskellige implementeringer af hver af de 3 nævnte komponenter har man 64 members i sit ensemble.

De 3 forskellige metoder til etablering af ensemblet kan indbyrdes kombineres for at få flere members.

Et problem er at 'få spredning nok' på sit ensemble - som samtidig er fysisk muligt - dvs dække faserummet for modeludviklingen så godt som muligt.

Karsten


03. jan 2012 kl 13:57

avatar

Poul-Henning Kamp

Re: 2 andre ensemble metoder ...

Istedet for at pertubere initial og/eller randbetingelser kan man brug multi-model (MM) eller multi-scheme (MS) approach.

Rigtigt.

Fundamentalt set er det en "Monte Carlo" metode og det vigtige er at få en relevant spredning.

ECMWF bruger så vidt jeg ved også deres "EPS" parametre til at fin-tune deres deterministiske model ved at afsøge forskellige parameter-rum for bedre hit-rate.


03. jan 2012 kl 13:57

Bjarke Dalslet

Konvergerende vejr?

Man kan ikke ud fra den viste graf konkludere at vejret konvergerer (hvordan det end skal forstås - hvad skulle det konvergere imod?).

Grafen viser hvor mange af de perturberede kørsler der afveg mindre fra det faktiske forløb end kontrolkørslen. At grafen asymptotisk bør nærme sig 50% indses let, da forudsigelserne bliver mindre og mindre sikre jo længere man kigger frem og fejlene bliver dermed voldsomt større. Går man langt nok frem bliver alle kørslerne - perturberede såvel som kontrol - i praksis tilfældige. Kontrolkørslen vil da - for et højt antal ensemblekørsler - gennemsnitligt lægge sig i midten af feltet af perturberede kørsler, og man får de 50%.

Sagt på en anden måde vil den fordel kontrolkørslen har af at have det bedste startgæt blive mindre og mindre jo længere man kigger frem indtil kontrolkørslen bliver lige så dårlig som de perturberede kørsler.

Derimod kan man intet sige om spredningen i ensemblet ud fra grafen. En værdi på 0% kan sagtens betyde at alle de pertuberede er næsten korrekte, lige som det kan betyde at de er helt ude i hampen...

Da pertubationerne er små og bedstegættet ikke perfekt er kontrolkørslens fordel fra at være bedste gæt ikke specielt stærk. Det gør at køres et ensemble i et begrænset område vil der være en ikke-forsvindende chance for at en pertubation giver en lavere fejl. Det ses på grafen hvor kurverne ikke starter i 0%.

Øges testområdet er der nu flere tilfældigheder der skal falde ud til pertubationskørslens fordel for at den bliver bedre end kontrolkørslen. Da kontrolkørslen jo har en lidt større chance for at den enkelte tilfældighed favoriserer den, vil antallet af pertubationskørsler med mindre fejl end kontrolkørslen falde når testområdet og dermed antallet af tilfældigheder øges.

Summa summarum er grafen konsistent med at pertubationskørslerne divergerer fra kontrolkørslen når forudsigelsesperioden øges, så længe at kontrolkørslen også divergerer fra det faktiske forløb.


03. jan 2012 kl 14:11

Karsten Bolding

Re: 2 andre ensemble metoder ...


Rigtigt.

Fundamentalt set er det en "Monte Carlo" metode og det vigtige er at få en relevant spredning.

Nej - der er ikke noget 'random' over disse metoder. Der er simpelthen tale om forskellige implementeringer af de forskellige fysiske processor - a priori
ved man ikke hvilken der giver det bedste resultat.



ECMWF bruger så vidt jeg ved også deres "EPS" parametre til at fin-tune deres deterministiske model ved at afsøge forskellige parameter-rum for bedre hit-rate.

EPS er fuldt deterministisk - men ja Monte Carlo kan bruges til optimering af model parametre - men ikke for en given forecast.

Karsten


03. jan 2012 kl 14:15

avatar

Poul-Henning Kamp

Re: 2 andre ensemble metoder ...


Fundamentalt set er det en "Monte Carlo" metode og det vigtige er at få en relevant spredning.

Nej - der er ikke noget 'random' over disse metoder.

Uhm, Monte Carlo behøver sandelig ikke at være "random" i nogen henseende, selvom det oftest er den måde man parameteriserer den på.


03. jan 2012 kl 14:18

avatar

Poul-Henning Kamp

Re: Konvergerende vejr?

Man kan ikke ud fra den viste graf konkludere at vejret konvergerer (hvordan det end skal forstås - hvad skulle det konvergere imod?).

Grafen viser konvergens imod vejret som det blev.

Det er rigtigt at forudsigelserne bliver dårligere og dårligere til at ramme jo længere du når ud, men det forandrer ikke noget på konklusionen: Selv om de starter med "forkerte" udgangspunkter, konvergerer ensemblet stadig.


03. jan 2012 kl 14:58

Thomas Pedersen

Re: Konvergerende vejr?

Man kan ikke ud fra den viste graf konkludere at vejret konvergerer (hvordan det end skal forstås - hvad skulle det konvergere imod?).

Grafen viser konvergens imod vejret som det blev.

Det er rigtigt at forudsigelserne bliver dårligere og dårligere til at ramme jo længere du når ud, men det forandrer ikke noget på konklusionen: Selv om de starter med "forkerte" udgangspunkter, konvergerer ensemblet stadig.

Nej, teksten skriver klart, at grafen viser andelene af pertubationer der var bedre end kontrolkørslen.

Det er også centralt at påpege, at når en pertubation er bedre end kontrolkørslen i en mindre region, f.eks. Danmark, så gælder det *kun* i Danmark. Den kan fint være ringere andre steder, som forklaret i håndbogen i afsnittene over figuren (figur 26). Dermed gælder også, at det er rent held, hvis en given pertubertion er bedre end kontrolkørslen - faktisk er de fleste dårligere.


03. jan 2012 kl 15:00

avatar

Poul-Henning Kamp

Re: Konvergerende vejr?


Nej, teksten skriver klart, at grafen viser andelene af pertubationer der var bedre end kontrolkørslen.

Ja, og "bedre" er målt på skalaen: "RMS fejl fra faktisk vejr"


03. jan 2012 kl 15:19

Thomas Pedersen

Re: Konvergerende vejr?


Nej, teksten skriver klart, at grafen viser andelene af pertubationer der var bedre end kontrolkørslen.

Ja, og "bedre" er målt på skalaen: "RMS fejl fra faktisk vejr"

Ja, men det betyder ikke, at de konvergerer mod vejret, som det blev! Det siger vel også sig selv...


03. jan 2012 kl 15:27

Thomas Pedersen

Re: Konvergerende vejr?


Nej, teksten skriver klart, at grafen viser andelene af pertubationer der var bedre end kontrolkørslen.

Ja, og "bedre" er målt på skalaen: "RMS fejl fra faktisk vejr"

Ja, men det betyder ikke, at de konvergerer mod vejret, som det blev! Det siger vel også sig selv...

Rettelse, y-aksen er ikke "RMS fejl fra faktisk vejr", men: "the percentage of perturbed forecasts with lower RMSE than the Control forecast for regions of different sizes", altså, andel af pertubationer, der var mindre ringe end kontrolkørslen.

Efter 10 dage er de allesammen volapyk, og ca. halvdelen er mindre volapyk end kontrolkørslen og den anden halvdel mere end.


03. jan 2012 kl 15:32

Bjarke Dalslet

Re: Konvergerende vejr?


Det er rigtigt at forudsigelserne bliver dårligere og dårligere til at ramme jo længere du når ud, men det forandrer ikke noget på konklusionen: Selv om de starter med "forkerte" udgangspunkter, konvergerer ensemblet stadig.

Det kan man ikke konkludere ud fra grafen. De 50% hvor kontrolkørslen ligger i midten af ensemblet fås netop også for fuldstændigt dekoblede, tilfældige sluttilstande. Der er simpelthen ingen information om spredningen af ensemblet i grafen.


Ja, og "bedre" er målt på skalaen: "RMS fejl fra faktisk vejr"

Hvilket er ligegyldigt hvis kontrolkørslen som de perturberede kørsler bliver sammenlignet med i sig selv divergerer fra det faktiske vejr. Hvilket kontrolkørslen i det generelle tilfælde gør. Se f.eks. fig. 28 i din kilde. Der er en grund til at det kaldes plume-diagrammer...


03. jan 2012 kl 16:04

Karsten Bolding

Re: 2 andre ensemble metoder ...



Uhm, Monte Carlo behøver sandelig ikke at være "random" i nogen henseende, selvom det oftest er den måde man parameteriserer den på.

Så trænger http://en.wikipedia.org/wiki/M...thod til en opdatering.

Karsten


03. jan 2012 kl 16:20

avatar

Poul-Henning Kamp

Re: Konvergerende vejr?


Efter 10 dage er de allesammen volapyk, og ca. halvdelen er mindre volapyk end kontrolkørslen og den anden halvdel mere end.

Hvis ikke vejret konvergerede, ville du forvente at det var tæt på 100% der var mere volapyk end kontrolkørslen.


03. jan 2012 kl 16:33

avatar

Poul-Henning Kamp

Re: 2 andre ensemble metoder ...


Så trænger http://en.wikipedia.org/wiki/M...thod til en opdatering.

Det gør den utvivlsomt: Kernen i Monte Carlo er at dine "skud" ikke har nogen systematisk sammenhæng med den "skive" du skyder efter, men det er ikke noget krav at dine "skud" er tilfældigt valgt, de skal bare ikke være systematiske på en måde der har en sammenhæng med "skiven".

I langt de fleste tilfælde er tilfældige skud dog hurtigere at implementere og validere, end en til formålet bygget systematisk skudfunktion, men der er tilfælde hvor det sidste giver god mening, f.eks hvis der er tale om flere koblede dimensioner.


03. jan 2012 kl 16:53

Bjarke Dalslet

Re: Konvergerende vejr?


Hvis ikke vejret konvergerede, ville du forvente at det var tæt på 100% der var mere volapyk end kontrolkørslen.

For lange tider er kontrolkørslen lige så afkoblet fra det rigtige vejr som de perturberede kørsler - dvs. den er lige så meget volapyk - derfor de 50%.


03. jan 2012 kl 17:06

avatar

Poul-Henning Kamp

Re: Konvergerende vejr?


For lange tider er kontrolkørslen lige så afkoblet fra det rigtige vejr som de perturberede kørsler - dvs. den er lige så meget volapyk - derfor de 50%.

Det forklarer jo ikke de første fem dage af kurven, hvor ECMWF's dokumenterede hit-rate er bedre end 60% ?


03. jan 2012 kl 17:39

Bjarke Dalslet

Re: Konvergerende vejr?

Det forklarer jo ikke de første fem dage af kurven, hvor ECMWF's dokumenterede hit-rate er bedre end 60% ?

Lange tider >10 dage. For korte tider har kontrolkørslen en fordel da dens starttilstand er "bedste gæt" og ikke "bedste gæt"+perturbation. Denne fordel bliver naturligvis mindre og mindre jo længere tid man kører og jo længere over i det "tilfældige" regime man kommer.


03. jan 2012 kl 18:05

avatar

Poul-Henning Kamp

Re: Konvergerende vejr?


Lange tider >10 dage.

Hvilket ligger udenfor den kurve jeg brugte.

Kan vi ikke lige holde os til den kurve der er ovenfor ?


03. jan 2012 kl 21:53

Bjarke Dalslet

Re: Konvergerende vejr?


Hvilket ligger udenfor den kurve jeg brugte.

Kan vi ikke lige holde os til den kurve der er ovenfor ?

Ja, ok, du kan jo også læse din kilde hvor der står at kurverne nærmer sig 50% for større tider. For hvis du vil diskutere konvergens, eller rettere mangel på samme, så er lim(t->uendelig) rimeligt vigtigt. Det kommer ligesom af definitionen på konvergens.

Og så kan du spørge dig selv om hvorfor rapporten overhovedet ikke nævner at perturbationskørslerne konvergerer. Hint: det er fordi de ikke gør det - se f.eks. Fig 28.

Jeg kan ikke skære det mere ud i pap end jeg og Thomas Pedersen allerede har gjort ovenfor, så jeg vil lade den ligge her.


03. jan 2012 kl 22:34

avatar

Poul-Henning Kamp

Re: Konvergerende vejr?


Og så kan du spørge dig selv om hvorfor rapporten overhovedet ikke nævner at perturbationskørslerne konvergerer. Hint: det er fordi de ikke gør det - se f.eks. Fig 28.

Jeg tror vi taler seriøst forbi hinanden:

Jeg taler ikke om at modellerne konvergerer på det aktuelle vejr, jeg taler om at vejret (det faktiske udenfor) konvergerer på klimanormalen over tid.

Med andre ord: Uanset hvilke mikrometeologiske fænomener der optræder om sommeren, bliver det stadig koldere om vinteren og denne konvergens gør at du kan køre en klimamodel og få brugbare resultater ud af den.

Det er sådan set præcis det figur 28 viser: Selvom der på den korte bane kan forekomme en bifurkation i ensemblet, falder de tilbage i samme spor igen senere. Et bedre eksempel herpå er figur 49 hvor du kan se spredningen stige og falde over tid.

Hvis vejret opførte sig som klimaobskuranterne elsker at påstå, skulle ECMWF's ensemble allerede efter en uge være helt ude i hampen og over længere perioder køre helt i grøften.

Det gør det ikke, det giver faktisk ganske solide fingerpej om udviklingen i vejret helt op til en måned frem i tiden.


04. jan 2012 kl 10:49

Bjarke Dalslet

Re: Konvergerende vejr?


Jeg taler ikke om at modellerne konvergerer på det aktuelle vejr, jeg taler om at vejret (det faktiske udenfor) konvergerer på klimanormalen over tid.

Jeg tror jeg ville bruge et udtryk som "svinger omkring klimanormalen" da "konvergerer imod klimanormalen" betyder, i hvert fald matematisk, at de enkelte kørsler for meget lange tider vil være præcis lig klimanormalen. Det er ikke for at fluekneppe, det er bare ret forvirrende ellers.

I figur 49 falder spredningen på parametrene efter blæsevejret, men det er naturligt da gennemsnitsværdien af parametrene også falder. Når man er så tæt på nulværdien bør man i stedet for spredningen U(x) bruge U(x)/x. Det ændrer selvfølgelig ikke på at spredningen i hvert fald stagnerer omkring klimanormalen som jeg forstår er din pointe?
Man kan så spørge sig selv om man efter 6 dage er bedst tjent med at stole på modellerne, eller bare tage klimanormalen med samme usikkerhed...

Det ændrer dog ikke ved at den graf du viser ovenfor ikke kan bruges til at vurdere spredningen i ensemblet.


Ny i debatten? Opret en brugerkonto

  • Seneste nyt
  • Mest læste
  • Debatterede
 

Nyhedsbrev

Tilmeld dig vores nyhedsbrev.