När vi nu efter en vecka summerar vad uppföljningen av ensembleprognoserna för temperaturen för Frösön/Östersund gav så kan man konstatera att mer än hälften av observationerna (verkligheten) låg utanför det intervall som spändes upp av de olika ensembleprognoserna.
Mitt mål var att max 20% skulle ligga utanför intervallet. Jag får väl därmed konstatera att jag hade, eller rättare sagt gjorde, fel.
Och att jag hade kunnat ha såväl större fel, som mer rätt.
Om jag hade gått på den deterministiska, operationella, modellen (ECMWF med 16 km upplösning) så hade jag haft ännu mer fel. Det är den som majoriteten av alla prognoser på sajter, radio och TV baseras på. I bilden ovan är den markerad som en röd linje. Som synes så underskattade den temperaturen på Frösön mer än vad de övriga ensemblerna gjorde.
Förvisso innehåller den deterministiska/operationella modellen mer detaljer än vad ensemblerna gör. Detta dels för att den körs med högre upplösning, dels för att ett medelvärde jämnar ut detaljer. Men som synes så är den inte alltid bra på att återge verkligheten (att den har)
Mer rätt hade jag haft om jag hade använt mig av detaljer i ensemblerna (som jag vid försöket inte hade tillgång till). Tex om hade jag då fått med min- och maxtemperatur, något som inte kan förväntas inträffa exakt var tolfte timme (kl 00 resp 12 utc vilket var de tidpunkter jag baserade grafen på).
Därtill hade jag bara tillgång till prognoser för var 12:e timme. Som synes doldes det en del information mellan dessa punkter, tex i torsdags kl 06 (utc) där operationella modellen låg klart utanför ensemblerna där jag bara gjorde en linjär interpolation mellan 00 och 12. Den kan i och för sig ligga utanför fältet som representerar 80% av ensemblerna, men hade det funnits ett ensembelvärde för denna tidpunkt så hade den troligen dragit lite åt den operationella körningens håll.
Ytterligare en sak som kan ha inverkat på kvalitén är huruvida prognosen är en interpolation mellan närliggande geografiska gridpunkter till Frösön eller om det är prognosen för en specifik gridpunkt i närheten av Frösön. Det senare är att föredra.
Jag hade även kunnat addera meteorologisk egen erfarenhet över hur pass bra EC-modellen är att prognostisera vädret i detalj och i synnerhet för just Frösön. Men nu ville jag som sagt var avgränsa försöket till modelldata.
Slutsatsen så här långt (det lär komma mer i kommentarerna):
– Singla slant eller kasta tärning är inget bra sätt att göra prognoser på (jag skrev om det för några år sedan med anledning av att jag kritiserade en undersökning av vädersajter.)
– Att säga “samma väder i morgon som det var idag” är bättre än att kasta tärning. Man kan ha det som default, men man får inte med det riktigt intressanta och som man vet kommer att hända: Att vädret ändras.
– Deterministiska prognoser kan fånga väderutvecklingen i stort och har med mycket detaljer. Men att man inte skall fästa sig tillnärmelsevis så mycket för dessa detaljer som de flesta vädersajter gör. I synnerhet gäller det prognoser som är längre än en vecka. (Ja, jag är kritiskt till att Klart.se gör det)
– Medelvärdet av ensembler (dvs ett stort antal prognoser) ger ett betydligt bättre svar på hur vädret kommer att utvecklas. Detta trots att de har sämre rumslig och tidsmässig upplösning än den operationella modellen. Men inte heller medelvärdet av ensembler är felfritt.
– Spannet av ensembler ger en ännu bättre bild av väderutvecklingen. Men trots att den beskriver ett sannolikt rum (i vårt fall en yta eftersom vi bara tittade på en parameter, temperaturen) så har den inte heller 100% träffsäkerhet.
– Man kan höja kvalitén på prognoserna genom att lägga på erfarenhetsbaserad kunskap om hur en viss modell beter sig i olika vädersituationer och/eller på olika platser. Detsamma gäller om det finns lokala betingelser som påverkar vädret på en skala som understiger modellens upplösning.
/Martin
Ett stort tack till meteorolog Anders Persson som kommer med såväl uppmuntran som (konstruktiv) kritik av dessa experiment.
