Av Martin Hedberg
Under sommaren har såväl meteorologer som datormodeller för att göra väderprognoser kritiserats en del. Bland annat konstaterade DN att SMHI, DMI, Yr.no och Foreca (som vi på Klart.se köper data från) bara hade omkring 40% rätt i sina prognoser.
DN får det att låta som om man skulle få mer rätt om man singlade slant. Men så är det inte. När man singlar slant så blir resultatet som bekant antingen krona eller klave. Sannolikheten är 50% för vardera. Sannolikheten att man får rätt prognos genom att singla slant är betydligt mindre.
Så här skriver DN om hur de bedömt prognoserna:
”Kvaliteten på prognosen har bedömts utifrån temperatur, nederbörd och molnighet. För temperatur har vi godkänt fel på två grader, upp och ner. För nederbörd har vi inte tagit hänsyn till antalet millimeter utan endast om det förekommit nederbörd eller inte. Gällande molnigheten har vi hellre gett rätt än fel. Om prognosen säger ”Lätt molnighet” och vädret blir ”Klart väder” har vi bedömt det som korrekt. Däremot blir prognosen ”Lätt molnighet” fel om det är mulet.”
De har undersökt tre parametrar, inte en (som när man singlar slant). Dessutom har dessa parametrar fler möjliga slutresultat än två. För att man skall få rätt enligt DN:s undersökning så krävs att alla dessa tre parametrar är rätt.
Låt oss anta att vi gjorde prognoserna genom att singla slant. För det första så är det inte en slant, utan tre, som vi skall singla. Alla skall vara rätt.
Dessutom har inte slantarna bara två sidor utan fler, det är mer att jämföra med en tärning där sannolikheten är 1/6-del för att en given sida skall komma upp.
Temperaturen kan som bekant variera rätt stort. Men låt oss i detta fall tala om en tärning med tre sidor: Antingen gissar man för kallt, eller rätt (+/- 2 grader), eller för varmt. Sannolikheten att gissa rätt är 33%.
Nederbörd: Här är det ja eller nej, sannolikheten är 50%
Molnighet: Här framgår det inte riktigt hur många positioner svaret har. Rimligtvis är det tre (klart, växlande molnighet och mulet), men låt oss tolka det till DN:s fördel och ge det två positioner (inte moln eller moln), dvs 50% sannolikhet.
Sannolikheten för att man skall få rätt svar på alla tre parametrarna genom att singla slant får man genom att multiplicera sannolikheterna för var och en av dem, dvs 33% x 50% x 50%, (eller 1/3 x 1/2 x 1/2). Detta blir 8,3%.
Sett i det perspektivet så är en träffsäkerhet på 40% avsevärt mycket bättre än att singla slant där man bara får rätt i 8,3% av fallen.
Det finns ytterligare skäl att ifrågasätta DN:s metod för att bedöma prognoskvalitén. Tex har man inte med vare sig vindhastighet, vindriktning, åska eller luftfuktighet. Inte heller har man med hur mycket nederbörd som beräknas eller om den är stratiform (från frontmoln) eller cumuliform (konvektiv nederbörd). Detta är parametrar som man får svar på genom att göra väderprognoser. Tog man med dem skulle sannolikheten för att få rätt genom ”singla slant/kasta tärning” bli ännu mindre än 8,3%.
DN:s utredning ger jag inte mycket för. Jag ställer mig även lite frågande till att deras facit har utgjorts av ”Nästa dygn har uppgifterna jämförts med beräknad observationsdata som SMHI tillhandahåller”. Det kan givetvis bli korrekt, men varför jämföra med ”beräknade observationsdata” istället för att jämföra med riktiga observationer? Det skulle kunna finnas en bias till SMHI:s fördel om man använder en modell (samma som man gör prognosen med?) för att beräkna observationen.
Jag tycker vidare att det är dåligt att DN inte redovisat vare sig vad sannolikheten för att få rätt med slumpens hjälp (ungefär som jag visat ovan), eller hur SMHI och andra seriösa väderinstitut gör sina kvalitetsberäkningar (där de får korrekta prognoser i 80-90% av fallen).
Att Foreca var sämst i väderinstitutens inbördes ranking tycker jag är genant. Jag har krävt att de skall utreda varför det var så samt vidta åtgärder för att förbättra situationen om det visar sig föreligga sakliga fel. Det skulle vara värdefullt att se hur de ligger till vid en lite mer grundlig jämförelse.
Så vill jag säga något om nyttan av prognoser och hur svårt det är att göra prognoser genom att singla slant: För fem dagar sedan, den 8 september, återgav jag i en blogg hur amerikanska kollegor och Europeiska centret (ECMWF) beräknade, dvs gjorde en prognos, hur den tropiska orkanen/stormen Katia skulle dra in över Europa i dagarna.
Den prognosen stämde mycket bra. Inte bara den storskaliga bilden av tryckfördelning var korrekt, även detaljer som tex vindhastigheterna i Götaland/Svealand idag är var jag skrev att de skulle vara för fem dagar sedan.
Samma sak gällde i samband med tropiska orkanen Irene där vi skrev om vad som skulle ske en hel vecka i förväg. På liknande sätt är det med våra egna låg- och högtryck. Vädermodellerna fångar de storskaliga förändringarna i atmosfären och utifrån det tecknar man en bild med allt mer detaljer. Det är mer än vad man kan säga om tärningar och mynt.
Men även om man fångar det storskaliga så kan man ha ”fel” i detaljerna. Vi vet att det skall bli kallare, men inte om det blir tolv eller tio grader på fredag, vi vet att det blir blåsigt, men inte exakt när varje vindby kommer.
Var det någon som provade att kasta tärning eller singlat slant för fem dagar sedan och fick fram rätt prognos för idag?
/Martin
Bild 1. Satellitbild på Vicente tagen den 23 juli, 2012.
Bild 2. Vicente den 23:e juli kl 12 UTC.
Bild 3. 72 timmars prognos. Vicente syns inte. Den svarta punkten anger var tyfonen kommer att dyka upp i verkligheten, dvs var modellen borde ha modellerat den.
Bild 4. Nästa modellkörning. På denna 72 timmars prognos syns Vicente, men för västligt.
Bild 5. Men på en 156 timmars (6,5 dygns) prognos, dvs en prognos som gjordes 3,5 dygn tidigare än bild 3, så syntes Tyfonen!
Bild 6. Samma sak på en 144 timmars (6 dygns) prognos, dvs en prognos som gjordes tre dygn tidigare än bild 3!