Av Martin Hedberg
Under sommaren har såväl meteorologer som datormodeller för att göra väderprognoser kritiserats en del. Bland annat konstaterade DN att SMHI, DMI, Yr.no och Foreca (som vi på Klart.se köper data från) bara hade omkring 40% rätt i sina prognoser.
DN får det att låta som om man skulle få mer rätt om man singlade slant. Men så är det inte. När man singlar slant så blir resultatet som bekant antingen krona eller klave. Sannolikheten är 50% för vardera. Sannolikheten att man får rätt prognos genom att singla slant är betydligt mindre.
Så här skriver DN om hur de bedömt prognoserna:
”Kvaliteten på prognosen har bedömts utifrån temperatur, nederbörd och molnighet. För temperatur har vi godkänt fel på två grader, upp och ner. För nederbörd har vi inte tagit hänsyn till antalet millimeter utan endast om det förekommit nederbörd eller inte. Gällande molnigheten har vi hellre gett rätt än fel. Om prognosen säger ”Lätt molnighet” och vädret blir ”Klart väder” har vi bedömt det som korrekt. Däremot blir prognosen ”Lätt molnighet” fel om det är mulet.”
De har undersökt tre parametrar, inte en (som när man singlar slant). Dessutom har dessa parametrar fler möjliga slutresultat än två. För att man skall få rätt enligt DN:s undersökning så krävs att alla dessa tre parametrar är rätt.
Låt oss anta att vi gjorde prognoserna genom att singla slant. För det första så är det inte en slant, utan tre, som vi skall singla. Alla skall vara rätt.
Dessutom har inte slantarna bara två sidor utan fler, det är mer att jämföra med en tärning där sannolikheten är 1/6-del för att en given sida skall komma upp.
Temperaturen kan som bekant variera rätt stort. Men låt oss i detta fall tala om en tärning med tre sidor: Antingen gissar man för kallt, eller rätt (+/- 2 grader), eller för varmt. Sannolikheten att gissa rätt är 33%.
Nederbörd: Här är det ja eller nej, sannolikheten är 50%
Molnighet: Här framgår det inte riktigt hur många positioner svaret har. Rimligtvis är det tre (klart, växlande molnighet och mulet), men låt oss tolka det till DN:s fördel och ge det två positioner (inte moln eller moln), dvs 50% sannolikhet.
Sannolikheten för att man skall få rätt svar på alla tre parametrarna genom att singla slant får man genom att multiplicera sannolikheterna för var och en av dem, dvs 33% x 50% x 50%, (eller 1/3 x 1/2 x 1/2). Detta blir 8,3%.
Sett i det perspektivet så är en träffsäkerhet på 40% avsevärt mycket bättre än att singla slant där man bara får rätt i 8,3% av fallen.
Det finns ytterligare skäl att ifrågasätta DN:s metod för att bedöma prognoskvalitén. Tex har man inte med vare sig vindhastighet, vindriktning, åska eller luftfuktighet. Inte heller har man med hur mycket nederbörd som beräknas eller om den är stratiform (från frontmoln) eller cumuliform (konvektiv nederbörd). Detta är parametrar som man får svar på genom att göra väderprognoser. Tog man med dem skulle sannolikheten för att få rätt genom ”singla slant/kasta tärning” bli ännu mindre än 8,3%.
DN:s utredning ger jag inte mycket för. Jag ställer mig även lite frågande till att deras facit har utgjorts av ”Nästa dygn har uppgifterna jämförts med beräknad observationsdata som SMHI tillhandahåller”. Det kan givetvis bli korrekt, men varför jämföra med ”beräknade observationsdata” istället för att jämföra med riktiga observationer? Det skulle kunna finnas en bias till SMHI:s fördel om man använder en modell (samma som man gör prognosen med?) för att beräkna observationen.
Jag tycker vidare att det är dåligt att DN inte redovisat vare sig vad sannolikheten för att få rätt med slumpens hjälp (ungefär som jag visat ovan), eller hur SMHI och andra seriösa väderinstitut gör sina kvalitetsberäkningar (där de får korrekta prognoser i 80-90% av fallen).
Att Foreca var sämst i väderinstitutens inbördes ranking tycker jag är genant. Jag har krävt att de skall utreda varför det var så samt vidta åtgärder för att förbättra situationen om det visar sig föreligga sakliga fel. Det skulle vara värdefullt att se hur de ligger till vid en lite mer grundlig jämförelse.
Så vill jag säga något om nyttan av prognoser och hur svårt det är att göra prognoser genom att singla slant: För fem dagar sedan, den 8 september, återgav jag i en blogg hur amerikanska kollegor och Europeiska centret (ECMWF) beräknade, dvs gjorde en prognos, hur den tropiska orkanen/stormen Katia skulle dra in över Europa i dagarna.
Den prognosen stämde mycket bra. Inte bara den storskaliga bilden av tryckfördelning var korrekt, även detaljer som tex vindhastigheterna i Götaland/Svealand idag är var jag skrev att de skulle vara för fem dagar sedan.
Samma sak gällde i samband med tropiska orkanen Irene där vi skrev om vad som skulle ske en hel vecka i förväg. På liknande sätt är det med våra egna låg- och högtryck. Vädermodellerna fångar de storskaliga förändringarna i atmosfären och utifrån det tecknar man en bild med allt mer detaljer. Det är mer än vad man kan säga om tärningar och mynt.
Men även om man fångar det storskaliga så kan man ha ”fel” i detaljerna. Vi vet att det skall bli kallare, men inte om det blir tolv eller tio grader på fredag, vi vet att det blir blåsigt, men inte exakt när varje vindby kommer.
Var det någon som provade att kasta tärning eller singlat slant för fem dagar sedan och fick fram rätt prognos för idag?
/Martin
Jag vill gärna kommentera näst sista stycket. Är det inte detta som, är problemet? Prognoserna som numera ges timme för timme ger ju intryck av att ni har just järnkoll. Skulle man kolla hur prognoserna slår in per timme, så skulle jag gissa att utfallet blir ännu sämre. Ett alternativ till att singla slant (som jag håller med om inte är en bra idé), är att konsekvent ge en prognos som innebär att man säger att vädret imorgon och övermorgon blir samma som idag. Skulle inte prognosutfallet bli ganska högt då? Jag menar, det blir ”bara” fel vid väderomslag.
Martin: ”Samma väder i morgon som idag” är bättre än att singla slant. Men som du säger så missar man förändringar med den metoden, och det är ju en del. Bäst blir trots allt om man gör beräkningar, dvs kör en vädermodell. Ett alternativ mittemellan är att gå på statistik. Man vet ju tex att det oftast är lite kallare på nätterna än på dagen, att det är mer sannolikt att det regnar på eftermiddagen än morgonen osv.
Men/och jag håller med om att det är ett problem med att ange detaljer i prognoserna, i synnerhet i de längre prognoserna. Det är det de exakta siffrorna man får ur modellerna. Det ger intryck av en noggranhet som inte motsvarar verkligheten. Jag funderer på hur man skulle kunna göra prognoserna mer ”diffusa” eller på annat sätt bättre illustrera atmosfärens tillstånd.
Stå på er, meteorologerna! Era prognoser är mycket bättre än ekonomernas dito eller SJs tidtabell…
På Yr.no har dom inskrivet träffsäkerheten på olika prognoser, där grön står för ganska säkert, gul för något osäkert och röd för osäkert. Visserligen bara städer i Norge, men varför har inte Klart.se det för städer i Sverige?
Martin: Det är iof en bra början, men behöver vara något mer objektivt. Man behöver ange ett spann och/eller sannolikheter. Men det får samtidigt inte bli för kluddigt med en massa siffror.
Som fritidsbåtmänniska tillbringar jag mycket tid på sjön och följer därmed vädret noga, har så gjort i 30 år.
Jag upplever att väderprognoserna är ungefär lika bra, eller dåliga, nu som under de gångna 30 åren.
Lite märkligt med tanke på hur mycket datakraft det finns att tillgå från världens alla väderinstitut och mätstationer. Jag tycker, från min amatörnivå, att om man samlat alla vädersituationer som förekommit under en väldig massa år (hur länge har vi haft väderprognoser?) och sedan låter dessa kraftfulla datorer göra prognoser så borde prognossäkerheten bli större än dagens resultat.
Varför finns det inga geni-metrologer som kunde utveckla någon smart matematisk modell som står till grund för bättre prognoser -det skulle finnas enorm ekonomisk vinning på något sådant, klart värt ett Nobelpris?
Martin: När man gjort objektiva studier av prognoskvalitet så visar de att prognoserna blivit bättre i och med såväl bättre parametrisering av vädret, som kraftfullare datorer (som därmed hinner göra fler/mer komplicerade beräkningar).
Men såväl förväntningar som detaljrikedom i prognoserna har också ökat, kanske tom ännu snabbare.
Jag hör liknande kommentarer som DN:s från tid till annan. Men jag följer vädret nära och då gärna isobarkartan, radar och satelitbilder innan jag tittar vidare på vad som kommer att hända där jag bor.
Väder är inte lätt och okunskapen är stor. Jag tycker att både DN och alla som hävdar att prognoserna är dåliga avslöjar sin egen okunskap. Utgår man för översikten och följer utvecklingen får man mycket större respekt för prognosen. Ibland förutsägs underordnade lågtryck, ibland ligger min plats vid kanten av en frontpassage. Då förstår man att prognosen måste vara ganska svår att göra. I de fallen följer jag utvecklingen mycket tätare. Då måste man titta oftare och närmare i tiden. Men i de flesta fall, där det är tydliga låg- och högtryck med tydliga fronter stämmer det ju helt perfekt, möjligen med undantag från en exakt tidtabell. Allt eftersom systemet närmar sig blir ju prognosen säkrare och säkrare. Några timmar innan kan radar och satellit beskrivas som sanning.
Som sagt, de som klagar mycket på prognoserna avslöjar sin egen okunskap. I DN:s fall, utnyttjar de sin okunskap i spekulativa syften.
Visst är det väl lite konstigt när man tittar på yr.no-klart.se-smhi.se och alla har olika prognoser för samma dag och samma tidpunkt på dagen (regn-halvklart-mulet)är det meteorologerna som tolkar sina data olika eller?
Jag har förståelse för att prognoserna kan bli fel,
speciellt på sommaren eftersom det är väldigt komplext. Men, det jag inte har förståelse för är återkommande uppenbara felprognoser för temperaturen på ett specifikt område. (ja, ni gissade rätt, den ort där jag bor) Jag vet också varför det blir fel,
jag bor på Åland med mycket hav runt som ofta spelar ett spratt. Jag har påpekat detta för SMHI men dom skyller på att områdesindelningen är för grov, med ett finmaskigare prognosnät skulle det bli bättre. Nu blir havspåverkan ofta för stor och därför blir spreaden mellan dygnets högsta och lägsta temperatur alltför liten i prognoserna. Speciellt märks detta på våren och sommaren. Ytterligare tar inte temperaturprognoserna i beaktande om vinden kommer direkt från havet eller om den först passerat ett lite större landområde. Det har nog så stor påverkan på temperturen i skärgården under sommarmåndaderna.
Vad gäller regn i skärgården under maj, juni och juli så skulle träffsäkerheten bli bäst om man konsekvent lovade uppehåll eftersom det regnar mindre än hälften av de gånger som regn utlovas. Däremot kan det regna rejält de gånger det kommer regn så troligen stämmer nederbördsmängderna i genomsnitt. Nå, det är säkert fiffigt att kunna överraska åt det hållet för de flesta.
Hej Martin,
Kolla upp webbsidan!
”MR Jet” har ”tagit över” nästan hela startsidan och det var riktigt svårt att tråckla sig in hit!
Det fanns ingen ”stäng-knapp” för den onödigt stora bannern :((
Mvh.
Swen
Martin: Jag har påpekat såväl er besökares som mitt eget missnöje över den sortens annonser. De som sköter annonseringen har lovat att reagera på detta.
Jag har sett nyhetsartikeln om SMHIs rätt på prognoser på 80-90% och undrat hur man räknar. Om de tex förutspår regn i Stockholm och det mycket riktigt regnar i Nacka, men tex inte Sollentuna, så misstänker jag att de sätter rätt på den prognosen, för det kom regn någonstans i Stockholm.
För Sollentunabon är det förstås helt fel prognos och paraplyet till jobbet hade kunnat lämnas hemma.
DNs sätt må vara trubbigt, men det återspeglar ändå vad man som person finner vara viktigast i en prognos, dvs ungefärlig temperatur (så du vet klädvalet när du går hemifrån), regn eller inte, samt mulet eller ganska soligt. Vindriktning känns ganska ointressant om man inte ska segla förstås. Vindstyrkan påverkar förstås nedkylningen, men här blir det knepigt. Ta en varm sommardag med bris från vattnet som sedan övergår till stiltje mot kvällen. Det står oftast bara en vindsiffra för dagen i prognosen och hur ska man tolka den då?
[…] finns mycket myter och skitsnack om meteorologins (o)förmåga att göra prognoser. Här pulveriseras DNs idiotartikel som påstår att man har bättre odds genom att singla slant. Rekommenderad […]
När det gäller nederbörd så får vi alltid mer här i Färgelanda (Dalsland) än vad som förutspås.
Orkanen Katia har hittills gett oss 64 mm regn.
Är det bara här som vi fått så mycket?
Till tärningens fördel.
Den ger 8,3% säkerhet även på mycket långa prognoser.
Till er som vill veta vädret på julafton.
Det är bara att prova.
Även om jag vill påstå att det blir kallare.
Man kan göra samma antal prickar på tärningens samtliga sidor. Då ökar träffsäkerheten jättemycket. Skulle man däremot göra tärningen rund blir det mera spännande. Vi tänker ofta för fyrkantigt här i världen.
Vad gäller metoder för att mäta prognosernas mätbarhet/tillförlitlighet. Biter sig inte sådana metoder eller försök sig själva i svansen! Hur riktiga blir mätningarna? (Reliabiliteten för att prata filosofi.)
En reflektion:
Jag upplever att människors uppfattning om en prognos är ”rätt” eller ”fel” hänger en hel del ihop med hur prognosen presenteras. I radio har jag en personlig favorit (Bengt Lindström) som är både noggrann och – inte minst – engagerad. Det tror jag betyder en hel del för hur människor uppfattar prognosen. Inga namn ska nämnas… men på TV finns tyvärr motsatsen – meterologer som är både hafsiga och otydliga. Resultatet blir att människor då tappar ”trovärdighet” för prognosen.
Den här sommaren tycks det ha varit ovanligt svårt att förutspå vädret, även när det bara gällt ett dygn framåt. Eftersom jag ofta är beroende av vädret för diverse utomhusarbeten, så har jag tillämpat en metod för att göra en egen, säkrare prognos. Säger både SMHI och Klart.se att det ska bli regn, så utgår jag från att det blir regn. Säger de bägge att det ska bli uppehållsväder, så planerar jag för uppehållsväder. Om prognoserna är helt olika, så vet jag att väderläget är osäkert och börjar inte måla vindskivor den dagen.
Krona eller klave? Om bara soltimmar efterfrågas, duger krona- och klavemetoden, exempelvis på sommarsemestern, då många vill ha solsken.
DN undersökte tre parametrar, men hur stor träffsäkerhet har prognosinstituten, när det gäller enbart parameterna sol nästkommande dag?
Bättre att använda de två positonerna mulet eller sol/lätt molnighet, i stället för att välja Martins två positioner (inte moln eller moln). Soltimmar går att få även om det är moln, dock ej helmulet.
När vi talar om prognoser så säger smhi, klart, yr.no, foreca och dmi att det natten till lördagen skall bli klart och kyligt, 0-8 grader i hela landet klockan 02-06 under morgontimmarna, men tittar man prognosen för inre Götaland m.fl. står det 02-06 på morgonen 2-6 grader i samband med sydlig vind, och moln. Så låga temperaturer är det väl inte i söder i samband med moln på morgonen?
Daniel (ovan) nämner att presentationen av väderrapporten är nästan lika viktig som själva rapporten. Jag instämmer. Och i den här frågan tycker jag nog att klart.se, Martin speciellt, kan också få eloge.
Snygg debunking Martin!
Jag brukar kika på 4-5 olika vädersajter och dra mina egna slutsatser. Det ger också ofta en bra blid över hur osäkra prognoserna är beroende på hur mycket som det skiljer mellan de.
En prognos är inget facit utan får ses som ett sätt att försöka förutspå framtiden.
Bra svar på tal till DN tycker jag.
Ett tips för att ”justera” förväntningarna på detaljprognoserna, är att som en föregående kommentar här säger – ange sannolikhet/säkerhet.
Trafikljusprincipen (Grönt/Gult/Rött) är välkänt och lättförståeligt.
Idag ”binder man ris till egen rygg” genom att ge för mycket detaljer utan att ange just sannolikheten för värdet som anges.
Jag tycker allt att väderprognoserna idag jämfört med 10 år sedan är fantastiskt förbättrade, stå på er !
hejsan martin..när ska du sia om vintern?många som undrar och lite kul och kolla hur du tror det kommer bli.du brukar ju ha rätt.eller ska jag slå tärning om hur det blir om vädret:)))hahaha
mvh kristoffer med väntande snöröjning :))
Klart.se baserar ju historiken på prognoser iställer för verifikationer/observationer. Det verkar också mycket konstigt.
En viktig del i tillförlitligheten är också uppdateringsfrekvensen. Som t.ex. idag, där vädret här i Skåne inte alls blev som förutspått. På radarbilderna (dmi) syns att regnvädret på förmiddagen gick väster om Skåne, ändå fortsatte Klarts prognos att hela tiden visa regn i Skåne. Så har det ofta varit i sommar, prognoserna stämmer inte med verkligheten ens när verkligheten har inträffat.
Jag tycker att det har blivit svårare att få ett hum om hur vädret ska bli. Ofta skiljer sig t.ex. smhi och klart fullständigt från varandra. Den ene har rejält med regn hela dagen, medan den andre har uppehåll. Då är det inte lätt att själv få en uppfattning.
Jag håller med om att meteorologibolagen borde fundera igenom gränssnittet mot allmänheten och på något sätt ”börja från början”. Nu tävlar alla i att visa upp en tämligen inexakt vetenskap på ett exakt sätt – och då kan det egentligen inte bli annat än fel.
Jag håller med om att DNs jämförelse är grovt förenklad och ett litet försök till att vara sensationell (vilket ibland nästan känns som en trend i media?)
”Jag tycker vidare att det är dåligt att DN inte redovisat vare sig vad sannolikheten för att få rätt med slumpens hjälp”
Min gissning är att DN knappt själva förstår vad dom egentligen menar med 40%, ännu mindre räkna fram en sannolikhet som du gjorde..
Men en sak måste jag hålla med DN om… sommarens prognoser har varit stundtals ganska vingliga. Jag jobbar lite extra på ett jordbruk där prognoserna stundtals följs nästan kontinuerligt, vissa gånger har strålande sol några få dagar framåt (2-3 dagar) helt plötsligt blivit 20mm regn och så vidare.
För att göra saken klurigare har ibland olika prognoser från olika företag kunnat diffat massor sett bara några få dagar framåt.
Stor förklaring darför att det är inte bättre att singla slant. Och rent matematiskt är det visst så att förklaringen stämmer. Men om jag tittar på min och grannens och vännens känsla, då är det väl så att prognoser var ganska dåligt under sommaren.
Martin: Jag är inte nöjd med sommarens prognoser. De som varit hyfsade/bra är de där man inte tittat så djupt i detaljerna.
När man såg på prognosen på TV i går skulle det regna där jag befinner mig. Så sa inte klart. Ni hade rätt som oftast. Man måste se på väderprognoser som just prognoser. Det är troligt att detta senario kan bli verklighet. Om man vill vara säker på en lokal nivå får man använda sig av sina sinnesorgan. Lära sig om det lokala vädret och lära sig förstå varför vissa ändringar måste läggas till prognoser. Jag bor tydligen på en ort dit åskväder sällan kommer. Bodde tidigare på en ort där åskan alltid gick överhuvudet på mig och sedan kom tillbaka från andra hållet. Sådana lokala avikelser kan ingen prognos spå. Lite sunt förnuft är alltid bra om man läser en prognos.
Fortsätt det beundransvärda arbetet med dessa ej förutsägbara väderfenomen.