Tag - uppföljning

Jag hade fel

Uppföljning av ensembler för Frösön

När vi nu efter en vecka summerar vad uppföljningen av ensembleprognoserna för temperaturen för Frösön/Östersund gav så kan man konstatera att mer än hälften av observationerna (verkligheten) låg utanför det intervall som spändes upp av de olika ensembleprognoserna.

Mitt mål var att max 20% skulle ligga utanför intervallet. Jag får väl därmed konstatera att jag hade, eller rättare sagt gjorde, fel.

Och att jag hade kunnat ha såväl större fel, som mer rätt.

Uppföljning av ensembler för FrösönOm jag hade gått på den deterministiska, operationella, modellen (ECMWF med 16 km upplösning) så hade jag haft ännu mer fel. Det är den som majoriteten av alla prognoser på sajter, radio och TV baseras på. I bilden ovan är den markerad som en röd linje. Som synes så underskattade den temperaturen på Frösön mer än vad de övriga ensemblerna gjorde.

Förvisso innehåller den deterministiska/operationella modellen mer detaljer än vad ensemblerna gör. Detta dels för att den körs med högre upplösning, dels för att ett medelvärde jämnar ut detaljer. Men som synes så är den inte alltid bra på att återge verkligheten (att den har)

Mer rätt hade jag haft om jag hade använt mig av detaljer i ensemblerna (som jag vid försöket inte hade tillgång till). Tex om hade jag då fått med min- och maxtemperatur, något som inte kan förväntas inträffa exakt var tolfte timme (kl 00 resp 12 utc vilket var de tidpunkter jag baserade grafen på).

Därtill hade jag bara tillgång till prognoser för var 12:e timme. Som synes doldes det en del information mellan dessa punkter, tex i torsdags kl 06 (utc) där operationella modellen låg klart utanför ensemblerna där jag bara gjorde en linjär interpolation mellan 00 och 12. Den kan i och för sig ligga utanför fältet som representerar 80% av ensemblerna, men hade det funnits ett ensembelvärde för denna tidpunkt så hade den troligen dragit lite åt den operationella körningens håll.

Ytterligare en sak som kan ha inverkat på kvalitén är huruvida prognosen är en interpolation mellan närliggande geografiska gridpunkter till Frösön eller om det är prognosen för en specifik gridpunkt i närheten av Frösön. Det senare är att föredra.

Jag hade även kunnat addera meteorologisk egen erfarenhet över hur pass bra EC-modellen är att prognostisera vädret i detalj och i synnerhet för just Frösön. Men nu ville jag som sagt var avgränsa försöket till modelldata.

Slutsatsen så här långt (det lär komma mer i kommentarerna):

– Singla slant eller kasta tärning är inget bra sätt att göra prognoser på (jag skrev om det för några år sedan med anledning av att jag kritiserade en undersökning av vädersajter.)

– Att säga ”samma väder i morgon som det var idag” är bättre än att kasta tärning. Man kan ha det som default, men man får inte med det riktigt intressanta och som man vet kommer att hända: Att vädret ändras.

– Deterministiska prognoser kan fånga väderutvecklingen i stort och har med mycket detaljer. Men att man inte skall fästa sig tillnärmelsevis så mycket för dessa detaljer som de flesta vädersajter gör. I synnerhet gäller det prognoser som är längre än en vecka. (Ja, jag är kritiskt till att Klart.se gör det)

– Medelvärdet av ensembler (dvs ett stort antal prognoser) ger ett betydligt bättre svar på hur vädret kommer att utvecklas. Detta trots att de har sämre rumslig och tidsmässig upplösning än den operationella modellen. Men inte heller medelvärdet av ensembler är felfritt.

– Spannet av ensembler ger en ännu bättre bild av väderutvecklingen. Men trots att den beskriver ett sannolikt rum (i vårt fall en yta eftersom vi bara tittade på en parameter, temperaturen) så har den inte heller 100% träffsäkerhet.

– Man kan höja kvalitén på prognoserna genom att lägga på erfarenhetsbaserad kunskap om hur en viss modell beter sig i olika vädersituationer och/eller på olika platser. Detsamma gäller om det finns lokala betingelser som påverkar vädret på en skala som understiger modellens upplösning.

/Martin

Ett stort tack till meteorolog Anders Persson som kommer med såväl uppmuntran som (konstruktiv) kritik av dessa experiment.

Något varmare något snabbare än prognosen

Uppföljning ensembler Frösön

När vi nu har vi observationsdata för lite drygt två dygn av temperaturen på Frösön så ser man att det blivit varmare snabbare än vad ensemblerna förutspådde. Vi ligger delvis utanför, delvis precis i övre kanten av dem.

Uppföljning ensembler FrösönNåväl, det är också lite som Anders Persson sade i en kommentar igår. Jag har spänt bågen lite för hårt när jag bara har ett spann på +/- 1 grad så långt i framtiden som två dygn. Det är egentligen felmarginalen för observationer inom ett och samma område (jämför själv med två termometrar i skuggan några tiotals eller hundra meter från varandra).

Anledningen till att jag valde ett snävt intervall, direkt från modellerna, och inte lade på en meteorologisk bedömning var att jag ville renodla försöket. Om man lägger till lite kunskap och erfarenhet så kan man förbättra prognoserna ytterligare.

Hur är det då med ”felen”? Tag tex den senaste punkten som låg utanför intervallet, den kl 01 i natt (tisdag 30 dec kl 01): Medelvärdet av ensemblerna var +2,0. Intervallet för ensemblerna låg mellan +0,5 och +2,8 grader. Det blev +2,9 grader. Detta på en prognos två dygn i förväg. Inte så illa trots allt.

Hur som helst så rullar försöket vidare.

Värt att notera är att modellerna helt korrekt har fångat det stora och snabba skiftet från kallt till milt väder, en temperaturökning som på en del platser i Norrland var en grad varmare per timme under ett dygn.

Nu följer en period med lite mindre växlingar, men fortfarande lika intressant väder: Temperaturer över noll grader, fukt och regn/blötsnö som fryser på alla kalla ytor.

Från Nyårsdagen skall det bli kallare igen, dock inte lika snabbt eller mycket som det blev varmt igår.

/Martin

Så mycket varmare blir det på Frösön kommande dagar

Uppföljning temperatur Frösön

Det är lika bra jag säger det på en gång: Jag sticker ut hakan, jag gör en prognos och följer upp den med verkliga observationer. Eftersom jag publicerar prognosen nu så har jag ingen möjlighet att i efterhand välja ”rätt” situation. Jag gör ungefär som jag gjort tidigare år ungefär vid den här tiden.

Den här gången väljer jag temperaturen på Frösön/Östersund.

Uppföljning temperatur FrösönJag väljer en tidpunkt när jag vet att det kommer ett markant skifte i vädret: Det blir liksom lite mer intressant då än när vädret är lika från en dag till en annan. Som ni ser så förväntar jag mig att temperaturen skall stiga raskt kommande dagar, plana ut och sedan falla tillbaka något under nyårsdagen.

Jag skall redan nu också poängtera att det inte är Jag som gjort prognosen. Det är det Europeiska vädercentret ECMWF (European Centre for Medium-Range Weather Forecasts) som har gjort prognoserna. Jag har däremot valt situation och skapat grafiken. Jag har utgått från modellkörningen kl 00 utc den 28 dec 2014.

Prognoserna är en samling av många (ca 50) prognoser, en ensemble. Prognoserna visar alla på lite olika utveckling av temperaturen. Det jag illustrerat är dels medelvärdet var 12:e timme (den orange linjen), dels ett spann som fångar 9 av 10 av prognoserna (det lila/blå/gröna fältet).

Jag har använt modelldata/prognoser för var 12:e timme och helt enkelt dragit en rät linje mellan dessa. Jag vill poängtera att den verkliga temperaturen inte rör sig linjärt mellan 12-timmarsstegen. Man kan tex förvänta sig att den lägsta temperaturen inträffar någon timme efter soluppgång, något som varken fångas av modelldata kl 01 eller 13. Jag har trots detta gjort en linjär interpolation, detta för att göra grafiken lite tydligare. Vid uppföljningen bör man därför fästa mer vikt vid temperaturerna kl 01 och 13 än på mellanliggande tidssteg.

Jag kommer att följa upp prognosen genom att fylla i den faktiska temperaturen på Frösö flygplats (svarta cirklar) var tredje timme. Om ensembleprognoserna håller så skall 9 av 10 punkter ligga innanför fältet.

I detta exempel förväntar jag dock mig att minst 8 av 10 gör det. Anledningen till något lägre krav/förväntningar är främst förenklingen att interpolera temperaturerna mellan kl 01 och kl 13 med en rät linje.

Som synes så börjar vi i uppförsbacke med två datapunkter utanför prognosen redan från start. 😉

Nu är ju dessutom väder så mycket mer än Temperaturen på en ort. Man kan göra motsvarande för vindar, nederbörd och molnighet. Men jag väljer temperatur för att den är lätt att verifiera och för att de flesta berörs av den på ett eller annat sätt.

/Martin

PS. Själv är jag lite bekymrad över att värmepumpen i stugan inte levererar den värme som den skall. Men det är fantastiskt bra dels att kunna övervaka temperaturen i stugan med sensorer och telefon/internet, dels att man har trevliga grannar som man kan be åka över och se över värme/vattensystemet. 🙂 DS.

Slutlig uppföljning av prognos

Uppföljning av prognos med ensembler

Så har då prognosen som jag lade ut för en vecka sedan löpt till sista timmen. Som ni ser nedan så blev det kallare i slutet av perioden än vad den ursprungliga operativa prognosen förutsade. Men samtidigt var vi gott och väl innanför det gråmarkerade området som markerade ca 85% av ensemblerna.

Uppfoljning_20140113_5.001Det torde finnas fler punkter som låg utanför, men på det hela taget så är jag lite överraskad av att vi så länge låg så nära den officiella prognosen. Det visar om inte annat att det går att göra prognoser.

Jag gör inga anspråk på att sammanfatta hela diskussionen i denna artikel, mycket av det intressanta har diskuterats i kommentarer till den senaste veckans artiklar.

Uppföljning 4

Uppföljning av väderprognos

Nu är vi snart i mål och prognosen har hittills varit lite för bra. Det handlar ändå om en prognos som gjordes för snart en vecka sedan. Avvikelserna från den singulära prognosen har som mest varit 3 grader, oftast har den varit inom en grad. Prognosen har hela tiden varit inom det omfång som definierats av ensemblerna.

Read More

Uppföljning nr 3

Temperaturen faller planenligt. Vi har några punkter som ligger nära kanterna på ensemblen. Men överlag tycker jag att det nästan går lite för bra. Eftersom vi bara följer upp med observationer var tredje timme så kan det finnas en del punkter som faktiskt ligger utanför de markerade gränserna.

Read More

Uppföljning del 2

Nu har det gått två dygn sedan jag lade upp veckoprognosen för temperaturen i Stockholm. Jag korrelerar den till observationer för Bromma flygplats.

20140108-uppfoljning.001Temperaturen anges för var tredje timme och med en decimals noggrannhet. Som ni ser så håller sig inte observationerna exakt på den svarta linjen, men fortfarande Read More

Uppföljning av prognos och ensembler

Som ni läsare redan vet så är det kallare luft på väg in över Sverige från och med fredag-lördag. Det blir även en del snö.

Men först blir det faktiskt ännu lite mildare.

Uppfoljning_20140106_1.003För att testa hållfastheten av ECMWF:s ensembleprognoser så presenterar jag en temperaturprognos för Stockholm som jag kommer att följa upp kommande vecka. Den huvudsakliga prognosen är den svarta linjen.

Men ingen prognos är exakt. Därför har jag Read More

Uppföljningen av tredje prognosen

Av Martin Hedberg

Det är nu bara två dygn kvar av den tredje veckoprognosen. Den startade ju inte lika bra som de två första, men återhämtade sig. På det hela taget är den dock inte lika stark som de två första.

Uppföljning av söndagens temperaturprognos för Bromma/Stockholm.

Det är intressant att notera att vissa såväl abolutvärden som trender som verkligheten uppvisat finns på dygn 3, 4, 5 och 6 (tisdag-fredag). Detta trots att prognosen inte återskapade verkligheten alls lika bra under dygn 2 och 3 (måndag och halva tisdag). (Modelldata var från lördag vilket jag därför anger som dygn 0.)

Verkligheten valde uppenbarligen case två, den lila linjen, dvs en kallare utveckling från fredagen. Detta representerades av den operationella modellen i min ursprungliga prognos. Men medelvärdet och medianen av samtliga modeller representerades av den vita linjen.

Temperaturen kommer troligen under söndagen att åter stiga, dvs släppa den lila linjen.

Skall man se på kriteriet att 85% av verkligheten skulle vara inom det grå fältet så gick det inte riktigt. Av de 56 tretimmarssteg som finns på en vecka så skulle 48 observationer behöva vara inom det grå fältet. Det kommer att bli färre. Det visade sig denna vecka var knepigare att göra prognoser för än de två förra försöken.

/Martin

Uppföljning del 3

Av Martin Hedberg

Här kommer en liten uppföljning på prognosen jag gjorde i söndags. Vi ligger ju nu nära upploppet av veckoprognosen och folk undrar förstås hur prognosen presterat hittills.

Uppföljning av Martins prognos, utfärdad i söndags, för temperaturen i Stockholm. Vit linje är prognosen, svarta cirklar är observationer av temperaturen från Bromma flygplats (var tredje timme).

Först avvikelserna: Jag trodde att det skulle bli ner till -2,5 på natten mellan tisdag och onsdag, men det blev aldrig kallare än -1,3. På torsdagen var det lite tvärtom, jag trodde att temperaturen skulle hålla sig kring -0,5, men det blev -2,5.

I övrigt har felet i min prognos över temperaturen varit mindre än en grad, under många timmar ligger observationen mer eller mindre exakt på prognosen.

Vad kan man förvänta sig av prognoser? Jo ibland så finner man kommentarer (såväl av journalister som allmänhet) att prognoserna missar verkligheten med fem eller tio grader ett par dagar fram. Beakta det när ni funderar på hur bra eller dålig mina två exempelprognoser har varit/är.

Det är inte så att jag missat med tio grader. Oftast ligger prognosen ovan inom ett par tiodelar av en grad, aldrig mer än två grader. Och det på en prognos som ligger fast sedan flera dagar tillbaka. Den är inte uppdaterad eller justerad för nya inkommande data.

Jag ville göra denna typ av prognos för att live visa att man kan göra ganska bra prognoser. Och själva poängen är att göra det live. Jag har ju då ingen möjlighet att välja ut ”rätt” prognos för att visa min tes.

Jag har i och för sig fått kommentarer om att jag har väljer rätt tillfälle att göra dessa prognoser, dvs tillfällen när det skulle vara lättare att göra prognoser.

Men det är väl minst lika viktigt och fascinerande: På något sätt (kunskap, bra verktyg eller intuition?) kan jag, i förväg, känna till om/när det går att göra träffsäkra prognoser! Det är ett rätt så starkt kort.

Jag valde ett tillfälle när jag var säker på veckoprognosen (i mellandagarna) och ett tillfälle (detta) nar jag hade lite större felmarginaler.

På söndag får vi reda på hur det går i finalen av den veckolånga prognosen.

/Martin