Jag hade fel

Uppföljning av ensembler för Frösön

När vi nu efter en vecka summerar vad uppföljningen av ensembleprognoserna för temperaturen för Frösön/Östersund gav så kan man konstatera att mer än hälften av observationerna (verkligheten) låg utanför det intervall som spändes upp av de olika ensembleprognoserna.

Mitt mål var att max 20% skulle ligga utanför intervallet. Jag får väl därmed konstatera att jag hade, eller rättare sagt gjorde, fel.

Och att jag hade kunnat ha såväl större fel, som mer rätt.

Uppföljning av ensembler för FrösönOm jag hade gått på den deterministiska, operationella, modellen (ECMWF med 16 km upplösning) så hade jag haft ännu mer fel. Det är den som majoriteten av alla prognoser på sajter, radio och TV baseras på. I bilden ovan är den markerad som en röd linje. Som synes så underskattade den temperaturen på Frösön mer än vad de övriga ensemblerna gjorde.

Förvisso innehåller den deterministiska/operationella modellen mer detaljer än vad ensemblerna gör. Detta dels för att den körs med högre upplösning, dels för att ett medelvärde jämnar ut detaljer. Men som synes så är den inte alltid bra på att återge verkligheten (att den har)

Mer rätt hade jag haft om jag hade använt mig av detaljer i ensemblerna (som jag vid försöket inte hade tillgång till). Tex om hade jag då fått med min- och maxtemperatur, något som inte kan förväntas inträffa exakt var tolfte timme (kl 00 resp 12 utc vilket var de tidpunkter jag baserade grafen på).

Därtill hade jag bara tillgång till prognoser för var 12:e timme. Som synes doldes det en del information mellan dessa punkter, tex i torsdags kl 06 (utc) där operationella modellen låg klart utanför ensemblerna där jag bara gjorde en linjär interpolation mellan 00 och 12. Den kan i och för sig ligga utanför fältet som representerar 80% av ensemblerna, men hade det funnits ett ensembelvärde för denna tidpunkt så hade den troligen dragit lite åt den operationella körningens håll.

Ytterligare en sak som kan ha inverkat på kvalitén är huruvida prognosen är en interpolation mellan närliggande geografiska gridpunkter till Frösön eller om det är prognosen för en specifik gridpunkt i närheten av Frösön. Det senare är att föredra.

Jag hade även kunnat addera meteorologisk egen erfarenhet över hur pass bra EC-modellen är att prognostisera vädret i detalj och i synnerhet för just Frösön. Men nu ville jag som sagt var avgränsa försöket till modelldata.

Slutsatsen så här långt (det lär komma mer i kommentarerna):

– Singla slant eller kasta tärning är inget bra sätt att göra prognoser på (jag skrev om det för några år sedan med anledning av att jag kritiserade en undersökning av vädersajter.)

– Att säga ”samma väder i morgon som det var idag” är bättre än att kasta tärning. Man kan ha det som default, men man får inte med det riktigt intressanta och som man vet kommer att hända: Att vädret ändras.

– Deterministiska prognoser kan fånga väderutvecklingen i stort och har med mycket detaljer. Men att man inte skall fästa sig tillnärmelsevis så mycket för dessa detaljer som de flesta vädersajter gör. I synnerhet gäller det prognoser som är längre än en vecka. (Ja, jag är kritiskt till att Klart.se gör det)

– Medelvärdet av ensembler (dvs ett stort antal prognoser) ger ett betydligt bättre svar på hur vädret kommer att utvecklas. Detta trots att de har sämre rumslig och tidsmässig upplösning än den operationella modellen. Men inte heller medelvärdet av ensembler är felfritt.

– Spannet av ensembler ger en ännu bättre bild av väderutvecklingen. Men trots att den beskriver ett sannolikt rum (i vårt fall en yta eftersom vi bara tittade på en parameter, temperaturen) så har den inte heller 100% träffsäkerhet.

– Man kan höja kvalitén på prognoserna genom att lägga på erfarenhetsbaserad kunskap om hur en viss modell beter sig i olika vädersituationer och/eller på olika platser. Detsamma gäller om det finns lokala betingelser som påverkar vädret på en skala som understiger modellens upplösning.

/Martin

Ett stort tack till meteorolog Anders Persson som kommer med såväl uppmuntran som (konstruktiv) kritik av dessa experiment.

Related posts

25 Thoughts to “Jag hade fel”

  1. Lennart Strömberg

    Hej Martin! Alla kan väl göra heller ha fel någon gång . Men man börjar att undra varför det varnars för storm eller nästan orkan varje gång det ska bli blåsigt ? Fredagens storm eller vad man ska kalla den blev som väl var inte mycket med. Visst det blåste ganska rejält här på Småländska höglandet men knappast någon storm . Däremot natten till Lördagen var det mycket värre 18-20 m/s säkert mer i byarna men då gick man inte ut med några varningar mycket märkligt Risken är stor att nästa gång det varnars så kanske inte folk bryr sej .

  2. Anna

    Vintern har för flera veckor sedan kommit till hela Sverige förutom till sydvästra Skåne. Den stora frågan är då om vi fortfarande har höst här eller om våren redan kommit (även om den enligt SMHI inte ”får” komma före 15 februari). När man vandrar i bokskogarna känns det mer som vår med förhållandevis milda vindar och fågelsång. Det är skönt att slippa snön på hemmaplan, däremot åker jag gärna ner till Alperna, som ju inte är så långt härifrån, för underbar skidåkning i soldränkta backar och fantastisk mat. Det är något helt annat än kalla och mörka fjällen för att inte tala om skillnaden i skidåkning. Och det är faktiskt inte så mycket dyrare.

  3. rolfis

    Ett tips….skaffa en Oregon WMR 300 station så får du mera rätt väder fungerar bra mycket bättre än dom olika väder sidorna på nätet. Väder prognoserna på nätet blir bara sämre och sämre år för år fast somliga plöjer ner miljoner på super datorer?

  4. Stefan

    Hej, jag håller med Lennart. Knappast ingen blåst på fredagen i Västsverige, men den kom lite dagen efter Sedan den gamla frågan när era valmöjligheter kommer som du skrev om tidigare att välja ”väderprognos” mellan foreca, smhi mm. Är det sant att era ägare inte vill satsa något på klart.se utan endast ser sidan om en inkomstkälla för reklam. Mvh

    1. Hej Stefan.
      Möjligheten att välja källa för prognoserna kommer på app’en för iPhone som släpps under våren.

  5. Trötter

    Tack, mycket intressant läsning. Att det blev som det blev fick man föraningar om tidigt när temperaturerna låg i överkant. Men det som spelar roll är själva uppföljningen, inte resultatet.

    Nu känns det som förra sk ‘vintern’, ECMWFs operationella sticker iväg på vådliga utflykter ungefär en vecka fram i tiden och den samlade bilden av ensemblerna lyfter svansen (går mot vamare) ju närmare man kommer.
    http://s2.postimg.org/nu29029bt/ensemble_tt6_stockholm.gif

  6. Anders Persson

    Nej, Martin, du gjorde ett bra jobb, en BRA prognos. Min enda kritik är, som jag sade tidigare att du, i traditionell meteorologisk anda, underskattade osäkerheten och med detta spridningen i plymen.

    Att prognosen systematiskt är lite för kall kan dels förklaras med att ECMWFs prognos gäller för 328 m över havet medan Storsjön och kanske observationsplatsen ligger 30-40 meter lägre. Det förklarar 0.2 till 0.3 grader av kylan.

    Det andra är att Storsjön förmodligen inte ännu är isbelagd, medan ECMWFs modell kanske inte har Storsjön alls som sjöpunkt bland sina beräkningspunkter, eller om de har av olika skäl antar att den är isbelagd.

    På 80-talet utvecklade jag ett automatiskt sk. Kalmanfiltersystem som skulle kunna korrigera dylika fel. Men det blev så impopulärt bland meteorologerna på SMHI att jag var tvungen att sluta och flytta till England (där det nu har implementerats av Met Office).

    Och Martin, nästa gång du gör en liten tabbe: skriv inte någon lång ursäkt. Då kan folk tro att du v e r k l i g e n gjort bort dig 😉

    1. Hej Anders.
      Jag har väntat på rätt tillfälle att få säga det få törs säga och därtill få använda en publikfriande rubrik i kvällstidningsanda. 🙂 Men du har rätt i att jag överdrev lite i rubriken.

      Dessutom var det ett tag sedan förra gången, om jag minns rätt så var det 1999. Då var jag på SVT och sade att det skulle regna i Stockholm, men det blev en grad kallare och kom massor av snö istället.

      En felprognos vart femtonde år är väl ändå rätt okay score? 😉

  7. Olle R

    Jag tror inte folk upplevde den inledande delen av prognosen som misslyckad. Det gick från svinkallt till några plusgrader på ett dygn. Att det sen är 5 plusgrader istället för 3 är inget som folk bryr sig om. Det slaskar och är varmt helt enkelt. På slutet upplevs nog felet som lite större, framförallt att det inte blir minusgrader till nyårsafton utan först tre dygn senare.
    Enligt uppgift ska isen ha lagt sig på Storsjöflaket men sen gått upp igen (kraftig blåst ?), vilket är mycket ovanligt för årstiden.
    En fråga till er meteorologer, om temperaturen blir några grader varmare än beräknat, kan det då bero på en oväntat stark föhn-effekt när fuktig Atlantluft drar in över fjällkedjan?

  8. Börje

    Hej på er! Tidigare långtidsprognoser har ju pekat på att det skulle bli vinter i hela Sverige från mitten av Januari. Är dom fortfarande aktuella eller har det ändrats nu?
    Anders verkar ju ha superkoll på vädret så han kanske vet-

    1. Anders Persson

      Börje: Genom mitt hemliga meteorologiska nät av agenter ute i världen har jag fått veta att södra Sverige kan få en kort köldknäpp 11-12 januari och att r i s k e n för lite kallre väder ökar 15-19 januari. Norra Sverige får kylan tidigare, kring den 10:e och den stannar till omkring den 14:e, kanske längre.

      1. Börje

        Tack för svar Anders. Jag hugger lite i skogen och behöver tjäle för att kunna köra ut virket utan för stora skador. Jag har läst nån stans att Mars är den tjälsäkraste månaden som regel. Vi får hoppas på det.

  9. Steven Jörsäter

    Tack Martin för intressant läsning. Utmärkt att du diskuterar prognosernas tillförlitlighet. Enligt min mening bör varje väderprognos inledas med en diskussion om hur dagens väder har varit och vad man hade prognosticerat dagen innan liksom (exempelvis) en vecka innan (precis som exempelvis börssiare borde förmås göra detsamma). För genom att förstå hur tidigare prognoser gick så kan man bättre värdera trovärdigheten i dagens.
    Ensembler är kanske bra men att ha ett temperaturspann mellan -7 och +3 som Martin visar för den 1 januari är trots allt en ganska värdelös prognos – med hög sannolikhet hade man kunnat gissa något liknande.
    Själv sysslar jag med skridskoisprognoser och är därmed ofta extremt beroende av väderprognoserna. Kommande onsdag den 7:e i Stockholmsområdet exempelvis är en lätt mardröm-. Prognosen är+1 och nederbörd. Skridskoåkare har i stort sett nolltolerans mot snö (som lägger sig!) men regn är helt OK. Vilket blir det? Slutligen kan jag meddela Anders Persson att Storsjön är åtminstone till stora delar isbelagd med sagolika skridskoisar – jag hade själv förmånen att få befara dem idag. Och slutligen – idag blev det ordentligt kallt, -8 ungefär.

    1. Tack.
      En stor poäng med ensembler är att det representerar vad man faktiskt kan veta. Jag förstår att ett intervall från -7 till +3 är ”värdelöst” om man skall beräkna istillväxt. Du hade varit mer glad åt att få reda på att det blir tex -2. Men även om siffran ”-2” är praktisk att planera efter så hade du blivit besviken alla gånger som det i verkligheten istället blev +2, 0, -7, -4 osv. Du hade då anmärkt på att prognoserna var oprecisa och hoppiga.
      Poängen med intervallet i ensemblerna är att det är det man kan veta i förväg: Någonstans i detta intervall hamnar man. Om det är ett stort intervall så vet man att man inte vet särskilt mycket om framtiden, är det smalare så vet man att prognoserna har lättare att fånga atmosfärens beteende och att dess utveckling är mer förutsägbar.
      Men ensemblerna visar inte bara vad som går att beräkna, de är även en påminnelse om att framtidens utveckling inte är förutbestämd: Slumpen spelar en avgörande betydelse även i naturen, och då är det ju än mer att ta sig vatten över huvudet att ta på sig att beräkna exakt hur den skall utvecklas.

    2. Anders Persson

      Steven skriver: ”Genom att förstå hur tidigare prognoser gick så kan man bättre värdera trovärdigheten i dagens.”

      Tyvärr inte. Hade det varit så enkelt hade vi meteorologer gjort så sedan länge. Problemet är att en lång period av hög (eller låg) prognossäkerhet kan utan vidare slå om i sin motsats. Ensemblerna hjälper oss till viss del med att ta bestämma den a k t u e l l a prognossäkerheten.

      Du skriver vidare: ”Ensembler är kanske bra men att ha ett temperaturspann mellan -7 och +3 som Martin visar för den 1 januari är trots allt en ganska värdelös prognos – med hög sannolikhet hade man kunnat gissa något liknande.”

      Ja, det motsvarar som du menar, mer eller mindre den normala variationen. Budskapet till dig som beslutsfattare är då:

      1. Du kan inte göra några säkert beslut – och det är ju bra att veta!
      2. Om du vill chansa ger dig ensemblerna oddsen för och emot. Men det är du själv som bestämmer vilka risker du vill ta.
      3. Kanske nästa ensembleprognos visar minskande spridning. De görs ju två gånger om dagen. Tänk på att Martins var mest för ”show”.

      Det kommunikationsmässiga problemet är att många människor vill ha klara, entydiga prognoser (en siffra!) eftersom man då har någon att skylla på (Martin!). Om osäkerheten finns med i prognosen måste man själv avgöra om man vill ta en risk eller inte och har ingen att skylla på.

  10. Trötter

    Om man betänker utvecklingen sedan BESK.
    http://www.tekniskamuseet.se/1/195.html
    Dagens Nyheter skrev vid lanseringen 1953.
    ”Här står ett
    monstrum med tusentals blinkande
    ögon. Dess morrande vitalitet
    är fullkomligt skrämmande. Ge
    monstret en räkneoperation som
    en här av räknemästare skulle jobba
    med i månader och det spottar
    ur sig resultatet på några minuter.”

    Till dagens monster och petaflopmaskiner som t ex TITAN.
    https://www.olcf.ornl.gov/titan/
    Idag funkar i bästa fall en vecka framåt och det här är vad man vill skapa med exaflopmaskiner.
    http://cresta-project.eu/featured-articles/preparing-ecmwfs-integrated-forecast-system-ifs-weather-forecast-model-for-exascale.html

    Vi tillför konsekvent mer energi till detta kaos genom AGW vilket borde göra det svårare att prognosticera och uppförsbacken blir bara brantare och brantare när det gäller datorutvecklingen. Är det mission impossible? Martin lär inte bli arbetslös innan pensioneringen iaf. 😉

    Anders Persson tar ofta upp den historiska aspekten i flera av sina alster (som tyvärr är utspridda lite varstans på nätet) som jag uppskattar väldigt mycket.

    Hur ser ni, Martin och Anders (eller andra som jobbat/jobbar med detta), på vad som går att åstadkomma framöver? Eller vad önskar ni se?

  11. Alex

    Verkar alltid bli varmare än beräknat och inte tvärtom. Finns det ett sådant mönster?

    1. Trötter

      Alltid är kanske att ta i men nog tycker även jag att man ser det många gånger, det var samma förra vintern vid ett flertal tillfällen. Vad proffsen anser om det vet jag inte.
      Gjorde en kommentar ovan den 5:e och sparade en bild från mittvaeder från den 4:e 12:00.
      http://s2.postimg.org/nu29029bt/ensemble_tt6_stockholm.gif
      Nu efter två dagar så ser det ut så här. Den lilla dippen den 8:e finns inte länge och den kraftiga dippen den 12:e är inte lika kraftig längre t ex.
      http://s29.postimg.org/hsevffnmf/ensemble_tt6_stockholm_06_1200.gif
      I det här fallet så har inte ‘svansen’ vecka två lyft sig nämnvärt men däremot samlat ihop sig vid den 16:e. Men där sticker de båda operationella åt olika håll istället.
      Sedan kan det vara så lustigt att man har nytta av att ha en minnesbild av de tidigare körningarna, för ibland kan en tidigare körning faktiskt stämma bättre.
      Eller så är det ren och skär inbillning alltihop. 🙂

  12. Trötter

    BoM säger tredje varmaste året för Australien sedan 1910.
    http://www.bom.gov.au/climate/current/annual/aus/

    Metoffice säger varmaste året sedan 1910 för det förenade kungadömet.
    http://www.metoffice.gov.uk/news/releases/archive/2015/Record-UK-temps-2014
    Ett par citat.
    ”It is also the warmest year on record in the Central England Temperature series, which dates back to 1659 and is the world’s longest running instrumental temperature series.”
    ”This year’s provisional rainfall total of 1297.1 mm is the fourth highest total on record for the UK in the series dating back to 1910, meaning five of the UK’s top six wettest years have happened since 2000.

    It was also within the 20 wettest years in the England and Wales Precipitation series which dates back to 1766. However, no individual regions had their wettest year on record.”

    SMHI skrev lite tidigare om 2014.
    http://www.smhi.se/nyhetsarkiv/2014-blev-ett-rekordvarmt-ar-i-sverige-1.82895
    Vissa har även fått mycket mer nederbörd än normalt.

  13. Tack för bra prognos nästan alltid! Vem kan veta exakt? Världen och vädret står väl på huvudet!

  14. Johan

    Vad är det med vädret?
    Tittar på prognos från flera institut för ort ca 5-6 mil nordost om Göteborg. Kommande 10 dagarna ca 4-7 plusgrader. Ingen som helst kyla eller snö i sikte. En del nederbörd men då regn naturligtvis.
    Förra året var vintern knappt någon vinter, och hittills denna vintern har det varit liknande. Fortsätter det såhär lär det vara första gången på mycket, mycket länge i mitt område där vi haft två ”icke-vintrar”.
    Själv gillar jag snön då det lyser upp fint i detta mörker. Det får gärna vara snö och 5 minus fram till mars. För att inte tala om alla barn som älskar det.
    Ska man titta på helåret 2014 var både sommar och höst ”galna” i jämförelse med andra år. Varmt som attans, i princip ingen höst utan ”förlängd sommar” istället. Mängder med åska.
    Vad händer med vädret egentligen? Ska man bara tolka allt, förra vintern, sommaren, denna vintern, som ”en tillfällighet” eller vad säger ni vädergudar som har koll på läget?
    Mycket kan hända med vintern ännu, men fram till mitten/slutet på januari har vintern lyst och lyser fullständigt med sin frånvaro för Södra Sverige.

    1. Stefan

      I sydvästra Skåne har det definitionsmässigt inte varit vinter alls hittills. Kanske slipper vi det helt denna säsong och det är ju inte helt ovanligt. För närvarande känns det som tidig vår i luften och folk sitter fortfarande på uteserveringar. Gräset klippte jag för ett par veckor sedan. Verkar som att globala uppvärmningen givit södra Skåne ett mer kontinentalt klimat med snöfria, milda ”vintrar” medan mellansverige fått de gamla skånevintrarna med slask, is och töväder om vartannat. Själv tycker jag det är underbart att slippa snön och kylan och snacket att snön skulle lysa upp gäller knappast i städer. Som nämndes ovan kan man dock undra om detta är sen höst eller tidig vår.

    2. Olle R

      Ja klimatmodellerna förutspår ju att temperaturen ska stiga relativt mer på nordliga breddgrader och mer på vintern, så i genomsnitt lär inte vintrarna bli så roliga i framtiden.
      Dock, med en minskad temperaturgradient mellan Arktis och lägre breddgrader så kommer jetsrömmarna att bilda större slingor och det blir fler låsningar i väderläget. Så det kan ju hända att det i framtiden blir vanligare med svinskallt i långa perioder, men också motsatsen, långa perioder med milt, regnigt gråväder, etc. ( tyvärr blir nog låsningar i trista icke-vinterlägen relativt vanligare om nu medeltemperaturen ska stiga)
      Här är en ganska ny open access-artikel som tar upp ämnet http://iopscience.iop.org/1748-9326/10/1/014005/article

  15. Trötter

    AGW in action, just nu.
    En vacker animation och modellkörning med vindarna i tropopausen där varm luft blandas in.
    http://weather.utah.edu/index.php?runcode=2015010712&t=gfs004&r=NH&d=DT

    Vid backen ser det ut så här.
    http://polarportal.dk/fileadmin/polarportal/weather/Wthr_Anom_SM_EN_20150107.png

    Att man senaste veckorna sett en långsam tillväxt av havsis i Arktis är inte märkligt. Det är fortfarande öppet vatten ovanför Svalbard.

    Stratosfären via Erth wind map.
    http://earth.nullschool.net/#2015/01/07/1200Z/wind/isobaric/70hPa/orthographic=-0.55,69.64,363

Kommentera