Uppföljning del 3

Av Martin Hedberg

Här kommer en liten uppföljning på prognosen jag gjorde i söndags. Vi ligger ju nu nära upploppet av veckoprognosen och folk undrar förstås hur prognosen presterat hittills.

Uppföljning av Martins prognos, utfärdad i söndags, för temperaturen i Stockholm. Vit linje är prognosen, svarta cirklar är observationer av temperaturen från Bromma flygplats (var tredje timme).

Först avvikelserna: Jag trodde att det skulle bli ner till -2,5 på natten mellan tisdag och onsdag, men det blev aldrig kallare än -1,3. På torsdagen var det lite tvärtom, jag trodde att temperaturen skulle hålla sig kring -0,5, men det blev -2,5.

I övrigt har felet i min prognos över temperaturen varit mindre än en grad, under många timmar ligger observationen mer eller mindre exakt på prognosen.

Vad kan man förvänta sig av prognoser? Jo ibland så finner man kommentarer (såväl av journalister som allmänhet) att prognoserna missar verkligheten med fem eller tio grader ett par dagar fram. Beakta det när ni funderar på hur bra eller dålig mina två exempelprognoser har varit/är.

Det är inte så att jag missat med tio grader. Oftast ligger prognosen ovan inom ett par tiodelar av en grad, aldrig mer än två grader. Och det på en prognos som ligger fast sedan flera dagar tillbaka. Den är inte uppdaterad eller justerad för nya inkommande data.

Jag ville göra denna typ av prognos för att live visa att man kan göra ganska bra prognoser. Och själva poängen är att göra det live. Jag har ju då ingen möjlighet att välja ut “rätt” prognos för att visa min tes.

Jag har i och för sig fått kommentarer om att jag har väljer rätt tillfälle att göra dessa prognoser, dvs tillfällen när det skulle vara lättare att göra prognoser.

Men det är väl minst lika viktigt och fascinerande: På något sätt (kunskap, bra verktyg eller intuition?) kan jag, i förväg, känna till om/när det går att göra träffsäkra prognoser! Det är ett rätt så starkt kort.

Jag valde ett tillfälle när jag var säker på veckoprognosen (i mellandagarna) och ett tillfälle (detta) nar jag hade lite större felmarginaler.

På söndag får vi reda på hur det går i finalen av den veckolånga prognosen.

/Martin

Related posts

12 Thoughts to “Uppföljning del 3”

  1. Stefan

    Tack Martin. Jag undrar bara lite om den aktuella prognosen avser den som presenterades på Klart.se i söndags, eller om det är en prognos du gjort själv. Tacksam för svar. Mvh/stefan

    Martin: Hej Stefan. Nej, det är en som jag gjort själv.

  2. Anders Persson

    . . . och lägg märke till den extra finessen, skuggningen i bakgrunden, som anger, på f ö r h a n d, hur säker prognosen är. Enligt vad Martin skrev i söndags kan man förvänta sig att bara 15% av observationerna hamnar utanför – i genomsnitt. Ännu har det inte skett så kanske trodde han i söndags att läget var mer osäkert än det visade sig vara.

  3. Per

    Martin, intressant att du just kom på detta med väderprognosuppföljning? Sällan man ser någon uppföljning av prognoserna i TV? Har det skett någonsin att man förklarat skillnaden beror på mellan prognos och faktiska resultatet? Det sker säkert “bakom kulliserna dock”.

    Gärna mer av liknande nyskapande ideer. Speciellt då med analys av svenska vädret och någon plats i västsverige tex. Göteborg. Utlandsvädret är jag inte jätte intresserad av.

    /Per

  4. Anders Persson

    Till Per: Nej, prognosuppföljning sker bara i absoluta undantagsfall på de nationella meteorologiska instituten. Däremot är det en väl ingrodd rutin på det europeiska vädercentret ECMWF där jag jobbat länge och kortare perioder 1983-2011.

    Varje vecka hade en av oss på Meteorological Operations Section (Met Ops) till uppgift att noga gå igenom de datorprognoser som inföll samma dag, utvärdera deras kvalitet och, i de fall det var allvarliga felprognoser, utröna deras orsak. Också den aktuella prognosen granskas, i synnerhet när den kraftigt avviker från den föregående.

    I slutet på dagen avfattades en 2-3 sidig rapport som spreds runt huset till alla forskarna. I speciellt allvarliga fall kunde en annan meteorolog kopplas in som fick till uppgift att under en eller ett par veckor tränga in i prognosfelets orsaker.

    Ibland ledde sådana undersökningar till fullödiga rapporter som publicerades i vetenskapliga journaler. En sådan, där jag är en av flera medförfattare, kommer att senare i år publiceras i Bulletin of the American Meteorological Society.

    Var tredje månad, dvs fyra gånger per år, samlas alla meteorologer, matematiker, fysiker och datormeteorologer på ECMWF för en heldags ”brainstorming”. De går då igenom det gångna 4-5 månadernas problem och diskuterar deras orsaker och möjliga lösningar.

    Denna demokratiska och tvärvetenskapliga kultur är unik för ECMWF och kan vara en av förklaringarna till dess framgång och höga anseende.

    Under min tid på ECMWF var jag vid flertal tillfällen engagerad i försök att introducera liknade procedurer på de nationella meteorologiska instituten. Det misslyckades alltid, ibland för att högste forskningschefen ansåg att det var hans privilegium att avgöra vad som var rätt eller fel i ”hans” prognosmodell, men oftast därför att det skulle kräva kontakter och samarbete mellan meteorologiska teoretiker och praktiker, något som båda sidor avskyr.

  5. Fredrik

    Förlåt! Jag är trög, men jag har fortfarande svårt att förstå hur man räknar felprognoserna i procent. Så speciella villkor måste väl uppfyllas för att en sådan räkning ska vara möjlig, att den metoden egentligen är ogörlig eller oanvändbar?

    Larvigt exempel: Om prognosen säger 1C och det blir 2C, så blir felutfallet lika stort som 10 visavi 20. Riktigt besvärligt blir det om det är 0-gradigt och helt torrt, när prognosen sagt 1 grad och 0,3 mm regn, till exempel.

    En tanke är att räkna om till Fahrenheit och decimaltum i sådana fall, men “kvalitetsmätningsmetoden” känns fel ändå.

    Ett alternativ kunde vara att metereologerna får ställa upp i allmänna val. 😉
    Hoppas ni har en vit helg!

    Martin: Hej Fredrik. Fahrenheit-skalan har samma problem som Celsius, referenspunkten för vad som är 0 är illa vald. Vill man räkna på relativ temperaturförändring så får man använda Kelvin. 0 grader Celsius är då som bekant 273 Kelvin. 3% varmare är då 281 kelvin eller +8 grader Celsius.

    Men det vi talar om är inte procentuell förändring av en viss temperatur. Det vi talar om är sannolikheten för att en prognos skall uppfyllas eller ej.

    I min verktygslåda som meteorolog har jag verktyg både för att göra prognosen “-6 grader C på lördag” (den vita linjen), och verktyg för att säga “med 85% sannolikhet blir det mellan -2 och -10 grader på lördag (det grå fältet)”.

    Det senare, dvs “85% sannolikhet för att det blir mellan -2 och -10”, får man fram genom att köra många vädermodeller. De kommer alla att ge olika svar. Vad jag gör är att välja ett så litet intervall som möjligt (för jag vill göra en så detaljerad prognos som möjligt), men som ändå fångar 85% av prognoserna.

  6. Pelle

    @Anders Persson. Intressant sista stycke. Vari ligger denna motsättning mellan teoretiker och praktiker inom det meterologiska området? Gäller det SMHI också?

  7. Anders Persson

    Till Pelle: Sverige var det första landet i världen, strax före USA, att utveckla datorbaserade väderprognoser. Det var på 1950-talet och prognoserna gick tre dygn framåt och visade utvecklingen på 5-6 km höjd. Teoretikerna/datormeteorologerna utarbetade också en slags ”handledning” som togs väl emot av prognosmeteorologerna. Allt såg bra ut.

    Men så kring 1960 kom datormeteorologerna på att det skulle gynna deras intressen att inför de resursbeviljande statsmakterna mer poängtera möjliga rationaliseringar än prognosförbättringar. Så föddes parollen ”om 5-10 år behövs det inga meteorologer”. Jag hörde den första gången 1966 men beslöt att inte tro på den. Men de flesta av mina kollegor gjorde det och så var det meteorologiska inbördeskriget igång.

    När andra länder kom igång med datorbaserade väderprognoser tog de upp parollen. Än idag heter det överallt i världen att ”om 5-10 år behöver vi inga meteorologer”. Följden har varit kraftig underdimensionering av utbildningen av meteorologer – trots att det från början visade sig att det inte bara var att läsa av någon utskrift från en dator.

    ty det visade sig från början att det inte bara var att läsa av någon utskrift från en dator.

    Vad som alltid gjort mig skeptisk till datormeteorologernas automatiseringssnack har varit att de dels i allmänhet var ointresserade av väderprognoser, de gillar att leka med datorer, dels att de varit ointresserade av den efterbehandling (post-processing) som alltid varit nödvändig.

  8. Håkan

    Jag undrar Anders och Martin hur ni ser på vikten av intuition I erat arbete? Det kan ju tyckas att det skulle kunna uppfattas som ovetenskapligt och oproffessionellt, att meterologer skulle använda sig av intuition när de gör en prognos. Men jag tror att en av de främsta anledningarna till att en erfaren meterolog har oftare mer rätt än oerfarna eller datakörningar är att de har utvecklat intuition eller fingertoppskänsla för vädret, baserat på att en stor mängd variabler, vars vikt är till vissa delar okända eller svåranalyserade i deras inbördes förhållande till varandra, kanske det är bättre att kalla det för vädermönsterkänsla baserat på erfarenhet…

    Hursomhelst hur stor/liten del av era prognoser är baserat på intuition?

    Martin: Först kanske man måste ta en diskussion om vad “intuition” är.

    Jag läser för närvarande en bok av Daniel Kahneman. Han talar om “professionell intuition” och ger exempel på experter som erfarna schackspelare, brandmän och läkare som tycks ha ett “sjätte sinne”. Vissa av dem fattar snabbt korrekta beslut utan att tänka analytiskt (och deras omgivning står förvånade). Respektive expert har svårt för att i efterhand redogöra anledningarna till deras beslut. “Jag bara visste att det var korrekt att fatta det eller det beslutet…”.

    Kahneman menar att den professionella intuitionen inte är annat än igenkännande av mönster, erfarenhet som man lagrat på sig under sitt yrkesverksamma liv. Var och en av gör samma saker hela tiden i vardagen, men då med vardagliga saker som inte är lika imponerande som när experter visa prov på sin erfarenhet inom ett smalt fält, vare sig det är en seglare som i förväg “vet” att något håller på att gå sönder, eller en läkare som ställer en korrekt medicinsk diagnos utan att ens ta prover på en patient.

    Jag har haft motsvarande “feeling” och tex gjort kollegor och piloter imponerande genom att förutsäga när dimma skall lätta på Östersunds flygplats. Det var/är ett klassiskt problem just på F4 under hösten och förvintern. Först analyserar man observationer, sonderingar, satellitbilder mm. Sedan går man ut och luktar på och “upplever” dimman. Därefter gör man sin prognos. Jag har också gjort riktiga magplask när jag har förlitat mig på intuition istället för rigorös analys 😉 . Men/och det har varit/är lärorikt.

    Andra har säkert andra erfarenheter och åsikter om av vad intuition är.

  9. Anders Persson

    I alla yrkesverksamheter är det viktigt att ha intuition, något som Wikipedia definierar som ”förmågan att bilda en omedelbar uppfattning eller göra en omedelbar bedömning utan att (medvetet) ha tillgång till alla fakta, och ställs ofta i motsats till att resonera och förstå logiskt….Man kan kanske kalla det magkänsla också.”

    Under min tid på ECMWF fick vi in många kommentarer till våra datorprognoser, byggd på prognosmeteorologernas ”magkänsla”. När vi undersökte fann vi att cirka hälften saknade saklig grund. Men andra hälften hade och genom fortsatta undersökningar kunde vi lyfta upp dessa kommentarer från intuitions förstuga till vetenskapen vardagsrum.

    Å andra sidan har jag i min undervisning sökt vägar att gå åt andra hållet: att ur vetenskapliga och matematiska teorier formulera eller modifiera intuitiva tumregler. Ty vår intuition kan uppdateras. Newtons mekanik har uppdaterat vår intuition så vi inte tror att australiensarna ”där nere” ramlar av jordklotet. Meteorologen kan också, om han/hon vill, uppdatera eller revidera sin intuition.

    Om datorprognosen i går kväll förutsagt torrt, men sedan i två på varandra följande körningar (i morse och nu i kväll) förutsagt regn, tror vi givetvis, intuitivt, mer på regn än om datorn hade ”hoppat”, först prognoserat regn, sedan torrt och sedan regn på nytt. Men fakta visar att regn är lite troligare i det senare fallet. Undervisningen syftar nu till att förklara ”varför”.

    I den första följden är de två regnprognoserna mer korrelerade än de två regnprognoserna i den senare följden. Så vad den äldsta prognosen saknar i träffsäkerhet kompenserar den genom att vara mindre korrelerad. Så vi måste omprogrammera vår intuition med avseende på denna ”prognoshoppighet”.

    En som har mycket intressanta synpunkter på sådana här saker är nobelpristagaren Daniel Kahneman i sin nyligen till svenska översatta bok ”Tänka snabbt och långsamt” som helt korrekt marknadsförs som ”Internationell bestseller”. (Detta skrevs innan jag sett Martins svar ovan!)

  10. Fredrik

    Uppföljning. Det går inte att räkna sannolikhet i detta fall. Logiken brister.
    En prognos träffar alltid litet fel, som du säger. Såvida man inte gör en som är så “gränslös” att den också är poänglös. Således är sannolikheten för en prognos’ riktighet noll(0), i alla fall än så länge: En prognos kan aldrig vara helt rätt. Som det är nu finner många att inte ens i efterhand stämmer beskrivningen av vädret. 😉

    Därav följer att man måste mäta prognosers värde på ett annat sätt. Att jämföra två eller flera felaktiga prognoser förutsätter att man mäter måttet på deras respektive felaktigheter.

    Jag vet inte, men temperatur, vindstyrka, nederbörd och lufttryck är väl jämförbara storheter? Antar att man också måste avgöra tidsomfånget, geografisk utsträckning och på vilken höjd över jordytan. Man måste också på förhand ha avgjort när målkameran ska knäppa bilden av det rätta resultatet, och vem som ska stå vid avtryckaren.

  11. Håkan

    Det här är en uppföljning till frågan om intuition. Kan ni göra en något sånär träffsäker prognos för t ex Stockholm över nästa 2 dygn, efter att ha tittat på en satellit bild som innehåller Skandinavien, Storbrittanien, Nordsjön och Finland, Baltikum, samt västra Ryssland, under låt oss säga 5 sekunders tid?

  12. Anders Persson

    Till Fredrik som skriver: ”Således är sannolikheten för en prognos’ riktighet noll(0), i alla fall än så länge: En prognos kan aldrig vara helt rätt.”

    Du har rätt i att sannolikheten för en enskild prognos, t.ex. -6 C, är noll. Men de sannolikheter som Martin talar om är sannolikheten, i hans fall 85%, att den verifierande observationen ligger inom ett intervall, det skuggade bältet.

    Rent allmänt kan man verifiera väderprognoser på tre sätt:

    1. Noggrannheten (eng. accuracy) vilket är ”felet”, dvs skillnaden mellan prognos och observation

    2. Skickligheten (eng. skill) vilket är felet jämfört med någon annan, ofta trivial metod som en persistensprognos (samma väder imorgon som idag) eller med vad ett klimatologiskt typvärde skulle ge, använd som prognos.

    3. Nyttan (eng. utility) vilket anger den ekonomiska eller politiska nyttan av prognoserna.

    Vad som krånglar till det hela är att metoderna 1., 2. och 3. inte alltid pekar åt samma håll, vilket beror på att det inte finns något universellt kriterium på vad som är en ”bra” väderprognos – vad som är bra för dig är inte nödvändigtvis bra för mig.

Leave a Reply