Av Anders Persson
Efter del 4 i min serie om hur bra väderprognoserna är så fick jag en fråga om det fanns några slags ”återkopplingssystem” för att ta till vara erfarenheter.
Jo, sådant finns på många vädertjänster, jag har själv utvecklat ett för SMHI och mitt arbete på Meteorological Office i Exeter 2008-2010 hade detta som huvudändamål. Principer bygger på ”självlärande ekvationer”, dvs ett matematiskt system som lär sig av erfarenheter och dag för dag uppdaterar sina korrektioneri skenet av nya erfarenheter.
Man måste dock tala om för system vilken typ av korrektionerna den ska leta efter. Det enklaste är att säga åt systemet att den ska leta efter ”biasar” dvs skillnader mellan prognos och observationer som är desamma oberoende av prognosens värde. Det är mycket likt det som meteorologen gör, kollar om datorprognosen i genomsnitt är för varm eller kall, och sedan noterar hur detta kan ändra sig med årstiden.
Lite svårare är att upptäcka systematiska fel som beror på prognosen själv, t.ex. att det inte finns några större systematiska fel när det är milt, men på tok för höga värden när det är kallt. Men det kan systemet med de ”självlärande ekvationerna”. Nedan är ett exempel på hur ECMWFs temperaturprognos för en fyrstation utanför Luleå rättats. Lägg märke till att ändringen är större när det är kallt än ganska milt.
Figurtext: Så kallad ”Kalmanfiltrering” av datoriserad 1-dygns prognos (streckad linje). Utifrån sina dagliga ”erfarenheter” av prognosens träffsäkerhet, dvs överensstämmelse med observationer (röda kulor) kan dessa ”självlärande ekvationer” korrigera prognosen med viss framgång (heldragen linje).
Det som är extra spännande med detta system är hur lite data den behöver. Det enda som lagras i minnet är den senaste, ännu ej verifierade prognosen. När den matchats mot en observation och ekvationerna något modifierat sig, spolas både observation och prognos ur minnet. Detta skiljer systemet från äldre system där man använde arkiverade observationer och prognoser från de sista 3-5 åren för att skapa matematiska relationer mellan dem som kunde användas som korrektioner. Problemet med dessa system var att relationerna 3-5 år tillbaka i tiden inte alltid var ”up to date” på grund av ständigt pågående modellförbättringar.
För dem som vill veta mer kolla en pdf av en presentation som jag var med och tog fram på ECMWF. Texten kan här och där vara lite teknisk, men hoppa över de rutorna och koncentrera dig på diagrammen av prognoser före och efter korrektionen samt den schematiska bildsviten av hur ett ”Kalmanfilter” fungerar.
/Anders
Tack!
”Självlärande ekvationer”. Var det inte såna Arnold Schwarznegger var programmerad med i filmen ”Terminator”? Snart kanske väderdatorerna vänder sig mot oss. Det hade iofs varit intressant att använda dessa ekvationer för att förutsäga aktiekurser…
Människor klarar i princip enbart av att se de skillnader du nämner Anders, dvs offset (eller ”biasen” som du också kallar den) och förstärkning (tex att det vid kalla temperaturer blir ett offsetfel). Övriga fel klarar människor inte av att se genom att betrakta kurvformerna. Möjligtvis en oscillation av fast frekvens.
Därmed är det inte klarlagt att det inte finns andra samband som skulle kunna korrigeras. Hur Kalmanalgoritmen påverkar dessa har man alltså ingen aning om. Återkopplingen kan bli dämpad eller förstärkt beroende på sambandets funktion. En filtrerad signal behöver alltså inte nödvändigtvis bli bättre.
Kan man dock filtrera värdena under tex 7 år och se att avvikelsen blir mindre kan man ganska tryggt veta att man kan göra detsamma på år 8 med gott resultat.
Vi antar att medeltemperaturen i Sverige stiger något år från år. Vad är då normal temperatur? ”Varmare eller kallare än normalt” är ju ett vanligt begrepp som vädersiare slänger sig med. Jämför man då med ett visst antal ”basår” eller förskjuts dessa hela tiden. Om en meteorolog säger/skriver ”att juni har varit betydligt svalare än normalt i år, jämför hon/han då med junimånader på 1960-talet eller 1990-talet etcetc?
Martin: Man relaterar vädret till en tidigare 30-årsperiod. I Sverige använder vi 1961-1990 som basår. En del andra länder har senare referensperioder, jag såg igår att NOAA i vissa sammanhang refererar till 1982-2010 (vilket dessutom är 29 år).
Som du säger så förändras vad som kan kallas ”normalt”. Å ena sidan vill man kanske ha en så ”färsk” 30-årsperiod som möjligt, å andra sidan är det inte så praktiskt med en referensen som förändras. Det skulle vara lite som att ändra på hur lång en meter är bara för att medellängden på människorna förändras. Men icke desto mindre blir det ett allt större problem att ”normalt” inte längre är normalt. Det är därför viktigt att inte kalla det för ”normalt” (även om det är lättast i vanligt språkbruk), utan att vara tydlig med att det är ”medelvärdet under perioden 1961-1990” man referera till.
Fråga
Har du hört talas om Fjärilseffekten?
Anders: Jodå, jag känner till Fjärilseffekten. Jag är kollega och vän till han som upptäckte den, godvän med han som gav det dess namn och bekant med den forskare som myntade begreppet ”kaos”.
Martin// Tack(sam) för ditt svar.
Martin, varför har du tagit bort kommentaren om trolöshet mm?
Martin: För att den inte riktigt hade med artikeln att göra.
Svar till EJ: Kalmfiltret är som en skrivmaskin eller ordbehandlare, den befriar dig inte från uppgiften att tänka. Bara för att du köper Stieg Larssons ordbehandlare eller Astrid Lindgrens skrivmaskin kommer du inte att kunna skriva lika bra som de. Det är den felstruktur som du ber Kalmanfiltret hålla utkik efter som avgör hur framgångsrikt systemet blir.
För 22 år sedan, innan jag lämnade Sverige, hade SMHI ett system som tog hänsyn till två ytterligare faktorer, förutom prognosen själv. Meteorologerna hade mycket svårt att överträffa dessa prognoser.
Du talar om 7 års testperiod varefter, om resultatet är lyckat, det 8:e året nog blir framgångsrikt. Jo, men det är vad jag ovan kallar det ”äldre systemet”. Ty de typiska felstrukturerna under dessa 7 år behöver inte överleva in på det 8:e på grund av modellförändringar. Kalmanfiltret är adaptivt och jobbar inte med långa ”inlärningsperioder”.
Jonas// Kopierat ur NE: Fjärilseffekten =”väderprognos, förutsägelse om vädret baserad på vetenskaplig grund. Man skiljer mellan fyra slags metoder att göra väderprognoser: synoptiska (även kallade empiriska), lokala, statistiska och numeriska metoder”.
Synoptiska metoder
Synoptiska metoder för väderprognos, liksom övriga metoder, kartlägger vädret och följer hur vädersystemen rör sig och utvecklas. För både synoptiska och numeriska metoder gäller att för en tolvtimmarsprognos för Sverige måste hänsyn i allmänhet tas till data från hela n. Europa och Norska havet. Den synoptiska metoden förutsätter tillgång till rapporter om samtidiga observationer på många platser. Metoden är subjektiv och baseras på att meteorologen utifrån erfarenhet och kunskaper extrapolerar vädersystemens rörelser … (100 av 2705 ord)
Martin, hur kan du veta det? Kommentaren kanske syftade på något som faktiskt indirekt hade med artikeln att göra! Var inte så cynisk och dömande. Du kunde åtminstone väntat tills personen svarade, och förklarade sammanhanget med kommentaren. Värdefull kunskap förtjänar dessutom att förmedlas i alla forum, därför att värdefull kunskap kan hjälpa eller intressera alla, oavsett bakgrund eller intresseområde.
Martin: Hej Lennie. Jag kan veta. För det första är det inte så att allt som skrivs som kommentarer ”har rätt” att publiceras. För det andra så är jag redaktör i det här forumet och har både rätt och skyldighet att bedöma vad som är sakligt och inte.
Men jag tänkte att det kanske fanns en gnutta relevans i kommentaren, det kanske skulle komma någon mer information. Jag lät den därför ligga ute större delen av gårdagen, men inget intressant dök upp. Därefter tog jag bort den. Jag finner det vare sig särskilt cynisk eller dömande.
Av det kan vi dessutom lära oss att man, om man har något viktigt att säga, skall säga det. Det är inte en särskilt bra strategi att först skriva något som upplevs som osakligt för att senare komma med en förklarande kommentar till vad det var man egentligen menade.
Och det är ju inte så att fönstret är stängt. Om han/hon som skrev kommentaren har något i sammanhanget relevant att komma med så är det ju bara att skriva det i en ny kommentar.
Lennie, väderdatorerna vänder sig mot oss och ger oss bättre prognoser eller? Du kollar för mycket på film låter det som!
”Jag är bekant med den forskare som myntade begreppet kaos”
Oj vad gammal du måste vara, det var väl redan de gamla grekerna 🙂
Anders, du missförstod mig om 7 år. Jag förstår att filtret förändrar sig med tiden. Vad jag menade är att eftersom filtret kan förbättra en viss typ av fel, men tyvärr göra andra typer av fel värre, vet man inte från början om åtgärden är positiv eller negativ. Att titta på ett enskilt år och se att prognoserna blivit bättre duger inte heller. Det kan vara ren tur eller ren slump. Om vi antar att en metod inte skulle ge något förbättrat eller försämrat resultat så är det 50% chans att året ändå visar bättring och 50% att det visar försämring. Tar man resultatet från flera år och dessa visar positivt (tex 7 år med positivt resultat visar med 99% sannolikhet att detta är en bra metod), så kan man vara ganska säker på att metoden antagligen kommer fungera bra i framtiden också.
Martin, när du gör långtidsprognoser, och exempelvis säger att en viss årstid kommer att bli mild, vad menar du då?
Svar till EJ: Jo du har helt rätt, jag missförstod dig. Man behöver dock inte testa en metod i evighet för att vara säker på att den fungerar. På ECMWF tillämpade vi på min tid något som kallas för ”baptism in fire” (elddop). Vi kollade att ett nytt system fungerade skapligt innan vi satte det i drift. Men sedan följde vi noga, mycket noga hur det uppförde sig och löste eventuella problem ”under resans gång”. Det var kanske lite äventyrligt men väldigt roligt och spännande.
Anders: Jodå, jag känner till Fjärilseffekten.
Och vad drar du för slutsatser av den dvs fjärilseffekten och kaosteorin.
Jag är totalt ointresserad av vilka personer du är bekanta med respekrive inte bekanta med, eller vill du ha ha redogörelse av vilka jag är bekanta med.
Martin: Du får en del svar i nästa blogg som ligger ute nu.
Det verkade som om juli skulle bli en varm månad hela månan men så ser inte prognoserna ut? Kan man säga nåt om hur agusti blir?