User Tools

Site Tools


kvalobs:kvalobs:kvalobs-flagg

Flagg i KVALOBS (versjon 9.17)

Bakgrunn

Meteorologisk institutts system for kvalitetssikring av observasjoner (KVALOBS) omfatter et sett av kvalitetskontroller der alle dataene blir statusmerket. I den automatiske kontrollen er det modulen QABase som håndterer kontrollene. Selve kontrollene kjøres som utskiftbare skript. Hver enkelt kontroll av observasjonene blir markeret i skriptene med kontrollflagg. Modulen QABase sammenfatter deretter kontrollresultatene til et sett av bruksflagg. De automatiske kontrollene i KVALOBS skal hovedsakelig detektere mulige feil. De påfølgende manuelle kontrollene er avgrenset til verifisering og overprøving av forhold som er automatisk detektert. Resultatet blir markert i et eget kontrollflagg for manuell kontroll i HQC-applikasjonen. Flaggene blir overført sammen med dataene til permanent lagring i klimadatabasen og senere bruk.

I KVALOBS-databasen blir hver observasjon lagret som poster i en egen tabell (/data/). Strukturen til denne er vist i tabellen nedenfor.

Felt Datatype Kommentar
originalfloatOriginal verdi
correctedfloatKorrigert verdi (d.s.s. original verdi hvis ingen korreksjon)
stationidintstasjonsnummer, egen tabell
obstimetimeobservasjonstermin
tbtimetimetiden for når datasettet ble lagt inn i Kvalobs
typeidintmeldingsformatnummer, egen tabell (SYNOP, METAR, o.a.)
controlinfochar (16)De seksten kontrollflaggene. Detaljert forklaring nedenfor
levelintmåling av samme parameter i ulike høyder. Verdien 0 angir standardhøyde
paramidintparameternummer, egen tabell
sensorchar (1)eventuelle parallellmålinger. Defaultverdi er 0
useinfochar (16)De seksten bruksflaggene. Detaljert forklaring nedenfor
cfailedstringkoder for test som har gitt utslag

Kontrollinformasjon (controlinfo)

Kontrollinformasjonen i feltet 'controlinfo' består av en serie på totalt 16 kontrollflagg. Kontrollflaggene markerer hvilken status hver av KVALOBS-kontrollene har gitt observasjonen.

Flaggene er tilordnet den enkelte observasjonen/parameterverdien. Parameter, sted og tidspunkt er entydig gitt ved andre felter enn kontrollflaggene.

Kontrollflaggene:

Flagg Kodesystem Beskrivelse Blir satt av
controlinfo(0) fagg GrunnlagsdataAggregator
controlinfo(1) fr GrenseverdikontrollQC1-1-sjekker
controlinfo(2) fcc Formell konsistenskontrollQC1-2-sjekker
controlinfo(3) fs SprangkontrollQC1-3-sjekker
QC2d-1-sjekker
controlinfo(4) fnum Prognostisk romkontrollQC1-4-sjekker
controlinfo(5) fpos MeldingskontrollQC1-5-sjekker
controlinfo(6) fmis Manglende observasjonDekoder
Alle sjekker
HQC-applikasjonen
Aggregator
controlinfo(7) ftime TidsserietilpasningQC2d-2-sjekker
controlinfo(8) fw VæranalyseQC2d-3-sjekker
controlinfo(9) fstat StatistikkontrollQC2d-4-sjekker
controlinfo(10) fcp Klimatologisk konsistenskontrollQC1-6-sjekker
controlinfo(11) fclim KlimatologikontrollQC2m-1-sjekker
controlinfo(12) fd Fordeling av samleverdierQC1-7-sjekker
QC2m-2-sjekker
HQC-applikasjonen
controlinfo(13) fpre ForhåndskvalifiseringQC1-0-sjekker
controlinfo(14) fcombi Kombinert vurderingQC1-9-sjekker
controlinfo(15) fhqc Manuell kvalitetskontrollHQC-applikasjonen

Det er definert seks operasjonelle kontrollnivåer i KVALOBS. Disse er i sekvensiell rekkefølge:

  • QC0 - kontroll på stasjonen.
  • QC1 - automatisk sanntidskontroll etter mottak.
  • QC2h - automatisk ettertidskontroll innenfor to timer etter mottak.
  • QC2d - automatisk ettertidskontroll innenfor ett døgn etter mottak.
  • QC2m - automatisk ettertidskontroll av en måneds observasjoner samlet.
  • HQC - manuell ettertidskontroll.

Det blir ikke overført kontrollflagg fra stasjonenes QC0-kontroller til sentrale datalagre.

Resultatet av kontrollene sammenfattes i kontrollflagg. Det er definert tretten kontrolltyper. Syv av kontrolltypene blir gjennomført under QC1, fire under QC2d og to under QC2m. Sprangkontrollen under QC1 og dipkontrollen under QC2d er dekket av samme flaggkodesystem. To av kontrolltypene blir påbegynt under QC2m. Alle kontrollene kan sjekkes og eventuelt overprøves i HQC. De automatiske rettelsene skal kunne overprøves i HQC.

Kontrolltypene:

QC1-0Forhåndsvurdert håndtering
QC1-1Grenseverdikontroll
QC1-2Formell konsistenskontroll
QC1-3Sprangkontroll
QC1-4Prognostisk romkontroll
QC1-5Meldingskontroll
QC1-6Klimatologisk konsistenskontroll
QC1-7Påvisning av oppsamlet verdi
QC1-9Vurdering basert på en kombinasjon av QC1-kontrollene
QC2h-1Mønsterkontroll
QC2d-1Dipkontroll
QC2d-2Tidsserietilpasning
QC2d-3Væranalyse
QC2d-4Statistikkontroll
QC2m-1Klimatologikontroll
QC2m-2Fordeling av samleverdi

Kontrollflaggene

Når en kontroll er gjennomført blir det avledet et kontrollflagg som inngår i kontrollinformasjonen controlinfo. Hvert kontrollflagg blir satt av en gitt kontrolltype. Nedenfor er kontrolltypen angitt til venstre for tilhørende flaggverdi. Flagging som innebærer korreksjon av verdien i feltet /corrected/ i tabellen /data/ er uthevet.

Vurdering av grunnlagsdata ved aggregering (aggregation)

controlinfo(0), fagg

Aggregatorfagg=0Kvalitetsinformasjon er ikke gitt
Aggregatorfagg=1Grunnlagsdata er funnet i orden
Aggregatorfagg=2Grunnlagsdata er litt mistenkelig
Aggregatorfagg=3Grunnlagsdata er svært mistenkelig
Aggregatorfagg=4Grunnlagsdata er manuelt korrigert
Aggregatorfagg=5Grunnlagsdata er manuelt interpolert
Aggregatorfagg=6Grunnlagsdata er automatisk korrigert
Aggregatorfagg=7Grunnlagsdata er automatisk interpolert
Aggregatorfagg=8Grunnlagsdata er manuelt tilfordelt fra akkumulert verdi
Aggregatorfagg=9Grunnlagsdata er automatisk tilfordelt fra akkumulert verdi
Aggregatorfagg=A<reservert>
Aggregatorfagg=BGrunnlagsdata er forkastet

I praksis settes fagg av aggregatoren som følger, i prioritert rekkefølge (gverdi=grunnlagsdataverdi):

(forkastet)
fagg=B hvis fmis=2

(automatisk interpolert, korrigert, tilfordelt)
fagg=7 hvis fmis=1 og minst en gverdi har useinfo(3)=4
fagg=6 hvis fmis=4 og minst en gverdi har useinfo(3)=3
fagg=9 hvis fmis=1,4 og minst en gverdi har useinfo(3)=6

(manuelt interpolert, korrigert, tilfordelt)
fagg=5 hvis fmis=1 og minst en gverdi har useinfo(3)=2
fagg=4 hvis fmis=4 og minst en gverdi har useinfo(3)=1
fagg=8 hvis fmis=1,4 og minst en gverdi har useinfo(3)=5

(gjenstående, når original mangler eller er funnet å være sikkert feilaktig)
fagg=0 hvis fmis=1,3,4

(gjenstår: fmis=0)
fagg=0 hvis minst en gverdi har useinfo(2)=9
fagg=3 hvis minst en gverdi har useinfo(2)=2
fagg=2 hvis minst en gverdi har useinfo(2)=1

ellers settes fagg=1

Grenseverdikontroll (range)

controlinfo(1), fr

fr=0Ikke kontrollert
QC1-1fr=1Kontrollert. Funnet i orden
QC1-1fr=2Kontrollert. Observert verdi større enn høy testverdi
QC1-1fr=3Kontrollert. Observert verdi mindre enn lav testverdi
QC1-1fr=4Kontrollert. Observert verdi større enn høyeste testverdi
QC1-1fr=5Kontrollert. Observert verdi mindre enn minste testverdi
QC1-1fr=6Forkastet. Observert verdi utenfor fysikalske grenser
QC1-1fr=7Kontrollert. Funnet å svare til spesialverdi som betyr manglende
fr=8-9<reservert>
QC1-1fr=AKontrollert. Observert verdi utenfor fysikalske grenser. Korrigert automatisk

Formell konsistenskontroll (consistency certain)

controlinfo(2), fcc

fcc=0Ikke kontrollert.
QC1-2fcc=1Kontrollert. Funnet i orden.
QC1-2fcc=2Kontrollert. Formell inkonsistens, men neppe feil i aktuell parameter.
QC1-2fcc=3Kontrollert. Formell inkonsistens ved observasjonsterminen, men ikke mulig å avgjøre i hvilken parameter.
QC1-2fcc=4Kontrollert. Formell inkonsistens i forhold til tidligere/senere observasjonstermin, men ikke mulig å avgjøre i hvilken parameter.
fcc=5< reservert >
QC1-2fcc=6Kontrollert. Formell inkonsistens ved observasjonsterminen, antagelig feil i aktuell parameter.
QC1-2fcc=7Kontrollert. Formell inkonsistens i forhold til tidligere/senere observasjonstermin, antagelig feil i aktuell parameter.
QC1-2fcc=8Kontrollert. Formell inkonsistens ved observasjonsterminen. En av parametrene mangler.
QC1-2fcc=9Original verdi mangler. Interpolert fra andre parametere.
QC1-2fcc=AKontrollert. Formell inkonsistens ved observasjonsterminen. Korrigert automatisk.
QC1-2fcc=BKontrollert. Formell inkonsistens i forhold til tidligere/senere observasjonstermin. Korrigert automatisk.
fcc=C< reservert >
QC1-2fcc=DForkastet. Formell inkonsistens.

Sprangkontroll (step/dip/freeze/drift)

controlinfo(3), fs

fs=0Ikke kontrollert
QC1-3fs=1Kontrollert. Funnet i orden
QC1-3fs=2Kontrollert. Observert endring høyere enn (minste) testverdi
QC1-3fs=3Kontrollert. Ingen endring i måleverdi over x tidsskritt
QC2d-1fs=4Kontrollert. Mistanke om feil detektert i QC1-3, mistanken opphevet av dipptest i QC2d-1
fs=5< reservert >
fs=6< reservert >
fs=7Kontrollert. Observert drift i instrumentet
QC1-3fs=8Observert endring høyere enn høyeste testverdi. Forkastet
QC2d-1fs=9Observert endring høyere enn testverdi. Korrigert automatisk
QC2d-1fs=AIngen endring i måleverdi over x tidsskritt. Korrigert automatisk

Prognostisk romkontroll (numerical)

controlinfo(4), fnum

fnum=0Ikke kontrollert
QC1-4fnum=1Kontrollert. Funnet i orden
QC1-4fnum=2Kontrollert. Observert verdis avvik fra modellverdien større enn høy testverdi
QC1-4fnum=3Kontrollert. Observert verdis avvik fra modellverdien mindre enn lav testverdi
QC1-4fnum=4Kontrollert. Observert verdis avvik fra modellverdien større enn høyeste testverdi
QC1-4fnum=5Kontrollert. Observert verdis avvik fra modellverdien mindre enn minste testverdi
QC1-4fnum=6Original verdi mangler eller er forkastet. Interpolert/korrigert med modellverdi.

Meldingskontroll (position)

Det er laget to tester for bevegelige stasjoner:
1) Sjekk av at bevegelige stasjoner har hatt en rimelig forflytning siden forrige observasjon; 2) Sjekk av at posisjonen for en bevegelig bøye ikke er landbasert. Mens de øvrige testene er pr. parameter, er disse pr. melding og resultatet vil gjelde alle parameterne i meldingen.
Tidspunktskontroll blir flagget på samme måte.

controlinfo(5), fpos

fpos=0Ikke kontrollert
QC1-5fpos=1Kontrollert funnet i orden
fpos=2< reservert >
QC1-5fpos=3Kontrollert. Mistenkelig melding. Ingen korreksjon.
QC1-5fpos=4Kontrollert. Mistenkelig melding. Korrigert automatisk.
fpos=5< reservert >
QC1-5fpos=6Meldingsverdi forkastet.

Manglende observasjon (missing)

controlinfo(6), fmis

fmis=0Original verdi eksisterer, det er ikke grunnlag for å si at den er sikkert feilaktig (corrected=original)
Flerefmis=1Original verdi mangler. Korrigert verdi eksisterer
Flerefmis=2Korrigert verdi mangler. Original verdi eksisterer (original verdi er forkastet)
Flerefmis=3Original verdi og korrigert verdi mangler
Flerefmis=4Original og korrigert verdi eksisterer, men original er sikkert feilaktig

For fmis=4 vil vi normalt ha corrected forskjellig fra original, men ikke nødvendigvis. For eksempel kan det ha blitt satt inn en modellverdi som tilfeldigvis er lik original, eller det kan være at observasjonen er merket for tilfordeling men ennå ikke er blitt tilfordelt.

Tidsserietilpasning (timeseries)

controlinfo(7), ftime

ftime=0Ikke kontrollert
QC2d-2ftime=1Interpolert/korrigert med godt resultat
QC2d-2ftime=2Interpolert/korrigert med usikkert resultat
QC2d-2ftime=3Forsøkt interpolert/korrigert. Metode uegnet.

Væranalyse romkontroll (spatial analysis)

controlinfo(8), fw

fw=0Ikke kontrollert
QC2d-3fw=1Kontrollert. Funnet i orden
QC2d-3fw=2Kontrollert. Funnet litt mistenkelig
QC2d-3fw=3Kontrollert. Funnet svært mistenkelig
fw=4-9Reservert
QC2d-3fw=AForkastet

Statistikkontroll (statistical distribution)

controlinfo(9), fstat

fstat=0Ikke kontrollert
QC2d-4fstat=1Kontrollert. Funnet i orden
QC2d-4fstat=2Kontrollert. Mistenkelig verdi. Ingen korreksjon.

Klimatologisk konsistenskontroll (consistency probable)

controlinfo(10), fcp

fcp=0Ikke kontrollert
QC1-6fcp=1Kontrollert. Funnet i orden
QC1-6fcp=2Kontrollert. Klimatologisk tvilsom, men neppe feil i aktuell parameter
QC1-6fcp=3Kontrollert. Klimatologisk tvilsom ved observasjonsterminen, men ikke mulig å avgjøre i hvilken parameter
QC1-6fcp=4Kontrollert. Klimatologisk tvilsom i forhold til tidligere/senere observasjonstermin, men ikke mulig å avgjøre i hvilken parameter
fcp=5< reservert >
QC1-6fcp=6Kontrollert. Klimatologisk tvilsom ved observasjonsterminen, antagelig feil i aktuell parameter
QC1-6fcp=7Kontrollert. Klimatologisk tvilsom i forhold til tidligere/senere observasjonstermin, antagelig feil i aktuell parameter
fcp=8-9< reservert >
QC1-6fcp=AKontrollert. Klimatologisk inkonsistens ved observasjonsterminen. Korrigert automatisk.
QC1-6fcp=BKontrollert. Klimatologisk inkonsistens i forhold til tidligere/senere observasjonstermin. Korrigert automatisk.
fcp=C< reservert >
QC1-6fcp=DForkastet. Klimatologisk inkonsistens.

Klimatologikontroll (climatological)

controlinfo(11), fclim

fclim=0Ikke kontrollert
QC2m-1fclim=1Kontrollert. Funnet i orden
QC2m-1fclim=2Kontrollert. Mistenkelig verdi. Ikke korrigert
QC2m-1fclim=3Kontrollert. Mistenkelig verdi. Korrigert automatisk

Fordeling av samleverdier (separation)

controlinfo(12), fd

To prosedyrer som hittil blir utført manuelt blir delvis automatisert i Kvalobs (QC1-7 og QC2m-2):
- Fordeling av oppsamlet nedbør over en periode
- Fordeling av maksimums- og minimumsverdi over en periode
Den automatiske fordelingen kan etterprøves i HQC.

fd=3 settes når man har mistanke om at originalverdien kan dekke en lengre periode bakover i tid enn det som parameteren er definert for, for eksempel når man i RR_24 kan ha fått inn samlet nedbør for mer enn 24 timer (oppsamlet verdi). Hvis man er sikker på at originalverdien er en oppsamlet verdi, settes fd=4, samtidig som alle de andre observasjonene i perioden oppsamlingen antas å gjelde for får fd=2. Når tilfordelingen senere gjøres, benyttes forskjellige verdier av fd for å markere om tilfordelingen er gjort manuelt eller automatisk, samt for å markere sluttpunktet i en tilfordeling.

fd=0Ikke vurdert som samleverdi
QC1-7, HQCfd=1Normal observasjon, ikke oppsamlet verdi
QC1-7, HQCfd=2Oppsamling pågår
QC1-7fd=3Unormal observasjon. Original verdi kan være oppsamlet verdi
QC1-7fd=4Oppsamlet verdi før tilfordeling
fd=5-6< reservert >
QC2m-2fd=7 Korrigert verdi er et resultat av automatisk tilfordeling. Original verdi mangler eller er forkastet
QC2m-2fd=8 Original verdi er oppsamling, korrigert verdi er tilfordelt automatisk
HQCfd=9 Korrigert verdi er et resultat av manuell tilfordeling. Original verdi mangler eller er forkastet
HQCfd=A Original verdi er oppsamling, korrigert verdi er tilfordelt manuellt

Forhåndskvalifisering (prequalification)

controlinfo(13), fpre

Verdier som skal forkastes eller endres fordi de uttrykker feil som allerede er kjent ved mottak.

Feilen kan være kjente sensorbegrensninger, permanent eller tidsbegrenset, kjente feil ved stasjonen knyttet til en hendelse ved utstyr eller kommunikasjon.

fpre=0Ikke vurdert
QC1-0fpre=1Vurdert. Ikke forkastet
fpre=2-3< reservert >
QC1-0fpre=4Korrigert automatisk
QC1-0fpre=5< reservert >
QC1-0fpre=6Forkastet. Original verdi er kjent å være feil
Dekoderfpre=7Forkastet. Parameter utelatt fra ny innsendt melding

Kombinert vurdering (combined assessment)

controlinfo(14), fcombi

Tolking av en kombinasjon av kontrollflaggverdier. Kombinasjonene er ikke generelt gyldige, bare for utvalgte parametere.

fcombi=0Ikke tolket
fcombi=1Tolket. Funnet iorden.
QC1-9fcombi=2Utenfor høyeste grenseverdi, ikke påvist sprang, innenfor tolerert avvik fra modellverdi
fcombi=3-8< reservert >
QC1-9fcombi=9Forkastet. Utenfor høyeste grenseverdi, ikke påvist sprang, utenfor tolerert avvik fra modellverdi
QC1-9fcombi=AForkastet. Utenfor høyeste grenseverdi, påvist sprang, innenfor tolerert avvik fra modellverdi
QC1-9fcombi=BForkastet. Utenfor høyeste grenseverdi, påvist sprang, utenfor tolerert avvik fra modellverdi

Manuell kvalitetskontroll (human quality control)

controlinfo(15), fhqc

HQC blir gjennomført i en dedikert applikasjon som håndterer flaggsettingen

fhqc=0Ikke kontrollert i HQC
HQCfhqc=1Kontrollert i HQC. Funnet i orden.
HQCfhqc=2Ikke kvalifisert for feilliste. Sannsynligvis i orden.
HQCfhqc=3Ikke ferdig HQC kontrollert. Mulig kvalifisert for feilliste. Ikke aktuell for kontroll i QC1 eller QC2.
HQCfhqc=4Original mangler eller er sikkert feilaktig. Overlates til QC2 for interpolering/korreksjon/tilfordeling.
HQCfhqc=5Interpolert manuelt
HQCfhqc=6Tilfordelt manuelt
HQCfhqc=7Korrigert manuelt
HQCfhqc=8-9< reservert >
HQCfhqc=AForkastet manuelt

Bruksinformasjon (useinfo)

Bruksinformasjonens 16 bruksflagg oppsummerer resultatet av kontrollprosessen av nytte for den etterfølgende bruk av dataene. Bruksflaggene skal gi informasjon om sluttresultatet av kontrollene.

I henhold til “Overordnet design” skal bruksflaggene bidra til å få frem:

  • om observasjonen mangler
  • om manglende observasjon er interpolert manuelt eller automatisk
  • om observasjonen er kontrollert eller ikke
  • om observasjonen er funnet i orden
  • om observasjonen er korrigert manuelt eller automatisk og hvorfor
  • om observasjonen er mistenkelig, men likevel ikke korrigert
  • om oppsamlet nedbør over en periode er fordelt
  • om absolutt maksimums- og minimumsverdi over en periode er fordelt

Det nordiske samarbeidsprosjektet NORDKLIM har anbefalt et sett kvalitetsflagg [1]. NORDKLIM-flaggene er implementert som useinfo(0)-useinfo(4).

Bruksflaggene:

Flagg Beskrivelse Blir satt av
useinfo(0)Kontrollnivå passertQABase
useinfo(1)Originalverdiens avvik fra normert observasjonsprosedyreQABase
useinfo(2)Kvalitetsnivå for originalverdiQABase
useinfo(3)Behandling av originalverdiQABase
useinfo(4)Viktigste kontrollmetodeQABase
useinfo(5)< reservert >
useinfo(6)< reservert >
useinfo(7)ForsinkelseDekoder
(QABase)
useinfo(8)Prosent konfidens, første siffer av to(QABase)
useinfo(9)Prosent konfidens, andre siffer av to(QABase)
useinfo(10)< reservert >
useinfo(11)< reservert >
useinfo(12)< reservert >
useinfo(13)HQC-operatørens løpenummer, første siffer av toHQC
useinfo(14)HQC-operatørens løpenummer, andre siffer av toHQC
useinfo(15)Antall tester som har gitt utslagQABase

Forståelse av kriteriene

Hvis flere kriterier står innenfor en parentes, regnes parentesen som ett kriterium. Når flere enn ett kriterium følger etter hverandre, betyr det siste “og” at alle kriterier må være oppfylt. Dersom det i stedet står “eller”, betyr det at minst ett kriterium må være oppfylt.

Kontrollnivå passert

useinfo(0) = 0< reservert >
useinfo(0) = 1QC1, QC2 og HQC er gjennomført
useinfo(0) = 2QC2 og HQC er gjennomført (ikke QC1)
useinfo(0) = 3QC1 og HQC er gjennomført (ikke hele QC2)
useinfo(0) = 4HQC er gjennomført (ikke QC1, ikke hele QC2)
useinfo(0) = 5QC1 og QC2 er gjennomført (ikke HQC)
useinfo(0) = 6QC2 er gjennomført (ikke QC1, ikke HQC)
useinfo(0) = 7QC1 er gjennomført (ikke hele QC2, ikke HQC)
useinfo(0) = 8Aggregert verdi, grunnlagsdata er kontrollert
useinfo(0) = 9Informasjon om kontrollnivå ikke gitt

Initialverdien av useinfo(0) er 9.

QC1 gjennomført betyr at minst en QC1-sjekk er gjennomført.

Originalverdiens avvik fra normert observasjonsprosedyre

useinfo(1) = 0Normert observasjonsperiode og observasjonstid
useinfo(1) = 1Observasjonstid avviker fra normen
useinfo(1) = 2Observasjonsperiode er kortere enn normert
useinfo(1) = 3Observasjonsperiode er lengre enn normert
useinfo(1) = 4Observasjonstid avviker fra normen, observasjonsperiode er kortere enn normert
useinfo(1) = 5Observasjonstid avviker fra normen, observasjonsperiode er lengre enn normert
useinfo(1) = 6< reservert >
useinfo(1) = 7< reservert >
useinfo(1) = 8Originalverdi mangler
useinfo(1) = 9Statusinformasjon ikke gitt

useinfo(1) settes etter gjennomført QC1.

Initialverdien av useinfo(1) er 9.

useinfo(1) settes til 8 hvis fmis=1 eller fmis=3.

For fmis=0, 2 eller 4 settes useinfo(1) som følger:

useinfo(1) settes til 0 hvis (fd=0 eller fd=1) og useinfo(7)=0.
useinfo(1) settes til 1 hvis (fd=0 eller fd=1) og useinfo(7)>0.
useinfo(1) settes til 2 hvis fd=3 og useinfo(7)=0.
useinfo(1) settes til 3 hvis (fd=2, fd=4, fd=7, fd=8, fd=9 eller fd=A) og useinfo(7)=0.
useinfo(1) settes til 4 hvis fd=3 og useinfo(7)>0.
useinfo(1) settes til 5 hvis (fd=2, fd=4, fd=7, fd=8, fd=9 eller fd=A) og useinfo(7)>0

Kvalitetsnivå for originalverdi

useinfo(2) = 0Originalverdi funnet i orden
useinfo(2) = 1Originalverdi noe mistenkelig (antagelig korrekt)
useinfo(2) = 2Originalverdi svært mistenkelig (antagelig feilaktig)
useinfo(2) = 3Originalverdi sikkert feilaktig
useinfo(2) ∈ [4,8]< reservert >
useinfo(2) = 9Kvalitetsinformasjon ikke gitt

Initialverdien av useinfo(2) er 9.

For fmis=1 eller fmis=3 settes useinfo(2) til 9.

Ellers settes useinfo(2) til 0 hvis fhqc=1 eller fhqc=2.

Ellers settes useinfo(2) som følger, i prioritert rekkefølge:

useinfo(2) settes til 3 hvis
fagg>4, fr=6, fr=A, fcc≥A, fcp≥A, fs≥8, fnum=6, ftime=1, ftime=2, fw=A, fpos≥4, fd=2, fd=4, fd≥7, fpre≥4, fclim=3, fcombi≥9, fhqc=4 eller fhqc≥6.

useinfo(2) settes til 2 hvis
fagg=3 eller ((fr=4 eller fr=5) og fcombi !=1,2) eller (fcc=3, fcc=4, fcc=6, fcc=7, fcp=3, fcp=4, fcp=6, fcp=7, fs=3, fw=3, fpos=3, fstat=2 eller fd=3).

useinfo(2) settes til 1 hvis
fagg=2, fr=2, fr=3, fcc=2, fcp=2, fs=2, fs=7, fw=2, fclim=2 eller fcombi=2.

useinfo(2) settes til 0 hvis
fagg=1, fr=1, fcc=1, fcp=1, fs=1, fs=4, fw=1, fpos=1, fstat=1, fclim=1, fd=1 eller fcombi=1.

Ellers settes useinfo(2) til initialverdien 9.

Behandling av originalverdi

useinfo(3) = 0Original verdi er beholdt uendret
useinfo(3) = 1Original verdi er manuelt korrigert, eller automatisk korrigert med godt resultat
useinfo(3) = 2Original verdi er manuelt interpolert, eller automatisk interpolert med godt resultat
useinfo(3) = 3Original verdi er automatisk korrigert
useinfo(3) = 4Original verdi er automatisk interpolert
useinfo(3) = 5Original verdi er manuelt tilfordelt fra akkumulert verdi
useinfo(3) = 6Original verdi er automatisk tilfordelt fra akkumulert verdi
useinfo(3) = 7< reservert >
useinfo(3) = 8Original verdi er forkastet
useinfo(3) = 9Kvalitetsinformasjon er ikke gitt

Initialverdien av useinfo(3) er 9.

For fmis=3 settes useinfo(3) til 9.

Ellers settes useinfo(3) som følger, i prioritert rekkefølge:

useinfo(3) settes til 5 hvis fd=9, fd=A eller fagg=8.

useinfo(3) settes til 6 hvis fd=7, fd=8 eller fagg=9.

useinfo(3) settes til 2 hvis fhqc=5, fagg=5 eller (ftime=1 og fmis=1).

useinfo(3) settes til 1 hvis fhqc=7, fagg=4, fr=A, fs=9 eller (ftime=1 og fmis=4).

useinfo(3) settes til 0 hvis fhqc=1 eller 2.

useinfo(3) settes til 8 hvis fmis=2.

useinfo(3) settes til 4 hvis fmis=1.

useinfo(3) settes til 3 hvis fagg=6, fcc=A, fcc=B, fcp=A, fcp=B, fs=A, fpos=4, fpre=4, fclim=3, eller ((fnum=6 eller ftime=2) og fmis=4)).

Ellers settes useinfo(3) til 0.

Forklaring av begreper:

Tilfordeling, korreksjon, interpolasjon og forkasting er definert slik at de utelukker hverandre gjensidig.

Tilfordeling foretas fra en oppsamlet (akkumulert) verdi ved å sette inn verdier i feltet corrected for hele oppsamlingsperioden. Tilfordelings­flagget (controlinfo(12)) brukes for alle observasjonene i denne perioden.

Korreksjon er endring av originalverdi og kan bare foretas når original­verdi eksisterer og ikke er blitt tilfordelt.

Interpolasjon er innsetting av en erstatningsverdi og kan bare foretas når originalverdi mangler og ikke er blitt tilfordelt.

Forkasting er sletting av originalverdi, og kan bare foretas når originalverdi eksisterer og ikke er blitt tilfordelt eller korrigert. I praksis vil en originalverdi være forkastet hvis minst én kontroll har forkastet verdien (det tilhørende flagget er blitt satt til en verdi hvor den forklarende teksten markerer observasjonen som “forkastet”), og originalverdien samtidig ikke er blitt korrigert eller tilfordelt eller er blitt godkjent av HQC.

HQC kan oppheve en forkasting ved å godkjenne originalverdien, korrigere den eller tilfordele. Også annen automatisk behandling av originalverdien (korreksjon, interpolasjon og tilfordeling) kan endres av HQC.

Merk at kombinasjonen useinfo(2)=3 og useinfo(3)=0 er mulig: originalverdien kan være merket for senere tilfordeling (den er da sikkert feilaktig, men verken korrigert, interpolert, tilfordelt eller forkastet).

Viktigste kontrollmetode

useinfo(4) = 0Original verdi kontrollert og funnet i orden
useinfo(4) = 1Grenseverdikontroll
useinfo(4) = 2Konsistenskontroll (mer enn én parameter)
useinfo(4) = 3Sprangkontroll (én parameter)
useinfo(4) = 4Konsistenskontroll i forhold til tidligere/senere observasjonsterminer (mer enn én parameter)
useinfo(4) = 5Romkontroll, basert på observasjonsdata
useinfo(4) = 6Romkontroll, basert på tidsserier
useinfo(4) = 7Romkontroll, basert på modelldata
useinfo(4) = 8Romkontroll, basert på statistikk
useinfo(4) = 9Kvalitetsinformasjon ikke gitt

Initialverdien av useinfo(4) er 9.
useinfo(4) settes etter at useinfo(2) er satt.

useinfo(4) settes til 0 hvis useinfo(2)=0.

Ellers settes useinfo(4) som følger, i prioritert rekkefølge:

useinfo(4) settes til 9 hvis fhqc≥4.

useinfo(4) settes til 9 hvis fd=2 eller fd=4 eller fd≥7 eller fr=7.

useinfo(4) settes til 1 hvis
(fr=A eller 7>fr>1), fcc≤1, fcp≤1, fs≤1, fnum≤5, fpos≤1, ftime≤1, fw≤1, fstat≤1 og fclim≤1.

useinfo(4) settes til 2 hvis
(fcc=2, fcc=3, fcc=6, fcc=9, fcc=A, fcc=D, fcp=2, fcp=3, fcp=6, fcp=A eller fcp=D)
og fs≤1, fnum≤5, fpos≤1, ftime≤1, fw≤1, fstat≤1 og fclim≤1.

useinfo(4) settes til 3 hvis
(fs>1 eller fpos>1) og fnum≤5, ftime≤1, fw≤1, fstat≤1 og fclim≤1.

useinfo(4) settes til 4 hvis
(fcc=4, fcc=7, fcc=B, fcp=4, fcp=7, eller fcp=B)
og fnum≤5, ftime≤1, fw≤1, fstat≤1 og fclim≤1.

useinfo(4) settes til 5 hvis
(fw>1 eller fclim>1) og fnum≤5, ftime≤1 og fstat≤1.

useinfo(4) settes til 6 hvis
ftime>1 og fnum≤5 og fstat≤1.

useinfo(4) settes til 7 hvis
fnum>5 og fstat≤1.

useinfo(4) settes til 8 hvis
fstat>1.

Ellers settes useinfo(4) til initialverdien 9.

Forsinkelse

Meldingene inneholder en eller flere observasjoner. De ulike meldingene skal mottas ved met.no innenfor et normert tidsvindu. Tidsvinduet vil variere for ulike stasjonsoppsett og kommunikasjonsløsninger.

useinfo(7) = 0Observasjonen er utført til rett tid og meldt til rett tid
useinfo(7) = 1Observasjonen er utført for tidlig og meldt til rett tid
useinfo(7) = 2Observasjonen er utført for sent men meldt til rett tid
useinfo(7) = 3Observasjonen er meldt for tidlig
useinfo(7) = 4Observasjonen er meldt for sent
useinfo(7) = 5Observasjonen er utført for tidlig og meldt for sent
useinfo(7) = 6Observasjonen er utført for sent og meldt for sent
useinfo(7) = 7< reservert >
useinfo(7) = 8< reservert >
useinfo(7) = 9Forsinkelse ikke vurdert

Initialverdien av useinfo(7) er 9.

useinfo(7) settes til 0, 3 eller 4 ved innlegging i Kvalobs-databasen.

useinfo(7) settes til 1, 2, 5 eller 6 av en kontrollrutine i sammenheng med QC2.

useinfo(7) settes til 9 når observasjonen mangler.

Konfidens

En egen rutine beregner prosent konfidens av originalverdien basert på resultatet av kontrollene.

useinfo(8) og useinfo(9) settes til integer heksadesimalverdien av prosenttallet. F.eks. vil 63% konfidens bli representert med useinfo(8)=3, useinfo(9)=F.

useinfo(8) og useinfo(9) settes av en kontrollrutine som beregner konfidens.

HQC-operatørens løpenummer

I applikasjonen for manuell kvalitetskontroll (HQC) skal hver operatør logge seg inn ved en signatur. Signaturen blir lagret sammen med et løpenummer som identifiserer operatørene i dataene. Operatørens løpenummer blir lagret i useinfo(13) og useinfo(14).

useinfo(13) og useinfo(14) settes etter utført HQC

Tester som har gitt utslag (cfailed)

Hver enkelt test er tilordnet en identifikator qcx i tabellen checks. Hvis en test gir utslag som en mistenkelig eller feilaktig verdi, blir testens identifikator lagret som et tillegg til bruksinformasjonen i feltet cfailed. Når flere tester gir utslag, blir identifikatorene lagret kommaseparert.
Parametriseringen av testene kan finnes i tabellen station_param og lagres ikke sammen med dataene.

useinfo(15) kan ha verdiene 0, 1, 2, …, F og angir antall tester som har gitt utslag. Verdien F angir at mer enn 14 tester har gitt utslag.

useinfo(15) blir inkrementert ved tilfellene fhqc>0, fr>1, fcc>1, fcp>1, fs>1, fnum>1, fpos>1, ftime>0, fw>1, fstat>1, fclim>1 eller fpre>1.


Referanser

[1] Lars Andresen (ed): “Quality Information of Meteorological Observations. Recommendations for a common Nordic end-user flagging system. Klima Report 11/2003. met.no


Endringslogg:

versjon 2.0:

Korrigert fns/fis til fns/is.
Flaggverdien fns/is=0xA lagt til.
Utvidet betydning for flaggverdiene fi=0xB, ftp=0xA og fi/is=0xB.

versjon 3.0:

Omarbeidet kontrollflaggene fra å være 4-bits verdier til karakterer.
Omarbeidet bruksinformasjonen. Tatt i bruk WMO-standard kodesett og prosent konfidens.
Utvidet betydning av HQC-flaggene til å omfatte forkastede verdier
Innført flagging av manglende verdi som QC1-0 og med eget flaggkodesystem fmis.

versjon 4.0:

Delt konsistenskontrollen i formell konsistens (QC1-2) og klimatologisk konsistens (QC1-6). Byttet betydning mellom fcc=2 og fcc=3. Verdien i hvert av flaggene er nå sortert etter økende alvorlighetsgrad.

versjon 5.0:

Endret navn på kontrollflaggene. Nummerering fra 0 til 15. Kontrollflagg for fordeling (fd) definert.
Nye definisjoner av bruksflaggene.

versjon 6.0:

Kontrollflagg for hqc (fhqc) er definert separat. Kontrollflagg for klimatologisk konsistens (fcp) er definert.
Flaggverdiene av fcc er endret. Beskrivelsen av fd er endret.
useinfo(4)=4 er ny. useinfo(5) er endret. useinfo(7)=1,2,5,6 er nye.

versjon 7.0:

Ny beskrivelse av useinfo(0)-useinfo(4) i henhold til Norklims anbefalinger.
Innført kontrollflaggverdiene fs=4, fs=5 for fullstendighet.
Utvidet betydningen av kontrollflagget fd med ny tolkning av fd=1. Høyeste verdi for fd er 5 i stedet for 4.
Utvidelse av fcc og fcb med hensyn til Norklims skille mellom 'internal consistency' og 'step consistency'. Nye flaggverdier er fcc=4, fcc=7, fcc=B, fcp=4, fcp=7, fcp=B. fcc utvidet med kontrollflaggverdien fcc=D.
Innført bruksflaggene useinfo(13) og useinfo(14).

versjon 8.0:

QC1-0 utvidet til å omfatte automatisk forkastede observasjoner. Innført fpre, controlinfo(13).
Definert QC1-7 for påvisning av oppsamlet verdi med controlflag fd, controlinfo(12).
Utvidet betydningen av kontrollflagget fd. Høyeste verdi for fd er B.

versjon 8.1: Harmonisert beskrivelsen av useinfo(13)/useinfo(14) til å være løpenummer.
Korrigert beskrivelsen av hvordan useinfo(0) blir satt. Beskrivelsen for useinfo(2)=0 endret fra “Originalverdi sikkert korrekt” til “Originalverdi funnet i orden”.

versjon 8.2: Fjernet bruken av useinfo(6). Justert regler for tilordning av useinfo(0)=7, useinfo(2)=3.

versjon 8.3: Korrigert algoritmen for tilordning av useinfo(1) med å ta hensyn til fd
Korrigert algoritmen for tilordning av useinfo(3) med å ta hensyn til fpre.
Lagt til fhqc=2.

versjon 8.4: Utvidet betydningen av sprangkontroll til drift i instrument. Ny flaggverdi fs=7. Tilsvarende utvidelse for useinfo(2).
Oppdatert den innledende beskrivelsen
Utvidet beskrivelse i oppsummeringstabellen for kontrollflaggene og bruksflaggene.

versjon 8.5: Lagt til fcombi - controlinfo(14). Justert regler for tilordning av useinfo(2)=1, useinfo(2)=2, og useinfo(2)=3.

versjon 8.6: Fjernet bruken av controlinfo(0) - fqclevel. Omdefinert regelen for tilordning av useinfo(0) uten å endre flaggets betydning.
Ny flaggverdi fpre=5. Justert regler for tilordning av useinfo(2)=3, useinfo(3)=8, og useinfo(3)=4.

versjon 8.6.1: Presisert betydningen av fd. Korrigert algoritmen for tilordning av useinfo(0), useinfo(2) og useinfo(3).

versjon 8.6.2: Tilbakestilt en regel fra v. 8.5 om fmis og useinfo(2)=9. Skrevet om reglene for tilordning av useinfo(2).

versjon 8.6.3: Korrigert algoritmen for tilordning av useinfo(2).

versjon 8.6.4 og 8.6.5: Utvidet betydning av fd=2.

versjon 8.7: Controlinfo: Korrigering av tekst for fnum=6, ftime=1,2,3, fd=1,2,6,7,A,B. Ny verdi 8 for fcc. Lagt inn forklaring av oppsamlet verdi.
Useinfo: Lagt til seksjonene: “Forståelse av kriterier” og “Forklaring av begreper” (den siste under useinfo(3)). Ny verdi 9 for useinfo(7). Endringer av kriterier for useinfo(2,3,4,7). Forenkling av tekst for setting av useinfo(1,2,3,4). Omdøping av useinfo(3) fra “Originalverdi korrigert” til “Behandling av originalverdi”.

versjon 8.7.1: Korrigert algoritmen for tilordning av useinfo(3).

versjon 8.7.2: Korrigering av tekst for fpre=4-7. Endret avhengighet av fpre i setting av useinfo(2)=3 og useinfo(3)=3.

Versjon 8.8: Ny verdi 9 for fcc. fcc=9 lagt til som kriterium for useinfo(4)=2. Kriteriet for useinfo(3)=4 forenklet vesentlig.

Versjon 8.9: Lagt til sjekk for fcombi != 2 i kriteriet for useinfo(2)=2

Versjon 8.10: Lagt til fr=7 og justert kriteriet for useinfo(4) til å ta hensyn til fr=7.

Versjon 8.11: Verdiene for fw endret til å samsvare med verdiene for fnum. Konsekvenser for useinfo(2-3).

Versjon 8.12: Lagt til fmis=4 (tidligere fmis=0 nå splittet i fmis=0,4). Konsekvenser for useinfo(1) og useinfo(3)=3

Versjon 8.13: Lagt til fhqc>0 som et av kriteriene for å inkrementere useinfo(15)

Versjon 8.14: fnum=2,3 medfører useinfo(2)=0, ikke 1. Gir endringer også i useinfo(4) i kriterier hvor fnum inngår.

Versjon 8.15: Reformulering av betydningen av fmis=0 og 4 (går nå på om original er sikkert feilaktig, ikke korrigert/tilfordelt).

Versjon 9.0:

controlinfo(0) tatt i bruk som fagg (Vurdering av grunnlagsdata ved aggregering).

Versjon 9.1: fnum<6 ikke lenger eksplisitt brukt til setting av useinfo(2) (og useinfo(4))

Versjon 9.2: endret algoritme for setting av useinfo(3). ftime bidrar til useinfo(3)=3.

Versjon 9.3: 'Automatisk interpolert/korrigert med godt resultat' likestilt med 'manuelt interpolert/korrigert' i useinfo(3). Gir endrede kriterier for useinfo(3)=1,2,3

Versjon 9.4: Lagt til fr=A. Konsekvenser for setting av useinfo(2,3,4)

Versjon 9.5: Lagt til fs=8. Konsekvens for setting av useinfo(2)=3

Versjon 9.6: Ny betydning av fpre=7 (som tidligere ikke var i praktisk bruk, settes nå av dekoder)

Versjon 9.7: Ny betydning av fs=4 og fs=5 (sistnevnte er nå reservert verdi). Konsekvens for setting av useinfo(2)

Versjon 9.8: fs=9 medfører useinfo(3)=1, ikke 3

Versjon 9.9: Fjernet fd=A,B. Ny betydning av fd=6,7

Versjon 9.10: Endret ordlyd for fhqc=3. Tatt i bruk fhqc=4 (kun for manglende verdier)

Versjon 9.11: Skiller nå mellom endpoint og missing point i fd. Oppsamlet verdi angis nå av fd=4 og fd=2 angir at oppsamling pågår. Etter tilfordeling angir nå fd=7 og fd=8 automatisk tilfordeling mens fd=9 og fd=A angir manuell tilfordeling. Dette har medført endringer i kriteriene for bruksflaggene useinfo(1), useinfo(2), useinfo(3) og useinfo(4)

Versjon 9.12: fhqc=4 skal også brukes når hqc operatøren vil åpne opp for at QC2 skal kunne tilfordele på senere tidspunkt. Dette medfører at useinfo(2) settes til 3 hvis fhqc=4 og useinfo(4) settes til 9 hvis fhqc≥4. Teksten til fhqc=4 blir nå “Mulig kvalifisert for feilliste. Aktuell for interpolering/tilfordeling i QC2.”

Versjon 9.13: Endringer i fw slik at vi skiller mellom i orden, litt mistenkelig, svært mistenkelig og forkastet. Bruksflaggene useinfo(2) og useinfo(3) opdatert i henhold til endring i fw. Endring i fw medførte ikke endringer i useinfo(4).

Versjon 9.14: ftime=1,2 medfører useinfo(2)=3 (ved korreksjon)

Versjon 9.15: Endret ordlyd for fhqc=4.

Versjon 9.16: Tatt i bruk useinfo(8), for aggregerte verdier

Versjon 9.17: Lagt til fcp=D.

Sist oppdatert av Gabriel Kielland 9. mars 2015

kvalobs/kvalobs/kvalobs-flagg.txt · Last modified: 2015-11-03 11:48:55 by pals