Flagg i KVALOBS (versjon 9.14)

Bakgrunn

Meteorologisk institutts system for kvalitetssikring av observasjoner (KVALOBS) omfatter et sett av kvalitetskontroller der alle dataene blir statusmerket. I den automatiske kontrollen er det modulen QABase som håndterer kontrollene. Selve kontrollene kjøres som utskiftbare skript. Hver enkelt kontroll av observasjonene blir markeret i skriptene med kontrollflagg. Modulen QABase sammenfatter deretter kontrollresultatene til et sett av bruksflagg. De automatiske kontrollene i KVALOBS skal hovedsakelig detektere mulige feil. De påfølgende manuelle kontrollene er avgrenset til verifisering og overprøving av forhold som er automatisk detektert. Resultatet blir markert i et eget kontrollflagg for manuell kontroll i HQC-applikasjonen. Flaggene blir overført sammen med dataene til permanent lagring i klimadatabasen og senere bruk.

I KVALOBS-databasen blir hver observasjon lagret som poster i en egen tabell (/data/). Strukturen til denne er vist i tabellen nedenfor.

Felt	Datatype	Kommentar
original	float	Original verdi
corrected	float	Korrigert verdi (d.s.s. original verdi hvis ingen korreksjon)
stationid	int	stasjonsnummer, egen tabell
obstime	time	observasjonstermin
tbtime	time	tiden for når datasettet ble lagt inn i Kvalobs
typeid	int	meldingsformatnummer, egen tabell (SYNOP, METAR, o.a.)
controlinfo	char (16)	De seksten kontrollflaggene. Detaljert forklaring nedenfor
level	int	måling av samme parameter i ulike høyder. Verdien 0 angir standardhøyde
paramid	int	parameternummer, egen tabell
sensor	char (1)	eventuelle parallellmålinger. Defaultverdi er 0
useinfo	char (16)	De seksten bruksflaggene. Detaljert forklaring nedenfor
cfailed	string	koder for test som har gitt utslag

Kontrollinformasjon (controlinfo)

Kontrollinformasjonen i feltet 'controlinfo' består av en serie på totalt 16 kontrollflagg. Kontrollflaggene markerer hvilken status hver av KVALOBS-kontrollene har gitt observasjonen.

Flaggene er tilordnet den enkelte observasjonen/parameterverdien. Parameter, sted og tidspunkt er entydig gitt ved andre felter enn kontrollflaggene.

Kontrollflaggene:

Flagg	Kodesystem	Beskrivelse	Blir satt av
controlinfo(0)	fagg	Grunnlagsdata	Aggregator
controlinfo(1)	fr	Grenseverdikontroll	QC1-1-sjekker
controlinfo(2)	fcc	Formell konsistenskontroll	QC1-2-sjekker
controlinfo(3)	fs	Sprangkontroll	QC1-3-sjekker QC2d-1-sjekker
controlinfo(4)	fnum	Prognostisk romkontroll	QC1-4-sjekker
controlinfo(5)	fpos	Meldingskontroll	QC1-5-sjekker
controlinfo(6)	fmis	Manglende observasjon	Dekoder Alle sjekker HQC-applikasjonen Aggregator
controlinfo(7)	ftime	Tidsserietilpasning	QC2d-2-sjekker
controlinfo(8)	fw	Væranalyse	QC2d-3-sjekker
controlinfo(9)	fstat	Statistikkontroll	QC2d-4-sjekker
controlinfo(10)	fcp	Klimatologisk konsistenskontroll	QC1-6-sjekker
controlinfo(11)	fclim	Klimatologikontroll	QC2m-1-sjekker
controlinfo(12)	fd	Fordeling av samleverdier	QC1-7-sjekker QC2m-2-sjekker HQC-applikasjonen
controlinfo(13)	fpre	Forhåndskvalifisering	QC1-0-sjekker
controlinfo(14)	fcombi	Kombinert vurdering	QC1-9-sjekker
controlinfo(15)	fhqc	Manuell kvalitetskontroll	HQC-applikasjonen

Det er definert fem operasjonelle kontrollnivåer i KVALOBS. Disse er i sekvensiell rekkefølge:

QC0 - kontroll på stasjonen.

QC1 - automatisk sanntidskontroll etter mottak.

QC2d - automatisk ettertidskontroll innenfor ett døgn etter mottak.

QC2m - automatisk ettertidskontroll av en måneds observasjoner samlet.

HQC - manuell ettertidskontroll.

Det blir ikke overført kontrollflagg fra stasjonenes QC0-kontroller til sentrale datalagre.

Resultatet av kontrollene sammenfattes i kontrollflagg. Det er definert tretten kontrolltyper. Syv av kontrolltypene blir gjennomført under QC1, fire under QC2d og to under QC2m. Sprangkontrollen under QC1 og dipkontrollen under QC2d er dekket av samme flaggkodesystem. To av kontrolltypene blir påbegynt under QC2m. Alle kontrollene kan sjekkes og eventuelt overprøves i HQC. De automatiske rettelsene skal kunne overprøves i HQC.

Kontrolltypene:

QC1-0	Forhåndsvurdert håndtering
QC1-1	Grenseverdikontroll
QC1-2	Formell konsistenskontroll
QC1-3	Sprangkontroll
QC1-4	Prognostisk romkontroll
QC1-5	Meldingskontroll
QC1-6	Klimatologisk konsistenskontroll
QC1-7	Påvisning av oppsamlet verdi
QC1-9	Vurdering basert på en kombinasjon av QC1-kontrollene
QC2d-1	Dipkontroll
QC2d-2	Tidsserietilpasning
QC2d-3	Væranalyse
QC2d-4	Statistikkontroll
QC2m-1	Klimatologikontroll
QC2m-2	Fordeling av samleverdi

Kontrollflaggene

Når en kontroll er gjennomført blir det avledet et kontrollflagg som inngår i kontrollinformasjonen controlinfo. Hvert kontrollflagg blir satt av en gitt kontrolltype. Nedenfor er kontrolltypen angitt til venstre for tilhørende flaggverdi. Flagging som innebærer korreksjon av verdien i feltet /corrected/ i tabellen /data/ er uthevet.

Vurdering av grunnlagsdata ved aggregering (aggregation)

controlinfo(0), fagg

Aggregator	fagg=0	Kvalitetsinformasjon er ikke gitt
Aggregator	fagg=1	Grunnlagsdata er funnet i orden
Aggregator	fagg=2	Grunnlagsdata er litt mistenkelig
Aggregator	fagg=3	Grunnlagsdata er svært mistenkelig
Aggregator	fagg=4	Grunnlagsdata er manuelt korrigert
Aggregator	fagg=5	Grunnlagsdata er manuelt interpolert
Aggregator	fagg=6	Grunnlagsdata er automatisk korrigert
Aggregator	fagg=7	Grunnlagsdata er automatisk interpolert
Aggregator	fagg=8	Grunnlagsdata er manuelt tilfordelt fra akkumulert verdi
Aggregator	fagg=9	Grunnlagsdata er automatisk tilfordelt fra akkumulert verdi
Aggregator	fagg=A	<reservert>
Aggregator	fagg=B	Grunnlagsdata er forkastet

I praksis settes fagg av aggregatoren som følger, i prioritert rekkefølge (gverdi=grunnlagsdataverdi):

(forkastet)
fagg=B hvis fmis=2

(automatisk interpolert, korrigert, tilfordelt)
fagg=7 hvis fmis=1 og minst en gverdi har useinfo(3)=4
fagg=6 hvis fmis=4 og minst en gverdi har useinfo(3)=3
fagg=9 hvis fmis=1,4 og minst en gverdi har useinfo(3)=6

(manuelt interpolert, korrigert, tilfordelt)
fagg=5 hvis fmis=1 og minst en gverdi har useinfo(3)=2
fagg=4 hvis fmis=4 og minst en gverdi har useinfo(3)=1
fagg=8 hvis fmis=1,4 og minst en gverdi har useinfo(3)=5

(gjenstående, når original mangler eller er funnet å være sikkert feilaktig)
fagg=0 hvis fmis=1,3,4

(gjenstår: fmis=0)
fagg=0 hvis minst en gverdi har useinfo(2)=9
fagg=3 hvis minst en gverdi har useinfo(2)=2
fagg=2 hvis minst en gverdi har useinfo(2)=1

ellers settes fagg=1

Grenseverdikontroll (range)

controlinfo(1), fr

fr=0	Ikke kontrollert
QC1-1	fr=1	Kontrollert. Funnet i orden
QC1-1	fr=2	Kontrollert. Observert verdi større enn høy testverdi
QC1-1	fr=3	Kontrollert. Observert verdi mindre enn lav testverdi
QC1-1	fr=4	Kontrollert. Observert verdi større enn høyeste testverdi
QC1-1	fr=5	Kontrollert. Observert verdi mindre enn minste testverdi
QC1-1	fr=6	Forkastet. Observert verdi utenfor fysikalske grenser
QC1-1	fr=7	Kontrollert. Funnet å svare til spesialverdi som betyr manglende
fr=8-9	<reservert>
QC1-1	fr=A	Kontrollert. Observert verdi utenfor fysikalske grenser. Korrigert automatisk

Formell konsistenskontroll (consistency certain)

controlinfo(2), fcc

fcc=0	Ikke kontrollert.
QC1-2	fcc=1	Kontrollert. Funnet i orden.
QC1-2	fcc=2	Kontrollert. Formell inkonsistens, men neppe feil i aktuell parameter.
QC1-2	fcc=3	Kontrollert. Formell inkonsistens ved observasjonsterminen, men ikke mulig å avgjøre i hvilken parameter.
QC1-2	fcc=4	Kontrollert. Formell inkonsistens i forhold til tidligere/senere observasjonstermin, men ikke mulig å avgjøre i hvilken parameter.
fcc=5	< reservert >
QC1-2	fcc=6	Kontrollert. Formell inkonsistens ved observasjonsterminen, antagelig feil i aktuell parameter.
QC1-2	fcc=7	Kontrollert. Formell inkonsistens i forhold til tidligere/senere observasjonstermin, antagelig feil i aktuell parameter.
QC1-2	fcc=8	Kontrollert. Formell inkonsistens ved observasjonsterminen. En av parametrene mangler.
QC1-2	fcc=9	Original verdi mangler. Interpolert fra andre parametere.
QC1-2	fcc=A	Kontrollert. Formell inkonsistens ved observasjonsterminen. Korrigert automatisk.
QC1-2	fcc=B	Kontrollert. Formell inkonsistens i forhold til tidligere/senere observasjonstermin. Korrigert automatisk.
fcc=C	< reservert >
QC1-2	fcc=D	Forkastet. Formell inkonsistens.

Sprangkontroll (step/dip/freeze/drift)

controlinfo(3), fs

fs=0	Ikke kontrollert
QC1-3	fs=1	Kontrollert. Funnet i orden
QC1-3	fs=2	Kontrollert. Observert endring høyere enn (minste) testverdi
QC1-3	fs=3	Kontrollert. Ingen endring i måleverdi over x tidsskritt
QC2d-1	fs=4	Kontrollert. Mistanke om feil detektert i QC1-3, mistanken opphevet av dipptest i QC2d-1
fs=5	< reservert >
fs=6	< reservert >
fs=7	Kontrollert. Observert drift i instrumentet
QC1-3	fs=8	Observert endring høyere enn høyeste testverdi. Forkastet
QC2d-1	fs=9	Observert endring høyere enn testverdi. Korrigert automatisk
QC2d-1	fs=A	Ingen endring i måleverdi over x tidsskritt. Korrigert automatisk

Prognostisk romkontroll (numerical)

controlinfo(4), fnum

fnum=0	Ikke kontrollert
QC1-4	fnum=1	Kontrollert. Funnet i orden
QC1-4	fnum=2	Kontrollert. Observert verdis avvik fra modellverdien større enn høy testverdi
QC1-4	fnum=3	Kontrollert. Observert verdis avvik fra modellverdien mindre enn lav testverdi
QC1-4	fnum=4	Kontrollert. Observert verdis avvik fra modellverdien større enn høyeste testverdi
QC1-4	fnum=5	Kontrollert. Observert verdis avvik fra modellverdien mindre enn minste testverdi
QC1-4	fnum=6	Original verdi mangler eller er forkastet. Interpolert/korrigert med modellverdi.

Meldingskontroll (position)

Det er laget to tester for bevegelige stasjoner:
1) Sjekk av at bevegelige stasjoner har hatt en rimelig forflytning siden forrige observasjon; 2) Sjekk av at posisjonen for en bevegelig bøye ikke er landbasert. Mens de øvrige testene er pr. parameter, er disse pr. melding og resultatet vil gjelde alle parameterne i meldingen.
Tidspunktskontroll blir flagget på samme måte.

controlinfo(5), fpos

fpos=0	Ikke kontrollert
QC1-5	fpos=1	Kontrollert funnet i orden
fpos=2	< reservert >
QC1-5	fpos=3	Kontrollert. Mistenkelig melding. Ingen korreksjon.
QC1-5	fpos=4	Kontrollert. Mistenkelig melding. Korrigert automatisk.
fpos=5	< reservert >
QC1-5	fpos=6	Meldingsverdi forkastet.

Manglende observasjon (missing)

controlinfo(6), fmis

fmis=0	Original verdi eksisterer, det er ikke grunnlag for å si at den er sikkert feilaktig (corrected=original)
Flere	fmis=1	Original verdi mangler. Korrigert verdi eksisterer
Flere	fmis=2	Korrigert verdi mangler. Original verdi eksisterer (original verdi er forkastet)
Flere	fmis=3	Original verdi og korrigert verdi mangler
Flere	fmis=4	Original og korrigert verdi eksisterer, men original er sikkert feilaktig

For fmis=4 vil vi normalt ha corrected forskjellig fra original, men ikke nødvendigvis. For eksempel kan det ha blitt satt inn en modellverdi som tilfeldigvis er lik original, eller det kan være at observasjonen er merket for tilfordeling men ennå ikke er blitt tilfordelt.

Tidsserietilpasning (timeseries)

controlinfo(7), ftime

ftime=0	Ikke kontrollert
QC2d-2	ftime=1	Interpolert/korrigert med godt resultat
QC2d-2	ftime=2	Interpolert/korrigert med usikkert resultat
QC2d-2	ftime=3	Forsøkt interpolert/korrigert. Metode uegnet.

Væranalyse (weather analysis)

controlinfo(8), fw

fw=0	Ikke kontrollert
QC2d-3	fw=1	Kontrollert. Funnet i orden
QC2d-3	fw=2	Kontrollert. Funnet litt mistenkelig
QC2d-3	fw=3	Kontrollert. Funnet svært mistenkelig
fw=4-9	Reservert
QC2d-3	fw=A	Forkastet

Statistikkontroll (statistical)

controlinfo(9), fstat

fstat=0	Ikke kontrollert
QC2d-4	fstat=1	Kontrollert. Funnet i orden
QC2d-4	fstat=2	Kontrollert. Mistenkelig verdi. Ingen korreksjon.

Klimatologisk konsistenskontroll (consistency probable)

controlinfo(10), fcp

fcp=0	Ikke kontrollert
QC1-6	fcp=1	Kontrollert. Funnet i orden
QC1-6	fcp=2	Kontrollert. Klimatologisk tvilsom, men neppe feil i aktuell parameter
QC1-6	fcp=3	Kontrollert. Klimatologisk tvilsom ved observasjonsterminen, men ikke mulig å avgjøre i hvilken parameter
QC1-6	fcp=4	Kontrollert. Klimatologisk tvilsom i forhold til tidligere/senere observasjonstermin, men ikke mulig å avgjøre i hvilken parameter
fcp=5	< reservert >
QC1-6	fcp=6	Kontrollert. Klimatologisk tvilsom ved observasjonsterminen, antagelig feil i aktuell parameter
QC1-6	fcp=7	Kontrollert. Klimatologisk tvilsom i forhold til tidligere/senere observasjonstermin, antagelig feil i aktuell parameter
fcp=8-9	< reservert >
QC1-6	fcp=A	Kontrollert. Klimatologisk inkonsistens ved observasjonsterminen. Korrigert automatisk.
QC1-6	fcp=B	Kontrollert. Klimatologisk inkonsistens i forhold til tidligere/senere observasjonstermin. Korrigert automatisk.

Klimatologikontroll (climatological)

controlinfo(11), fclim

fclim=0	Ikke kontrollert
QC2m-1	fclim=1	Kontrollert. Funnet i orden
QC2m-1	fclim=2	Kontrollert. Mistenkelig verdi. Ikke korrigert
QC2m-1	fclim=3	Kontrollert. Mistenkelig verdi. Korrigert automatisk

Fordeling av samleverdier (distribution)

controlinfo(12), fd

To prosedyrer som hittil blir utført manuelt blir delvis automatisert i Kvalobs (QC1-7 og QC2m-2):
- Fordeling av oppsamlet nedbør over en periode
- Fordeling av maksimums- og minimumsverdi over en periode
Den automatiske fordelingen kan etterprøves i HQC.

fd=3 settes når man har mistanke om at originalverdien kan dekke en lengre periode bakover i tid enn det som parameteren er definert for, for eksempel når man i RR_24 kan ha fått inn samlet nedbør for mer enn 24 timer (oppsamlet verdi). Hvis man er sikker på at originalverdien er en oppsamlet verdi, settes fd=4, samtidig som alle de andre observasjonene i perioden oppsamlingen antas å gjelde for får fd=2. Når tilfordelingen senere gjøres, benyttes forskjellige verdier av fd for å markere om tilfordelingen er gjort manuelt eller automatisk, samt for å markere sluttpunktet i en tilfordeling.

fd=0	Ikke vurdert som samleverdi
QC1-7, HQC	fd=1	Normal observasjon, ikke oppsamlet verdi
QC1-7, HQC	fd=2	Oppsamling pågår
QC1-7	fd=3	Unormal observasjon. Original verdi kan være oppsamlet verdi
QC1-7	fd=4	Oppsamlet verdi før tilfordeling
fd=5-6	< reservert >
QC2m-2	fd=7	Korrigert verdi er et resultat av automatisk tilfordeling. Original verdi mangler eller er forkastet
QC2m-2	fd=8	Original verdi er oppsamling, korrigert verdi er tilfordelt automatisk
HQC	fd=9	Korrigert verdi er et resultat av manuell tilfordeling. Original verdi mangler eller er forkastet
HQC	fd=A	Original verdi er oppsamling, korrigert verdi er tilfordelt manuellt

Forhåndskvalifisering (prequalification)

controlinfo(13), fpre

Verdier som skal forkastes eller endres fordi de uttrykker feil som allerede er kjent ved mottak.

Feilen kan være kjente sensorbegrensninger, permanent eller tidsbegrenset, kjente feil ved stasjonen knyttet til en hendelse ved utstyr eller kommunikasjon.

fpre=0	Ikke vurdert
QC1-0	fpre=1	Vurdert. Ikke forkastet
fpre=2-3	< reservert >
QC1-0	fpre=4	Korrigert automatisk
QC1-0	fpre=5	< reservert >
QC1-0	fpre=6	Forkastet. Original verdi er kjent å være feil
Dekoder	fpre=7	Forkastet. Parameter utelatt fra ny innsendt melding

Kombinert vurdering (combined assessment)

controlinfo(14), fcombi

Tolking av en kombinasjon av kontrollflaggverdier. Kombinasjonene er ikke generelt gyldige, bare for utvalgte parametere.

fcombi=0	Ikke tolket
fcombi=1	Tolket. Funnet iorden.
QC1-9	fcombi=2	Utenfor høyeste grenseverdi, ikke påvist sprang, innenfor tolerert avvik fra modellverdi
fcombi=3-8	< reservert >
QC1-9	fcombi=9	Forkastet. Utenfor høyeste grenseverdi, ikke påvist sprang, utenfor tolerert avvik fra modellverdi
QC1-9	fcombi=A	Forkastet. Utenfor høyeste grenseverdi, påvist sprang, innenfor tolerert avvik fra modellverdi
QC1-9	fcombi=B	Forkastet. Utenfor høyeste grenseverdi, påvist sprang, utenfor tolerert avvik fra modellverdi

Manuell kvalitetskontroll (human quality control)

controlinfo(15), fhqc

HQC blir gjennomført i en dedikert applikasjon som håndterer flaggsettingen

fhqc=0	Ikke kontrollert i HQC
HQC	fhqc=1	Kontrollert i HQC. Funnet i orden.
HQC	fhqc=2	Ikke kvalifisert for feilliste. Sannsynligvis i orden.
HQC	fhqc=3	Ikke ferdig HQC kontrollert. Mulig kvalifisert for feilliste. Ikke aktuell for kontroll i QC1 eller QC2.
HQC	fhqc=4	Original mangler eller er sikkert feilaktig. Overlates til QC2 for interpolering/korreksjon/tilfordeling.
HQC	fhqc=5	Interpolert manuelt
HQC	fhqc=6	Tilfordelt manuelt
HQC	fhqc=7	Korrigert manuelt
HQC	fhqc=8-9	< reservert >
HQC	fhqc=A	Forkastet manuelt

Bruksinformasjon (useinfo)

Bruksinformasjonens 16 bruksflagg oppsummerer resultatet av kontrollprosessen av nytte for den etterfølgende bruk av dataene. Bruksflaggene skal gi informasjon om sluttresultatet av kontrollene.

I henhold til “Overordnet design” skal bruksflaggene bidra til å få frem:

om observasjonen mangler

om manglende observasjon er interpolert manuelt eller automatisk

om observasjonen er kontrollert eller ikke

om observasjonen er funnet i orden

om observasjonen er korrigert manuelt eller automatisk og hvorfor

om observasjonen er mistenkelig, men likevel ikke korrigert

om oppsamlet nedbør over en periode er fordelt

om absolutt maksimums- og minimumsverdi over en periode er fordelt

Det nordiske samarbeidsprosjektet NORDKLIM har anbefalt et sett kvalitetsflagg [1]. NORDKLIM-flaggene er implementert som useinfo(0)-useinfo(4).

Bruksflaggene:

Flagg	Beskrivelse	Blir satt av
useinfo(0)	Kontrollnivå passert	QABase
useinfo(1)	Originalverdiens avvik fra normert observasjonsprosedyre	QABase
useinfo(2)	Kvalitetsnivå for originalverdi	QABase
useinfo(3)	Behandling av originalverdi	QABase
useinfo(4)	Viktigste kontrollmetode	QABase
useinfo(5)	< reservert >
useinfo(6)	< reservert >
useinfo(7)	Forsinkelse	Dekoder (QABase)
useinfo(8)	Prosent konfidens, første siffer av to	(QABase)
useinfo(9)	Prosent konfidens, andre siffer av to	(QABase)
useinfo(10)	< reservert >
useinfo(11)	< reservert >
useinfo(12)	< reservert >
useinfo(13)	HQC-operatørens løpenummer, første siffer av to	HQC
useinfo(14)	HQC-operatørens løpenummer, andre siffer av to	HQC
useinfo(15)	Antall tester som har gitt utslag	QABase

Forståelse av kriteriene

Hvis flere kriterier står innenfor en parentes, regnes parentesen som ett kriterium. Når flere enn ett kriterium følger etter hverandre, betyr det siste “og” at alle kriterier må være oppfylt. Dersom det i stedet står “eller”, betyr det at minst ett kriterium må være oppfylt.

Kontrollnivå passert

useinfo(0) = 0	< reservert >
useinfo(0) = 1	QC1, QC2 og HQC er gjennomført
useinfo(0) = 2	QC2 og HQC er gjennomført (ikke QC1)
useinfo(0) = 3	QC1 og HQC er gjennomført (ikke hele QC2)
useinfo(0) = 4	HQC er gjennomført (ikke QC1, ikke hele QC2)
useinfo(0) = 5	QC1 og QC2 er gjennomført (ikke HQC)
useinfo(0) = 6	QC2 er gjennomført (ikke QC1, ikke HQC)
useinfo(0) = 7	QC1 er gjennomført (ikke hele QC2, ikke HQC)
useinfo(0) = 8	< reservert >
useinfo(0) = 9	Informasjon om kontrollnivå ikke gitt

Initialverdien av useinfo(0) er 9.

QC1 gjennomført betyr at minst en QC1-sjekk er gjennomført.

Originalverdiens avvik fra normert observasjonsprosedyre

useinfo(1) = 0	Normert observasjonsperiode og observasjonstid
useinfo(1) = 1	Observasjonstid avviker fra normen
useinfo(1) = 2	Observasjonsperiode er kortere enn normert
useinfo(1) = 3	Observasjonsperiode er lengre enn normert
useinfo(1) = 4	Observasjonstid avviker fra normen, observasjonsperiode er kortere enn normert
useinfo(1) = 5	Observasjonstid avviker fra normen, observasjonsperiode er lengre enn normert
useinfo(1) = 6	< reservert >
useinfo(1) = 7	< reservert >
useinfo(1) = 8	Originalverdi mangler
useinfo(1) = 9	Statusinformasjon ikke gitt

useinfo(1) settes etter gjennomført QC1.

Initialverdien av useinfo(1) er 9.

useinfo(1) settes til 8 hvis fmis=1 eller fmis=3.

For fmis=0, 2 eller 4 settes useinfo(1) som følger:

useinfo(1) settes til 0 hvis (fd=0 eller fd=1) og useinfo(7)=0.
useinfo(1) settes til 1 hvis (fd=0 eller fd=1) og useinfo(7)>0.
useinfo(1) settes til 2 hvis fd=3 og useinfo(7)=0.
useinfo(1) settes til 3 hvis (fd=2, fd=4, fd=7, fd=8, fd=9 eller fd=A) og useinfo(7)=0.
useinfo(1) settes til 4 hvis fd=3 og useinfo(7)>0.
useinfo(1) settes til 5 hvis (fd=2, fd=4, fd=7, fd=8, fd=9 eller fd=A) og useinfo(7)>0

Kvalitetsnivå for originalverdi

useinfo(2) = 0	Originalverdi funnet i orden
useinfo(2) = 1	Originalverdi noe mistenkelig (antagelig korrekt)
useinfo(2) = 2	Originalverdi svært mistenkelig (antagelig feilaktig)
useinfo(2) = 3	Originalverdi sikkert feilaktig
useinfo(2) ∈ [4,8]	< reservert >
useinfo(2) = 9	Kvalitetsinformasjon ikke gitt

Initialverdien av useinfo(2) er 9.

For fmis=1 eller fmis=3 settes useinfo(2) til 9.

Ellers settes useinfo(2) til 0 hvis fhqc=1 eller fhqc=2.

Ellers settes useinfo(2) som følger, i prioritert rekkefølge:

useinfo(2) settes til 3 hvis
fagg>4, fr=6, fr=A, fcc≥A, fcp≥A, fs≥8, fnum=6, ftime=1, ftime=2, fw=A, fpos≥4, fd=2, fd=4, fd≥7, fpre≥4, fclim=3, fcombi≥9, fhqc=4 eller fhqc≥6.

useinfo(2) settes til 2 hvis
fagg=3 eller ((fr=4 eller fr=5) og fcombi !=1,2) eller (fcc=3, fcc=4, fcc=6, fcc=7, fcp=3, fcp=4, fcp=6, fcp=7, fs=3, fw=3, fpos=3, fstat=2 eller fd=3).

useinfo(2) settes til 1 hvis
fagg=2, fr=2, fr=3, fcc=2, fcp=2, fs=2, fs=7, fw=2, fclim=2 eller fcombi=2.

useinfo(2) settes til 0 hvis
fagg=1, fr=1, fcc=1, fcp=1, fs=1, fs=4, fw=1, fpos=1, fstat=1, fclim=1, fd=1 eller fcombi=1.

Ellers settes useinfo(2) til initialverdien 9.

Behandling av originalverdi

useinfo(3) = 0	Original verdi er beholdt uendret
useinfo(3) = 1	Original verdi er manuelt korrigert, eller automatisk korrigert med godt resultat
useinfo(3) = 2	Original verdi er manuelt interpolert, eller automatisk interpolert med godt resultat
useinfo(3) = 3	Original verdi er automatisk korrigert
useinfo(3) = 4	Original verdi er automatisk interpolert
useinfo(3) = 5	Original verdi er manuelt tilfordelt fra akkumulert verdi
useinfo(3) = 6	Original verdi er automatisk tilfordelt fra akkumulert verdi
useinfo(3) = 7	< reservert >
useinfo(3) = 8	Original verdi er forkastet
useinfo(3) = 9	Kvalitetsinformasjon er ikke gitt

Initialverdien av useinfo(3) er 9.

For fmis=3 settes useinfo(3) til 9.

Ellers settes useinfo(3) som følger, i prioritert rekkefølge:

useinfo(3) settes til 5 hvis fd=9, fd=A eller fagg=8.

useinfo(3) settes til 6 hvis fd=7, fd=8 eller fagg=9.

useinfo(3) settes til 2 hvis fhqc=5, fagg=5 eller (ftime=1 og fmis=1).

useinfo(3) settes til 1 hvis fhqc=7, fagg=4, fr=A, fs=9 eller (ftime=1 og fmis=4).

useinfo(3) settes til 0 hvis fhqc=1 eller 2.

useinfo(3) settes til 8 hvis fmis=2.

useinfo(3) settes til 4 hvis fmis=1.

useinfo(3) settes til 3 hvis fagg=6, fcc=A, fcc=B, fcp=A, fcp=B, fs=A, fpos=4, fpre=4, fclim=3, eller ((fnum=6 eller ftime=2) og fmis=4)).

Ellers settes useinfo(3) til 0.

Forklaring av begreper:

Tilfordeling, korreksjon, interpolasjon og forkasting er definert slik at de utelukker hverandre gjensidig.

Tilfordeling foretas fra en oppsamlet (akkumulert) verdi ved å sette inn verdier i feltet corrected for hele oppsamlingsperioden. Tilfordelings­flagget (controlinfo(12)) brukes for alle observasjonene i denne perioden.

Korreksjon er endring av originalverdi og kan bare foretas når original­verdi eksisterer og ikke er blitt tilfordelt.

Interpolasjon er innsetting av en erstatningsverdi og kan bare foretas når originalverdi mangler og ikke er blitt tilfordelt.

Forkasting er sletting av originalverdi, og kan bare foretas når originalverdi eksisterer og ikke er blitt tilfordelt eller korrigert. I praksis vil en originalverdi være forkastet hvis minst én kontroll har forkastet verdien (det tilhørende flagget er blitt satt til en verdi hvor den forklarende teksten markerer observasjonen som “forkastet”), og originalverdien samtidig ikke er blitt korrigert eller tilfordelt eller er blitt godkjent av HQC.

HQC kan oppheve en forkasting ved å godkjenne originalverdien, korrigere den eller tilfordele. Også annen automatisk behandling av originalverdien (korreksjon, interpolasjon og tilfordeling) kan endres av HQC.

Merk at kombinasjonen useinfo(2)=3 og useinfo(3)=0 er mulig: originalverdien kan være merket for senere tilfordeling (den er da sikkert feilaktig, men verken korrigert, interpolert, tilfordelt eller forkastet).

Viktigste kontrollmetode

useinfo(4) = 0	Original verdi kontrollert og funnet i orden
useinfo(4) = 1	Grenseverdikontroll
useinfo(4) = 2	Konsistenskontroll (mer enn én parameter)
useinfo(4) = 3	Sprangkontroll (én parameter)
useinfo(4) = 4	Konsistenskontroll i forhold til tidligere/senere observasjonsterminer (mer enn én parameter)
useinfo(4) = 5	Romkontroll, basert på observasjonsdata
useinfo(4) = 6	Romkontroll, basert på tidsserier
useinfo(4) = 7	Romkontroll, basert på modelldata
useinfo(4) = 8	Romkontroll, basert på statistikk
useinfo(4) = 9	Kvalitetsinformasjon ikke gitt

Initialverdien av useinfo(4) er 9.
useinfo(4) settes etter at useinfo(2) er satt.

useinfo(4) settes til 0 hvis useinfo(2)=0.

Ellers settes useinfo(4) som følger, i prioritert rekkefølge:

useinfo(4) settes til 9 hvis fhqc≥4.

useinfo(4) settes til 9 hvis fd=2 eller fd=4 eller fd≥7 eller fr=7.

useinfo(4) settes til 1 hvis
(fr=A eller 7>fr>1), fcc≤1, fcp≤1, fs≤1, fnum≤5, fpos≤1, ftime≤1, fw≤1, fstat≤1 og fclim≤1.

useinfo(4) settes til 2 hvis
(fcc=2, fcc=3, fcc=6, fcc=9, fcc=A, fcc=D, fcp=2, fcp=3, eller fcp=A)
og fs≤1, fnum≤5, fpos≤1, ftime≤1, fw≤1, fstat≤1 og fclim≤1.

useinfo(4) settes til 3 hvis
(fs>1 eller fpos>1) og fnum≤5, ftime≤1, fw≤1, fstat≤1 og fclim≤1.

useinfo(4) settes til 4 hvis
(fcc=4, fcc=7, fcc=B, fcp=4, fcp=7, eller fcp=B)
og fnum≤5, ftime≤1, fw≤1, fstat≤1 og fclim≤1.

useinfo(4) settes til 5 hvis
(fw>1 eller fclim>1) og fnum≤5, ftime≤1 og fstat≤1.

useinfo(4) settes til 6 hvis
ftime>1 og fnum≤5 og fstat≤1.

useinfo(4) settes til 7 hvis
fnum>5 og fstat≤1.

useinfo(4) settes til 8 hvis
fstat>1.

Ellers settes useinfo(4) til initialverdien 9.

Forsinkelse

Meldingene inneholder en eller flere observasjoner. De ulike meldingene skal mottas ved met.no innenfor et normert tidsvindu. Tidsvinduet vil variere for ulike stasjonsoppsett og kommunikasjonsløsninger.

useinfo(7) = 0	Observasjonen er utført til rett tid og meldt til rett tid
useinfo(7) = 1	Observasjonen er utført for tidlig og meldt til rett tid
useinfo(7) = 2	Observasjonen er utført for sent men meldt til rett tid
useinfo(7) = 3	Observasjonen er meldt for tidlig
useinfo(7) = 4	Observasjonen er meldt for sent
useinfo(7) = 5	Observasjonen er utført for tidlig og meldt for sent
useinfo(7) = 6	Observasjonen er utført for sent og meldt for sent
useinfo(7) = 7	< reservert >
useinfo(7) = 8	< reservert >
useinfo(7) = 9	Forsinkelse ikke vurdert

Initialverdien av useinfo(7) er 9.

useinfo(7) settes til 0, 3 eller 4 ved innlegging i Kvalobs-databasen.

useinfo(7) settes til 1, 2, 5 eller 6 av en kontrollrutine i sammenheng med QC2.

useinfo(7) settes til 9 når observasjonen mangler.

Konfidens

En egen rutine beregner prosent konfidens av originalverdien basert på resultatet av kontrollene.

useinfo(8) og useinfo(9) settes til integer heksadesimalverdien av prosenttallet. F.eks. vil 63% konfidens bli representert med useinfo(8)=3, useinfo(9)=F.

useinfo(8) og useinfo(9) settes av en kontrollrutine som beregner konfidens.

HQC-operatørens løpenummer

I applikasjonen for manuell kvalitetskontroll (HQC) skal hver operatør logge seg inn ved en signatur. Signaturen blir lagret sammen med et løpenummer som identifiserer operatørene i dataene. Operatørens løpenummer blir lagret i useinfo(13) og useinfo(14).

useinfo(13) og useinfo(14) settes etter utført HQC

Tester som har gitt utslag (cfailed)

Hver enkelt test er tilordnet en identifikator qcx i tabellen checks. Hvis en test gir utslag som en mistenkelig eller feilaktig verdi, blir testens identifikator lagret som et tillegg til bruksinformasjonen i feltet cfailed. Når flere tester gir utslag, blir identifikatorene lagret kommaseparert.
Parametriseringen av testene kan finnes i tabellen station_param og lagres ikke sammen med dataene.

useinfo(15) kan ha verdiene 0, 1, 2, ..., F og angir antall tester som har gitt utslag. Verdien F angir at mer enn 14 tester har gitt utslag.

useinfo(15) blir inkrementert ved tilfellene fhqc>0, fr>1, fcc>1, fcp>1, fs>1, fnum>1, fpos>1, ftime>0, fw>1, fstat>1, fclim>1 eller fpre>1.

Referanser

[1] Lars Andresen (ed): “Quality Information of Meteorological Observations. Recommendations for a common Nordic end-user flagging system. Klima Report 11/2003. met.no

Endringslogg:

versjon 2.0:

Korrigert fns/fis til fns/is.
Flaggverdien fns/is=0xA lagt til.
Utvidet betydning for flaggverdiene fi=0xB, ftp=0xA og fi/is=0xB.

versjon 3.0:

Omarbeidet kontrollflaggene fra å være 4-bits verdier til karakterer.
Omarbeidet bruksinformasjonen. Tatt i bruk WMO-standard kodesett og prosent konfidens.
Utvidet betydning av HQC-flaggene til å omfatte forkastede verdier
Innført flagging av manglende verdi som QC1-0 og med eget flaggkodesystem fmis.

versjon 4.0:

Delt konsistenskontrollen i formell konsistens (QC1-2) og klimatologisk konsistens (QC1-6). Byttet betydning mellom fcc=2 og fcc=3. Verdien i hvert av flaggene er nå sortert etter økende alvorlighetsgrad.

versjon 5.0:

Endret navn på kontrollflaggene. Nummerering fra 0 til 15. Kontrollflagg for fordeling (fd) definert.
Nye definisjoner av bruksflaggene.

versjon 6.0:

Kontrollflagg for hqc (fhqc) er definert separat. Kontrollflagg for klimatologisk konsistens (fcp) er definert.
Flaggverdiene av fcc er endret. Beskrivelsen av fd er endret.
useinfo(4)=4 er ny. useinfo(5) er endret. useinfo(7)=1,2,5,6 er nye.

versjon 7.0:

Ny beskrivelse av useinfo(0)-useinfo(4) i henhold til Norklims anbefalinger.
Innført kontrollflaggverdiene fs=4, fs=5 for fullstendighet.
Utvidet betydningen av kontrollflagget fd med ny tolkning av fd=1. Høyeste verdi for fd er 5 i stedet for 4.
Utvidelse av fcc og fcb med hensyn til Norklims skille mellom 'internal consistency' og 'step consistency'. Nye flaggverdier er fcc=4, fcc=7, fcc=B, fcp=4, fcp=7, fcp=B. fcc utvidet med kontrollflaggverdien fcc=D.
Innført bruksflaggene useinfo(13) og useinfo(14).

versjon 8.0:

QC1-0 utvidet til å omfatte automatisk forkastede observasjoner. Innført fpre, controlinfo(13).
Definert QC1-7 for påvisning av oppsamlet verdi med controlflag fd, controlinfo(12).
Utvidet betydningen av kontrollflagget fd. Høyeste verdi for fd er B.

versjon 8.1: Harmonisert beskrivelsen av useinfo(13)/useinfo(14) til å være løpenummer.
Korrigert beskrivelsen av hvordan useinfo(0) blir satt. Beskrivelsen for useinfo(2)=0 endret fra “Originalverdi sikkert korrekt” til “Originalverdi funnet i orden”.

versjon 8.2: Fjernet bruken av useinfo(6). Justert regler for tilordning av useinfo(0)=7, useinfo(2)=3.

versjon 8.3: Korrigert algoritmen for tilordning av useinfo(1) med å ta hensyn til fd
Korrigert algoritmen for tilordning av useinfo(3) med å ta hensyn til fpre.
Lagt til fhqc=2.

versjon 8.4: Utvidet betydningen av sprangkontroll til drift i instrument. Ny flaggverdi fs=7. Tilsvarende utvidelse for useinfo(2).
Oppdatert den innledende beskrivelsen
Utvidet beskrivelse i oppsummeringstabellen for kontrollflaggene og bruksflaggene.

versjon 8.5: Lagt til fcombi - controlinfo(14). Justert regler for tilordning av useinfo(2)=1, useinfo(2)=2, og useinfo(2)=3.

versjon 8.6: Fjernet bruken av controlinfo(0) - fqclevel. Omdefinert regelen for tilordning av useinfo(0) uten å endre flaggets betydning.
Ny flaggverdi fpre=5. Justert regler for tilordning av useinfo(2)=3, useinfo(3)=8, og useinfo(3)=4.

versjon 8.6.1: Presisert betydningen av fd. Korrigert algoritmen for tilordning av useinfo(0), useinfo(2) og useinfo(3).

versjon 8.6.2: Tilbakestilt en regel fra v. 8.5 om fmis og useinfo(2)=9. Skrevet om reglene for tilordning av useinfo(2).

versjon 8.6.3: Korrigert algoritmen for tilordning av useinfo(2).

versjon 8.6.4 og 8.6.5: Utvidet betydning av fd=2.

versjon 8.7: Controlinfo: Korrigering av tekst for fnum=6, ftime=1,2,3, fd=1,2,6,7,A,B. Ny verdi 8 for fcc. Lagt inn forklaring av oppsamlet verdi.
Useinfo: Lagt til seksjonene: “Forståelse av kriterier” og “Forklaring av begreper” (den siste under useinfo(3)). Ny verdi 9 for useinfo(7). Endringer av kriterier for useinfo(2,3,4,7). Forenkling av tekst for setting av useinfo(1,2,3,4). Omdøping av useinfo(3) fra “Originalverdi korrigert” til “Behandling av originalverdi”.

versjon 8.7.1: Korrigert algoritmen for tilordning av useinfo(3).

versjon 8.7.2: Korrigering av tekst for fpre=4-7. Endret avhengighet av fpre i setting av useinfo(2)=3 og useinfo(3)=3.

Versjon 8.8: Ny verdi 9 for fcc. fcc=9 lagt til som kriterium for useinfo(4)=2. Kriteriet for useinfo(3)=4 forenklet vesentlig.

Versjon 8.9: Lagt til sjekk for fcombi != 2 i kriteriet for useinfo(2)=2

Versjon 8.10: Lagt til fr=7 og justert kriteriet for useinfo(4) til å ta hensyn til fr=7.

Versjon 8.11: Verdiene for fw endret til å samsvare med verdiene for fnum. Konsekvenser for useinfo(2-3).

Versjon 8.12: Lagt til fmis=4 (tidligere fmis=0 nå splittet i fmis=0,4). Konsekvenser for useinfo(1) og useinfo(3)=3

Versjon 8.13: Lagt til fhqc>0 som et av kriteriene for å inkrementere useinfo(15)

Versjon 8.14: fnum=2,3 medfører useinfo(2)=0, ikke 1. Gir endringer også i useinfo(4) i kriterier hvor fnum inngår.

Versjon 8.15: Reformulering av betydningen av fmis=0 og 4 (går nå på om original er sikkert feilaktig, ikke korrigert/tilfordelt).

Versjon 9.0:

controlinfo(0) tatt i bruk som fagg (Vurdering av grunnlagsdata ved aggregering).

Versjon 9.1: fnum<6 ikke lenger eksplisitt brukt til setting av useinfo(2) (og useinfo(4))

Versjon 9.2: endret algoritme for setting av useinfo(3). ftime bidrar til useinfo(3)=3.

Versjon 9.3: 'Automatisk interpolert/korrigert med godt resultat' likestilt med 'manuelt interpolert/korrigert' i useinfo(3). Gir endrede kriterier for useinfo(3)=1,2,3

Versjon 9.4: Lagt til fr=A. Konsekvenser for setting av useinfo(2,3,4)

Versjon 9.5: Lagt til fs=8. Konsekvens for setting av useinfo(2)=3

Versjon 9.6: Ny betydning av fpre=7 (som tidligere ikke var i praktisk bruk, settes nå av dekoder)

Versjon 9.7: Ny betydning av fs=4 og fs=5 (sistnevnte er nå reservert verdi). Konsekvens for setting av useinfo(2)

Versjon 9.8: fs=9 medfører useinfo(3)=1, ikke 3

Versjon 9.9: Fjernet fd=A,B. Ny betydning av fd=6,7

Versjon 9.10: Endret ordlyd for fhqc=3. Tatt i bruk fhqc=4 (kun for manglende verdier)

Versjon 9.11: Skiller nå mellom endpoint og missing point i fd. Oppsamlet verdi angis nå av fd=4 og fd=2 angir at oppsamling pågår. Etter tilfordeling angir nå fd=7 og fd=8 automatisk tilfordeling mens fd=9 og fd=A angir manuell tilfordeling. Dette har medført endringer i kriteriene for bruksflaggene useinfo(1), useinfo(2), useinfo(3) og useinfo(4)

Versjon 9.12: fhqc=4 skal også brukes når hqc operatøren vil åpne opp for at QC2 skal kunne tilfordele på senere tidspunkt. Dette medfører at useinfo(2) settes til 3 hvis fhqc=4 og useinfo(4) settes til 9 hvis fhqc≥4. Teksten til fhqc=4 blir nå “Mulig kvalifisert for feilliste. Aktuell for interpolering/tilfordeling i QC2.”

Versjon 9.13: Endringer i fw slik at vi skiller mellom i orden, litt mistenkelig, svært mistenkelig og forkastet. Bruksflaggene useinfo(2) og useinfo(3) opdatert i henhold til endring i fw. Endring i fw medførte ikke endringer i useinfo(4).

Versjon 9.14: ftime=1,2 medfører useinfo(2)=3 (ved korreksjon)

Sist oppdatert av Pål Sannes 16. mai 2013