Differences

This shows you the differences between two versions of the page.

--- kvalobs:kvalobs:qc11 [2019-07-09 13:29:12]
terjeer [Hovedregel og unntak]
+++ — (current)
@@ Line 1: / Line 1: @@
-====== QC1-1 ======
-===== General description =====
-The KVALOBS range control applies climatological test values, i.e. each station is attributed a set of values with upper and lower limits for each month.
-Every station has a set of range limit values comprising six values for each month. The values are:
-  *Upper physical limit value
-  *Highest test threshold value
-  *High test threshold value
-  *Low test threshold value
-  *Lowest test threshold value
-  *Lower physical limit value
-There are two kinds of observation. One is the physical parameters like for example wind speed measured in m/s. The other is code parameters, for example total cloudiness with valid integer values between 0 and 9. The climatological threshold values for the code parameters will be identical to upper and lower limit on valid codes.\\  The physical parameters will have their range limit values set in the following manner:\\  The upper and lower physical limit value will be identical to the limit values inherited from the current control system applied to messages from automatic stations.\\  The highest and lowest test threshold value is initially set to the highest and lowest value measured during the latest 10 years period. The high test threshold value is set equal to the highest test threshold value minus 10 per cent of the difference between the highest and lowest test threshold value. The low test threshold value is set equal to the lowest test threshold value plus 10 per cent of the difference between the highest and lowest test threshold value.\\
-**The exception from these rules are the parameter groups: temperature, air pressure and wind speed, and relative humidity and wind direction with fixed limit values, 0 - 100% and 0 - 360 degrees respectively for the two latest parameters (see below).**
-The range limit values are stored in the Kvalobs SVN archive. Because the physical limits are the same for all stations and months, these limit values are stored in a separate file with parameterid and associated limit values only. The other limit values are tabulated with seven columns as shown below. The detailed file contains column headers and rows as exemplified below:
-|Stationid|parameterid|month|highest|high|lowest|low|
-|18700|173|1|1032.6|1023.4|940.2|949.4|
-The input to the Kvalobs database is a table with the same structure as the above. The table contains limit values for all stations (except automatic stations) in operation during the last 10 years. In total there is 914 stations. Only the physical parameters at each station is included in the table. The table then consists of some 100 000 rows.
-New stations established reasonably close to an exisiting one will have applied the same limit values as the existing station. In other cases interpolation of limit values from near by stations will be used. The interpolation will be relatively simple taking into account the distance to existing stations and eventually the difference in elevation. When there is no existing station sufficiently close model data and for marine stations Hindcast data will be applied. The latter also applies to stations which are not included in the calculation described above because of deficient quality control as for example automatic stations.
-== Equipment specific control configuration ==
-* [[QC1-1 on AWS snow depth]]
-* [[QC1-1 on Geonor bucket content]]
-== Detailed QC1-1 rational ==
-* {{http://metklim.met.no/_media/klima/homog/spec/spes_qc1-1_v14_wiki.doc|QC1-1 on temperature, air pressure and wind speed (rødmerket tekst viser siste endringer i dokumentet). Se ev hele dokumentet nedenfor.}}
-* [[QC1-1 on relative humidity]]
-===== Hovedregel og unntak =====
-RANGE_CHECK er her hovedalgoritmen. Mesteparten av metadataene er generert for den. Den har overen halv million linjer, mens de nadre bortsett fra QC1-4 har nesten ingen.
-<code>
-select count(*) from station_param where qcx ~ 'QC1-1';
-count
---------
-(1 row)
-kvalobs=# select count(*) from station_param where qcx ~ 'QC1-2';
- count
--------
-(1 row)
-kvalobs=# select count(*) from station_param where qcx ~ 'QC1-3';
- count
--------
-(1 row)
-kvalobs=# select count(*) from station_param where qcx ~ 'QC1-4';
- count
--------
-(1 row)
-kvalobs=# select count(*) from station_param where qcx ~ 'QC1-6';
- count
--------
-(1 row)
-</code>
-===== Metadata ( terskelverdier ) for QC1-1 - grenseverdisjekk (v.1.4) =====
-Hver stasjon har egne grenseverdier som passer med stasjonsplasseringen. Grenseverdisjekken skal ha som formål å mistenkeliggjøre verdier som ligger utenfor månedsvise ekstremverdier per stasjon.
-===Generelt oppsett for generering og vedlikehold av grenseverdier for parametergrupper (Temperatur, Lufttrykk, Vind, …)===
-**Se individuell behandling av hver parametergruppe nedenfor (TA, PR og FF)  **
-Vi benytter 4 tabeller, 3 metadatatabeller for registrering (i klima11) og en datatabell (i dvh10). Datatabellen inneholder alle ekstremverdiene og beregnede grenseverdier.
-**1)** Tabellen T_RANGE_CHECK_REF inneholder metadata for en referansestasjon per region. Det er 14 fastlandsregioner (ID=1-14) og 8 havområder (ID=15-22). En region kan være karakterisert ved KYST_INNLAND (K/I) for alle fylker (COUNTYID) som har kyst, for øvrig er K/I=I. Referansestasjonene for hver K/I-region (ID) ligger i kolonne STNR. For referansestasjonene har vi brukt ca 50 år med data (fra ca 1957). Disse er alle registrert med stasjonshøyde (AMSL). Referansestasjonene er beskrevet for hver parametergruppe. **Tabellen vedlikeholdes mauelt etter etablering av nye parametergrupper**
-**2)** Tabellen T_RANGE_CHECK_ST_CAT inneholder alle stasjonene som skal kontrolleres. De er definert med G_PARAMID, K/I, fylkesnummer (COUNTYID) og observasjonsperiode. K/I kan variere med G_PARAMID. **Nye stasjoner må registreres i tabellen manuelt, og K/I må bestemmes.**
-**3**) Tabell T_RANGE_CHECK_PARAM_GROUP inneholder informasjon om hvilke parametere (PARAMID) kontrollen skal gjelde for innenfor definert parametergruppe (G_PARAMID). **Nye parametergrupper må vedlikeholdes manuelt. Innholdet i tabellen leses av metakvalobs.**
-**4**) Tabell T_RANGE_CHECK_DATA inneholder alle ekstremverdiene for hver måned (MONTH), dvs. de høyeste og laveste som er registrert i observasjonsperioden (ST_HIGH og ST_LOW). De klimatologiske ekstremene er bestemt av en konstant, K (parameterspesifikk, kan endres ved behov). Vi får da ST_HIGHEST=ST_HIGH + K og ST_LOWEST=ST_LOW -- K. **Tabellen oppdateres automatisk ved prosedyre I Klimadatavarehuset en gang per døgn. Innholdet i tabellen leses av metakvalobs, dataene i denne tabellen sammen med tabellen T_RANGE_CHECK_PARAM_GROUP danner grunnlaget for å generere nesten alle grenseverdiene for RANGE_CHECK**
-===For lange tidsserier, ≥15 år===
-Hvis observasjonsperioden (NO_OF_YEARS) er lik eller større enn 15 år, settes grenseverdiene slik: HIGHEST=ST_HIGHEST, HIGH=ST_HIGH, LOW=ST_LOW, LOWEST=ST_LOWEST
-===For korte tidsserier, <15 år===
-Hvis observasjonsperioden er mindre enn 15 år må vi utnytte referansestasjonenes ekstremverdier. Vi kobler da tabellene T_RANGE_CHECK_REF og T_RANGE_CHECK_ST_CAT slik at ekstremverdiene for stasjonen blir den mest ekstreme av egen dataserie eller referanseserien. Disse blir lagt i CALC_HIGH eller CALC_LOW. CALC_HIGHEST og CALC_LOWEST settes hhv. K høyere eller lavere enn CALC_HIGH / CALC_LOW som vist ovenfor. Hvis CALC-kolonnene har verdier, så er det disse som overføres til grenseverdiene HIGHEST, HIGH, LOW, LOWEST.
-===Oppdatering===
-Gangen i oppdateringsrutinen er følgende:
-== 1) Manuell oppdatering i dvh10 ==
-T_GRENSEV_ST_CAT \\
-Man (Jostein) registrerer nye stasjoner i Oracle Forms mot tabellen T_GRENSEV_ST_CAT.
-T_RANGE_CHECK_REF  \\
-Tabellen inneholder metadata for en referansestasjon per region  \\
-Referansestasjonene er beskrevet for hver parametergruppe.
-T_RANGE_CHECK_PARAM_GROUP  \\
-Tabellen inneholder informasjon om hvilke parametere (PARAMID) kontrollen skal gjelde for innenfor definert parametergruppe (G_PARAMID). \\
-== 2) Døgnlig automatisk oppdatering i dvh10 ==
-T_RANGE_CHECK_DATA  \\
-Tabellen inneholder alle ekstremverdiene for hver måned  \\
-== 3) Grenseverdier genereres i metakvalobs ==
-Om natten går det en rutine på maskinen metakvalobs som leser fra tabellene T_RANGE_CHECK_DATA og T_RANGE_CHECK_PARAM_GROUP på dvh10. Tabellene T_RANGE_CHECK_DATA og T_RANGE_CHECK_PARAM_GROUP finnes ikke på metakvalobs, tabellene lastes ned som filer og brukes straks til å generere grenseverdier.
-== 4) Overføring til kvalobsinstanser ==
-Dagen etter så tar den daglige oppdateringen av metadata og putter disse nye grenseverdiene inn i forskjellige kvalobsinstanser.
-===Parametergruppene===
-==TA (G_PARAMID=211)==
-Spesifikasjonen nedenfor gjelder paramid=211(TA), 212(TAM), 213(TAN), 214(TAN_12), 215(TAX) og 216(TAX_12).
-Datagrunnlaget som brukes er KDVHs månedsverditabell og der parameterne TAX som er max(TAX) eller max(TAX_12) og TAN som er min(TAN) eller min(TAN_12) for en stasjon for hver måned.
-**Utvidelse (14/4-2011): For paramid=217(TD) benyttes grenseverdiene for TA -- 5 °C.**
-**Begrunnelse: D = TA -- TD varierer med relativ fuktighet (UU). Ved ekstrem temperatur, kald eller varm, er det sannsynligvis tørr luft og D ~ 10 °C, ved ”villobser” er det mest sannsynlig ”normal” fuktighet og da er D ~ 5 °C. Vi ønsker foreløpig ikke å ta i bruk noe formelverk for å beregne D for hver temperaturobservasjon. Etter en samlet vurdering for en forenklet prosedyre anbefaler vi å bruke D = 5 °C.**
-I tabell T_RANGE_CHECK_DATA ligger ekstremverdiene for alle stasjoner, inkludert referansestasjonene. De er definert i tabell T_RANGE_CHECK_REF og betegnes som ”_ref”.  For å finne ut om det er stasjonens ekstrem (ST_HIGH/LOW) eller referansestasjonens ekstrem (ST_ref_HIGH/LOW) som er mest ekstreme (for korte tidsserier) må referanseekstremverdien høydejusteres til aktuell stasjonshøyde etter følgende formel:
-ST_ref_HIGH/LOW_redusert = ST_ref_HIGH/LOW  + (AMSL_ref -- AMSL) * 0.6 / 100.
-Den mest ekstreme verdien blir lagt til CALC_HIGH eller CALC_LOW.
-For beregning i T_RANGE_CHECK_DATA settes K(TA)=5°C
-==Referansestasjoner==
-Stasjonshøyden i meter er satt i parentes.
-Ekstremverdiene gjelder fra 1957. Alle stasjonene (bortsett fra noen maritime stasjoner) har ca 50 års sammenhengende dataserie.
-  - Kyst av Østfold/Vestfold:\\ 27500 Færder fyr (6), fra 1957
-  - Innland av Østfold/Vestfold og hele Oslo/Akershus/Buskerud/Oppland/Hedmark:\\ 07010 Rena-Haugedalen (240), fra 1958
-  - Kyst av Aust-Agder/Vest-Agder/Telemark:\\ 39100 Oksøy fyr (9), fra 1957
-  - Innland av Aust-Agder/Vest-Agder/Telemark:\\ 39710/39690 Byglandsfjord (212), fra 1957
-  - Kyst av Rogaland/Hordaland/Sogn og Fjordane:\\ 48330 Slåtterøy fyr (15), fra 1957
-  - Innland av Rogaland/Hordaland/Sogn og Fjordane:\\ 54130/54120 Lærdal (24), fra 1957
-  - Kyst av Møre og Romsdal/Sør-Trøndelag/Nord-Trøndelag:\\ 71550 Ørland (10), fra 1957
-  - Innland av Møre og Romsdal/Sør-Trøndelag/Nord-Trøndelag:\\ 8300/68310/68340/68290 Selbu (242), fra 1957
-  - Kyst/fjord av Nordland:\\ 82290 Bodø (11), fra 1957
-  - Innland av Nordland:\\ 81620/81650/81680 Saltdal (81), fra 1967
-  - Kyst/fjord av Troms:\\ 90800 Torsvåg fyr (21), fra 1957
-  - Innland av Troms:\\ 8935 Bardufoss (76), fra 1957
-  - Kyst/fjord av Finnmark:\\ 96400 Slettnes fyr (8), fra 1957
-  - Innland av Finnmark:\\ 97250/97251 Karasjok (131), fra 1957
-  - Nordsjøen:\\ 76920 Ekofisk, fra 1980
-  - Norskehavet:\\ 76925 Draugen, fra 1993
-  - Barentshavet:\\ 99710 Bjørnøya og 99720 Hopen, begge fra 1957
-  - Skip sør:\\ 47300 Utsira, fra 1957
-  - Svalbard sør:\\ 99710 Bjørnøya, fra 1957
-  - Svalbard nord:\\ 99840 Svalbard lufthavn, fra 1975
-  - Skip nord:\\ 99720 Hopen, fra 1957
-  - Rigger:\\ Se Barentshavet
-==PR (G_PARAMID=178)==
-Spesifikasjonen nedenfor gjelder paramid=178 (QFF) og 172 (QNH).
-Datagrunnlaget som brukes er KDVHs månedsverditabell og der parameterne PRX som er max(PR), og PRN som er min(PR) for en stasjon for hver måned.
-I tabell T_RANGE_CHECK_DATA ligger ekstremverdiene for alle stasjoner, inkludert referansestasjonene. De er definert i tabell T_RANGE_CHECK_REF og betegnes som ”_ref”.  Den mest ekstreme verdien av stasjonens ekstrem (ST_HIGH/LOW) eller referansestasjonens ekstrem (ST_ref_HIGH/LOW) blir lagt til CALC_HIGH eller CALC_LOW.
-For beregning i T_RANGE_CHECK_DATA settes K(PR)=5 hPa.
-==Referansestasjoner==
-Referansestasjonene er identiske med dem for TA.
-==FF (G_PARAMID=81)==
-Spesifikasjonen nedenfor gjelder paramid=81, 82, 85, 86, 87, 88, 89, 93 og 95.
-Datagrunnlaget som brukes er KDVHs månedsverditabell og parameteren FXX som er max(FX) for en stasjon for hver måned. For minimumsgrenseverdier settes FF=0 hvis FXN<0, der FXN er min(FX) for en stasjon for hver måned.
-**Utvidelse (29/3-2011): Høy grenseverdi for FG = FX * kastfaktor**
-**Kastfaktor = 1.5 (kyst), 2.0 (innland)**
-**Begrunnelse: Kastfaktoren varierer med underlagets beskaffenhet (ruhetsparameter) og topografi/geografi. På de ytterste fyrstasjonene er ruhetsparameteren omkring 1.25, på en flyplass 1.5 og i ulendt terreng i innlandet 1.75. Verdien 2 er en slags maksimalverdi, når vi ser bort fra virvelvinder. Etter en samlet vurdering for en forenklet prosedyre anbefaler vi å bruke kastfaktor 1.5 på kysten og 2.0 i innlandet.**
-I tabell T_RANGE_CHECK_DATA ligger ekstremverdiene for alle stasjoner, inkludert referansestasjonene. De er definert i tabell T_RANGE_CHECK_REF og betegnes som ”_ref”.  Den mest ekstreme verdien av stasjonens ekstrem (ST_HIGH/LOW) eller referansestasjonens ekstrem (ST_ref_HIGH/LOW) blir lagt til CALC_HIGH eller CALC_LOW.
-For beregning i T_RANGE_CHECK_DATA settes K(FF)=5 m/s.
-==Referansestasjoner==
-Stasjonshøyden i meter er satt i parentes.
-Ekstremverdiene gjelder fra 1957. Alle stasjonene (bortsett fra noen maritime stasjoner) har ca 50 års sammenhengende dataserie.
-  - Kyst av Østfold/Vestfold:\\ 27500 Færder fyr (6), fra 1957
-  - Innland av Østfold/Vestfold og hele Oslo/Akershus/Buskerud/Oppland/Hedmark:\\ 4780 Gardermoen (202), fra 1957
-  - Kyst av Aust-Agder/Vest-Agder/Telemark:\\ 39100 Oksøy fyr (9), fra 1957
-  - Innland av Aust-Agder/Vest-Agder/Telemark:\\ 39040 Kjevik (12), fra 1957
-  - Kyst av Rogaland/Hordaland/Sogn og Fjordane:\\ 48330 Slåtterøy fyr (15), fra 1957
-  - Innland av Rogaland/Hordaland/Sogn og Fjordane:\\ 50500 Flesland (48), fra 1957
-  - Kyst av Møre og Romsdal/Sør-Trøndelag/Nord-Trøndelag:\\ 71550 Ørland (10), fra 1957
-  - Innland av Møre og Romsdal/Sør-Trøndelag/Nord-Trøndelag:\\ 9100 Værnes (12), fra 1957
-  - Kyst/fjord av Nordland:\\ 82290 Bodø (11), fra 1957
-  - Innland av Nordland:\\ 82290 Bodø (11), fra 1957
-  - Kyst/fjord av Troms:\\ 90800 Torsvåg fyr (21), fra 1957
-  - Innland av Troms:\\ 8935 Bardufoss (76), fra 1957
-  - Kyst/fjord av Finnmark:\\ 96400 Slettnes fyr (8), fra 1957
-  - Innland av Finnmark:\\ 93140 Alta (3), fra 1963
-  - Nordsjøen:\\ 76920 Ekofisk, fra 1980
-  - Norskehavet:\\ 76925 Draugen, fra 1993
-  - Barentshavet:\\ 99710 Bjørnøya og 99720 Hopen, begge fra 1957
-  - Skip sør:\\ 47300 Utsira, fra 1957
-  - Svalbard sør:\\ 99710 Bjørnøya, fra 1957
-  - Svalbard nord:\\ 99840 Svalbard lufthavn, fra 1975
-  - Skip nord:\\ 99720 Hopen, fra 1957
-  - Rigger:\\ Se Barentshavet
-LA/POK/14/4/2011