Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision | ||
kvalobs:kvalobs:qc11 [2019-07-10 15:55:31] terjeer [Hovedregel og unntak] |
— (current) | ||
---|---|---|---|
Line 1: | Line 1: | ||
- | |||
- | ====== QC1-1 ====== | ||
- | |||
- | |||
- | |||
- | ===== General description ===== | ||
- | |||
- | |||
- | The KVALOBS range control applies climatological test values, i.e. each station is attributed a set of values with upper and lower limits for each month. | ||
- | |||
- | Every station has a set of range limit values comprising six values for each month. The values are: | ||
- | |||
- | *Upper physical limit value | ||
- | *Highest test threshold value | ||
- | *High test threshold value | ||
- | *Low test threshold value | ||
- | *Lowest test threshold value | ||
- | *Lower physical limit value | ||
- | There are two kinds of observation. One is the physical parameters like for example wind speed measured in m/s. The other is code parameters, for example total cloudiness with valid integer values between 0 and 9. The climatological threshold values for the code parameters will be identical to upper and lower limit on valid codes.\\ | ||
- | |||
- | **The exception from these rules are the parameter groups: temperature, | ||
- | |||
- | The range limit values are stored in the Kvalobs SVN archive. Because the physical limits are the same for all stations and months, these limit values are stored in a separate file with parameterid and associated limit values only. The other limit values are tabulated with seven columns as shown below. The detailed file contains column headers and rows as exemplified below: | ||
- | |||
- | |Stationid|parameterid|month|highest|high|lowest|low| | ||
- | |18700|173|1|1032.6|1023.4|940.2|949.4| | ||
- | |||
- | The input to the Kvalobs database is a table with the same structure as the above. The table contains limit values for all stations (except automatic stations) in operation during the last 10 years. In total there is 914 stations. Only the physical parameters at each station is included in the table. The table then consists of some 100 000 rows. | ||
- | |||
- | New stations established reasonably close to an exisiting one will have applied the same limit values as the existing station. In other cases interpolation of limit values from near by stations will be used. The interpolation will be relatively simple taking into account the distance to existing stations and eventually the difference in elevation. When there is no existing station sufficiently close model data and for marine stations Hindcast data will be applied. The latter also applies to stations which are not included in the calculation described above because of deficient quality control as for example automatic stations. | ||
- | |||
- | == Equipment specific control configuration == | ||
- | |||
- | * [[QC1-1 on AWS snow depth]] | ||
- | |||
- | * [[QC1-1 on Geonor bucket content]] | ||
- | |||
- | == Detailed QC1-1 rational == | ||
- | |||
- | * {{http:// | ||
- | |||
- | * [[QC1-1 on relative humidity]] | ||
- | |||
- | |||
- | ====== ANALYSIS of the amount of metadata ====== | ||
- | What is in the tables station_param, | ||
- | |||
- | ==== station_param ==== | ||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 361 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | -------- | ||
- | | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 135 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 58 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 115 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 0 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 84 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 14016 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 116 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 0 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# | ||
- | |||
- | ===== Hovedregel og unntak ===== | ||
- | RANGE_CHECK er her hovedalgoritmen. Mesteparten av metadataene er generert for den. Den har overen halv million linjer, mens de andre bortsett fra QC1-4 har nesten ingen. | ||
- | |||
- | < | ||
- | select count(*) from station_param where qcx ~ ' | ||
- | count | ||
- | -------- | ||
- | | ||
- | (1 row) | ||
- | |||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 193 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 115 | ||
- | (1 row) | ||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 14100 | ||
- | (1 row) | ||
- | |||
- | |||
- | kvalobs=# select count(*) from station_param where qcx ~ ' | ||
- | | ||
- | ------- | ||
- | 116 | ||
- | (1 row) | ||
- | </ | ||
- | |||
- | ===== Metadata ( terskelverdier ) for QC1-1 - grenseverdisjekk (v.1.4) ===== | ||
- | |||
- | |||
- | Hver stasjon har egne grenseverdier som passer med stasjonsplasseringen. Grenseverdisjekken skal ha som formål å mistenkeliggjøre verdier som ligger utenfor månedsvise ekstremverdier per stasjon. | ||
- | |||
- | |||
- | |||
- | ===Generelt oppsett for generering og vedlikehold av grenseverdier for parametergrupper (Temperatur, | ||
- | |||
- | |||
- | **Se individuell behandling av hver parametergruppe nedenfor (TA, PR og FF) ** | ||
- | |||
- | |||
- | |||
- | Vi benytter 4 tabeller, 3 metadatatabeller for registrering (i klima11) og en datatabell (i dvh10). Datatabellen inneholder alle ekstremverdiene og beregnede grenseverdier. | ||
- | |||
- | |||
- | |||
- | **1)** Tabellen T_RANGE_CHECK_REF inneholder metadata for en referansestasjon per region. Det er 14 fastlandsregioner (ID=1-14) og 8 havområder (ID=15-22). En region kan være karakterisert ved KYST_INNLAND (K/I) for alle fylker (COUNTYID) som har kyst, for øvrig er K/I=I. Referansestasjonene for hver K/I-region (ID) ligger i kolonne STNR. For referansestasjonene har vi brukt ca 50 år med data (fra ca 1957). Disse er alle registrert med stasjonshøyde (AMSL). Referansestasjonene er beskrevet for hver parametergruppe. **Tabellen vedlikeholdes mauelt etter etablering av nye parametergrupper** | ||
- | |||
- | |||
- | |||
- | **2)** Tabellen T_RANGE_CHECK_ST_CAT inneholder alle stasjonene som skal kontrolleres. De er definert med G_PARAMID, K/I, fylkesnummer (COUNTYID) og observasjonsperiode. K/I kan variere med G_PARAMID. **Nye stasjoner må registreres i tabellen manuelt, og K/I må bestemmes.** | ||
- | |||
- | |||
- | |||
- | **3**) Tabell T_RANGE_CHECK_PARAM_GROUP inneholder informasjon om hvilke parametere (PARAMID) kontrollen skal gjelde for innenfor definert parametergruppe (G_PARAMID). **Nye parametergrupper må vedlikeholdes manuelt. Innholdet i tabellen leses av metakvalobs.** | ||
- | |||
- | |||
- | |||
- | **4**) Tabell T_RANGE_CHECK_DATA inneholder alle ekstremverdiene for hver måned (MONTH), dvs. de høyeste og laveste som er registrert i observasjonsperioden (ST_HIGH og ST_LOW). De klimatologiske ekstremene er bestemt av en konstant, K (parameterspesifikk, | ||
- | |||
- | |||
- | |||
- | ===For lange tidsserier, ≥15 år=== | ||
- | |||
- | Hvis observasjonsperioden (NO_OF_YEARS) er lik eller større enn 15 år, settes grenseverdiene slik: HIGHEST=ST_HIGHEST, | ||
- | |||
- | |||
- | |||
- | ===For korte tidsserier, <15 år=== | ||
- | |||
- | Hvis observasjonsperioden er mindre enn 15 år må vi utnytte referansestasjonenes ekstremverdier. Vi kobler da tabellene T_RANGE_CHECK_REF og T_RANGE_CHECK_ST_CAT slik at ekstremverdiene for stasjonen blir den mest ekstreme av egen dataserie eller referanseserien. Disse blir lagt i CALC_HIGH eller CALC_LOW. CALC_HIGHEST og CALC_LOWEST settes hhv. K høyere eller lavere enn CALC_HIGH / CALC_LOW som vist ovenfor. Hvis CALC-kolonnene har verdier, så er det disse som overføres til grenseverdiene HIGHEST, HIGH, LOW, LOWEST. | ||
- | |||
- | |||
- | |||
- | ===Oppdatering=== | ||
- | Gangen i oppdateringsrutinen er følgende: | ||
- | |||
- | == 1) Manuell oppdatering i dvh10 == | ||
- | T_GRENSEV_ST_CAT \\ | ||
- | Man (Jostein) registrerer nye stasjoner i Oracle Forms mot tabellen T_GRENSEV_ST_CAT. | ||
- | |||
- | T_RANGE_CHECK_REF | ||
- | Tabellen inneholder metadata for en referansestasjon per region | ||
- | Referansestasjonene er beskrevet for hver parametergruppe. | ||
- | |||
- | T_RANGE_CHECK_PARAM_GROUP | ||
- | Tabellen inneholder informasjon om hvilke parametere (PARAMID) kontrollen skal gjelde for innenfor definert parametergruppe (G_PARAMID). \\ | ||
- | |||
- | == 2) Døgnlig automatisk oppdatering i dvh10 == | ||
- | T_RANGE_CHECK_DATA | ||
- | Tabellen inneholder alle ekstremverdiene for hver måned | ||
- | |||
- | == 3) Grenseverdier genereres i metakvalobs == | ||
- | Om natten går det en rutine på maskinen metakvalobs som leser fra tabellene T_RANGE_CHECK_DATA og T_RANGE_CHECK_PARAM_GROUP på dvh10. Tabellene T_RANGE_CHECK_DATA og T_RANGE_CHECK_PARAM_GROUP finnes ikke på metakvalobs, | ||
- | |||
- | == 4) Overføring til kvalobsinstanser == | ||
- | Dagen etter så tar den daglige oppdateringen av metadata og putter disse nye grenseverdiene inn i forskjellige kvalobsinstanser. | ||
- | |||
- | |||
- | |||
- | |||
- | ===Parametergruppene=== | ||
- | |||
- | |||
- | ==TA (G_PARAMID=211)== | ||
- | |||
- | Spesifikasjonen nedenfor gjelder paramid=211(TA), | ||
- | |||
- | Datagrunnlaget som brukes er KDVHs månedsverditabell og der parameterne TAX som er max(TAX) eller max(TAX_12) og TAN som er min(TAN) eller min(TAN_12) for en stasjon for hver måned. | ||
- | |||
- | |||
- | |||
- | **Utvidelse (14/ | ||
- | |||
- | |||
- | |||
- | **Begrunnelse: | ||
- | |||
- | |||
- | |||
- | I tabell T_RANGE_CHECK_DATA ligger ekstremverdiene for alle stasjoner, inkludert referansestasjonene. De er definert i tabell T_RANGE_CHECK_REF og betegnes som ”_ref”. For å finne ut om det er stasjonens ekstrem (ST_HIGH/ | ||
- | |||
- | |||
- | |||
- | ST_ref_HIGH/ | ||
- | |||
- | |||
- | |||
- | Den mest ekstreme verdien blir lagt til CALC_HIGH eller CALC_LOW. | ||
- | |||
- | |||
- | |||
- | For beregning i T_RANGE_CHECK_DATA settes K(TA)=5°C | ||
- | |||
- | |||
- | |||
- | ==Referansestasjoner== | ||
- | |||
- | Stasjonshøyden i meter er satt i parentes. | ||
- | |||
- | Ekstremverdiene gjelder fra 1957. Alle stasjonene (bortsett fra noen maritime stasjoner) har ca 50 års sammenhengende dataserie. | ||
- | |||
- | |||
- | - Kyst av Østfold/ | ||
- | - Innland av Østfold/ | ||
- | - Kyst av Aust-Agder/ | ||
- | - Innland av Aust-Agder/ | ||
- | - Kyst av Rogaland/ | ||
- | - Innland av Rogaland/ | ||
- | - Kyst av Møre og Romsdal/ | ||
- | - Innland av Møre og Romsdal/ | ||
- | - Kyst/fjord av Nordland:\\ 82290 Bodø (11), fra 1957 | ||
- | - Innland av Nordland:\\ 81620/ | ||
- | - Kyst/fjord av Troms:\\ 90800 Torsvåg fyr (21), fra 1957 | ||
- | - Innland av Troms:\\ 8935 Bardufoss (76), fra 1957 | ||
- | - Kyst/fjord av Finnmark:\\ 96400 Slettnes fyr (8), fra 1957 | ||
- | - Innland av Finnmark:\\ 97250/97251 Karasjok (131), fra 1957 | ||
- | - Nordsjøen: | ||
- | - Norskehavet: | ||
- | - Barentshavet: | ||
- | - Skip sør:\\ 47300 Utsira, fra 1957 | ||
- | - Svalbard sør:\\ 99710 Bjørnøya, fra 1957 | ||
- | - Svalbard nord:\\ 99840 Svalbard lufthavn, fra 1975 | ||
- | - Skip nord:\\ 99720 Hopen, fra 1957 | ||
- | - Rigger:\\ Se Barentshavet | ||
- | |||
- | |||
- | ==PR (G_PARAMID=178)== | ||
- | |||
- | Spesifikasjonen nedenfor gjelder paramid=178 (QFF) og 172 (QNH). | ||
- | |||
- | Datagrunnlaget som brukes er KDVHs månedsverditabell og der parameterne PRX som er max(PR), og PRN som er min(PR) for en stasjon for hver måned. | ||
- | |||
- | |||
- | |||
- | I tabell T_RANGE_CHECK_DATA ligger ekstremverdiene for alle stasjoner, inkludert referansestasjonene. De er definert i tabell T_RANGE_CHECK_REF og betegnes som ”_ref”. Den mest ekstreme verdien av stasjonens ekstrem (ST_HIGH/ | ||
- | |||
- | |||
- | |||
- | For beregning i T_RANGE_CHECK_DATA settes K(PR)=5 hPa. | ||
- | |||
- | |||
- | |||
- | ==Referansestasjoner== | ||
- | |||
- | Referansestasjonene er identiske med dem for TA. | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | ==FF (G_PARAMID=81)== | ||
- | |||
- | Spesifikasjonen nedenfor gjelder paramid=81, 82, 85, 86, 87, 88, 89, 93 og 95. | ||
- | |||
- | Datagrunnlaget som brukes er KDVHs månedsverditabell og parameteren FXX som er max(FX) for en stasjon for hver måned. For minimumsgrenseverdier settes FF=0 hvis FXN<0, der FXN er min(FX) for en stasjon for hver måned. | ||
- | |||
- | |||
- | |||
- | **Utvidelse (29/ | ||
- | |||
- | **Kastfaktor = 1.5 (kyst), 2.0 (innland)** | ||
- | |||
- | |||
- | **Begrunnelse: | ||
- | |||
- | |||
- | |||
- | I tabell T_RANGE_CHECK_DATA ligger ekstremverdiene for alle stasjoner, inkludert referansestasjonene. De er definert i tabell T_RANGE_CHECK_REF og betegnes som ”_ref”. Den mest ekstreme verdien av stasjonens ekstrem (ST_HIGH/ | ||
- | |||
- | |||
- | |||
- | For beregning i T_RANGE_CHECK_DATA settes K(FF)=5 m/s. | ||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | |||
- | ==Referansestasjoner== | ||
- | |||
- | Stasjonshøyden i meter er satt i parentes. | ||
- | |||
- | Ekstremverdiene gjelder fra 1957. Alle stasjonene (bortsett fra noen maritime stasjoner) har ca 50 års sammenhengende dataserie. | ||
- | |||
- | |||
- | - Kyst av Østfold/ | ||
- | - Innland av Østfold/ | ||
- | - Kyst av Aust-Agder/ | ||
- | - Innland av Aust-Agder/ | ||
- | - Kyst av Rogaland/ | ||
- | - Innland av Rogaland/ | ||
- | - Kyst av Møre og Romsdal/ | ||
- | - Innland av Møre og Romsdal/ | ||
- | - Kyst/fjord av Nordland:\\ 82290 Bodø (11), fra 1957 | ||
- | - Innland av Nordland:\\ 82290 Bodø (11), fra 1957 | ||
- | - Kyst/fjord av Troms:\\ 90800 Torsvåg fyr (21), fra 1957 | ||
- | - Innland av Troms:\\ 8935 Bardufoss (76), fra 1957 | ||
- | - Kyst/fjord av Finnmark:\\ 96400 Slettnes fyr (8), fra 1957 | ||
- | - Innland av Finnmark:\\ 93140 Alta (3), fra 1963 | ||
- | - Nordsjøen: | ||
- | - Norskehavet: | ||
- | - Barentshavet: | ||
- | - Skip sør:\\ 47300 Utsira, fra 1957 | ||
- | - Svalbard sør:\\ 99710 Bjørnøya, fra 1957 | ||
- | - Svalbard nord:\\ 99840 Svalbard lufthavn, fra 1975 | ||
- | - Skip nord:\\ 99720 Hopen, fra 1957 | ||
- | - Rigger:\\ Se Barentshavet | ||
- | |||
- | LA/ | ||