Oppdatering av algoritmer og metadata i Kvalobs

PROSEDYRE FOR Å OPPDATERE/LEGGE INN NYE SKRIPT/METADATA

Oppdatering gjøres automatisk hver dag fom. mandag tom. fredag i tidsrommet kl.9:30 - 9:45 UTC.

Nye metoder for daglig oppdatering

Metakvalobs: Dette er nå fullautomatisert og en trenger ikke gå inn her lenger

Dersom noe av dette feiler så sendes mail til kvdrift.

Det oppfordres til å gå inn på metakvalobs en gang i måneden.

Rutiner som gjøres automatisk på Metakvalobs og som må gjøres utenom tidspunktet for daglig oppdatering av metadata

kvalobs@metakvalobs:~$ crontab -l
# m h dom mon dow command
44 5 * * 2,3,4,5 $HOME/bin/run_klima2kvalobs_all
44 5 * * 1 $HOME/bin/run_QC1-1_all
# 51 * * * * $HOME/bin/run_klima2kvalobs_all
kvalobs@metakvalobs:~$ cat $HOME/bin/run_klima2kvalobs_all
#! /bin/sh
export HOME=/metno/kvalobs
$HOME/bin/run_klima2kvalobs
$HOME/bin/run_QC1-1_all

Nye grenseverdier: QC1-1_all.out blir generert i cronjobben over ($HOME/bin/run_QC1-1_all) , men kan genereres manuelt

Logg inn som egen bruker på metakvalobs.

Oppdater metadata fra git:

sk /metno/kvalobs/bin/git_pull

Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull.

( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm eks: sudo -u kvalobs rm station/station.out )

Generer filen QC1-1_all.out og flytter den over til riktige kataloger med:

sk /metno/kvalobs/bin/run_QC1-1_all

For testing

Staging server blir ikke automatisk oppdatert (Test-maskin), oppdatering som stemmer ( mer ) med det som er i drift:

Årsaken til at Staging server ikke blir automatisk oppdatert er bruken av egne metadata for testing.

crontab -l
# 45 11 * * * $HOME/bin/kvget-metadata-cron > /dev/null 2>&1 %

Dersom en ønsker en oppdatering som stemmer ( mer ) med det som er i drift utfør:

cd $HOME
$HOME/bin/kvget-metadata-cron

Manuell testing av egne innlagte metadata (test-maskin):

$ cd myuser
$ . bashrc_myuser

Gå til katalogen $METADIR: cd $METADIR

Oppdater metadata fra git: git pull

Hvis vi får CONFLICT ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull.

Dersom det er filer du jobber med så må de tas vare på utenfor repositoriet og kopieres inn på riktig sted.

Hvis du har en endring, kopierer du den inn her:

( f.eks: scp geok06_sms_snowdepth_increase_no_snowsymbol.pl kvalobs@xxx:~/kvoss_intern/kvmeta/algorithms$ )

Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: kvinstall_metadata

Stopp kvalobs med: kvstop

Innstaller de nye metadatene med: /usr/lib/kvalobs-metadata/bin/run_metadata

Eksekver insert.sh (opdaterer QC1-0 etc).

Start kvalobs med: kvstart

Overføring av metadata i fra /usr/share/kvalobs/metadata til databasen; avgrensede og kjappere metoder

En kan få kjapt lagt inn alle algoritmer i databasen

LIBEXECDIR=/usr/lib/kvalobs-metadata/bin
$LIBEXECDIR/run_algorithm_all

alle manuelle checks

LIBEXECDIR=/usr/lib/kvalobs-metadata/bin
$LIBEXECDIR/run_checks_all

alle manuelle station_param

LIBEXECDIR=/usr/lib/kvalobs-metadata/bin
$LIBEXECDIR/run_station_param_all

Rutiner som "kvalobs bruker" på metakvalobs

Rutiner som gjøres sjeldent

Alle disse rutinene uføres på kvalobs@metakvalobs.

QC1-1_all.out

Denne operasjonen må gjøres hver gang noen filer på $METADIR/station_param/station_param_auto oppdateres som inneholder QC1-1 i filnavnet.

$ cd myuser
$ . bashrc_myuser

Gå til katalogen $METADIR/station_param/station_param_auto:

$ cd $METADIR/station_param/station_param_auto

Oppdater metadata fra git:

$ git pull

Hvis konflikt skal en slette disse filene og deretter gjøre en ny git pull.

Generer filen QC1-1_all.out lokalt med:

$ /usr/lib/kvalobs-metadata/bin/run_QC1-1_all

Til slutt lagres den nye filen i versjonskontrollsystemet

$ git commit QC1-1_all.out
$ git pull