Oppdatering av algoritmer og metadata i Kvalobs

PROSEDYRE FOR Å OPPDATERE/LEGGE INN NYE SKRIPT/METADATA

Oppdatering gjøres hver dag fom. mandag tom. fredag i tidsrommet kl.11:20 - 11:40 norsk lokaltid.

Nye metoder for daglig oppdatering

Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker: halvautomatisk

Logg inn som egen bruker på metakvalobs.

sudo -i -u kvalobs
. .bashrc

Undersøk at alt er gått greit:

cat $HOME/var/log/auto.log

Oppdater svn med nye metadata fra stinfosys:

/metno/kvalobs/bin/svn_commit

På dette punktet i oppdateringen, dersom de to foregående punktene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata fra stinfosys eller manuelt, oppdateringen kan avbrytes. ( men auto fra klima kan fortsatt være tilfelle, ingen endringer skal da gi ingen linjer: 'grep ulike $HOME/var/log/run_klima2kvalobs_all.log'.

Overføring av metadata til repositoriet slik at andre kan laste det ned:

logout
scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs

Produksjonsmaskin ( lucid ):

OBS! Den dagen de skifter mellom kvalobs1 og kvalobs2, oppdaterer vi ikke metadata.

Logg så inn som bruker kvalobs på kvalobs (som altså nå er kvalobs1 eller kvalobs2).

Stopp kvalobs med: kvstop

Innstaller de nye metadataene med: /metno/kvalobs/kvget_metadata

Eksekver insert.sh (opdaterer QC1-0 etc).

Start kvalobs med: kvstart

Histkvalobs (virtuell maskin) hovedløsning:

Utføres på histkvalobs:

kv2kl-stop-all

rm -v $HOME/var/run/*.pid

Stopp kvalobs med: kvstop

Utføres på histkvalobsdb-trusty:

Innstaller de nye metadatene med: /metno/kvalobs/bin/kvget-metadata

Oppdaterer QC1-1-104: psql -f ~/insert_QC1-1-104-1000mm.sql

Oppdaterer QC1-4-109: psql -f ~/Update-Checks-QC1-4-109.sql

Utføres på histkvalobs:

Start kvalobs med: kvstart

kv2kl-start-all

Histkvalobs (virtuell maskin)reserveløsning:

Utføres på histkvalobsdb:

Gå til katalogen $METADIR: cd $METADIR

Oppdater metadata fra SVN: svn update

Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.

Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: kvinstall_metadata

Utføres på histkvalobs:

kv2kl-stop-all

rm -v $HOME/var/run/*.pid

Stopp kvalobs med: kvstop

Utføres på histkvalobsdb:

Innstaller de nye metadatene med: /usr/lib/kvalobs_metadata/bin/run_metadata

Utføres på histkvalobs:

Start kvalobs med: kvstart

kv2kl-start-all

Rutiner som gjøres automatisk på Metakvalobs og som må gjøres utenom tidspunktet for daglig oppdatering av metadata

kvalobs@metakvalobs:~$ crontab -l
# m h dom mon dow command
44 5 * * 2,3,4,5 $HOME/bin/run_klima2kvalobs_all
44 5 * * 1 $HOME/bin/run_QC1-1_all
# 51 * * * * $HOME/bin/run_klima2kvalobs_all
kvalobs@metakvalobs:~$ cat $HOME/bin/run_klima2kvalobs_all
#! /bin/sh
export HOME=/metno/kvalobs
$HOME/bin/run_klima2kvalobs
$HOME/bin/run_QC1-1_all

Nye grenseverdier: QC1-1_all.out blir generert i cronjobben over ($HOME/bin/run_QC1-1_all) , men kan genereres manuelt

Logg inn som egen bruker på metakvalobs.

Oppdater metadata fra SVN:

sk /metno/kvalobs/bin/svn_update

Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.

( cd gjerne til svn repositoriet først: cd $METADIR. Bruk kommandoen rm eks: sudo -u kvalobs rm station/station.out )

Generer filen QC1-1_all.out og flytter den over til riktige kataloger med:

sk /metno/kvalobs/bin/run_QC1-1_all

For testing

dev-vm098 blir ikke automatisk oppdatert (Test-maskin), oppdatering som stemmer ( mer ) med det som er i drift:

Årsaken til at dev-vm098 ikke blir automatisk oppdatert er bruken av egne metadata for testing.

crontab -l
# 45 11 * * * $HOME/bin/kvget-metadata-cron > /dev/null 2>&1 %

Dersom en ønsker en oppdatering som stemmer ( mer ) med det som er i drift utfør:

cd $HOME
$HOME/bin/kvget-metadata-cron

Manuell testing av egne innlagte metadata (Lucid test-maskin):

$ cd myuser
$ . bashrc_myuser

Gå til katalogen $METADIR: cd $METADIR

Oppdater metadata fra SVN: svn update

Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.

Hvis du har en endring, kopierer du den inn her:

( f.eks: scp geok06_sms_snowdepth_increase_no_snowsymbol.pl kvalobs@dev-vm098:~/myuser/kvmetadata/algorithms )

Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: kvinstall_metadata

Stopp kvalobs med: kvstop

Innstaller de nye metadatene med: /usr/lib/kvalobs-metadata/bin/run_metadata

Eksekver insert.sh (opdaterer QC1-0 etc).

Start kvalobs med: kvstart

Rutiner som "kvalobs bruker" på metakvalobs

Rutiner som gjøres sjeldent

Alle disse rutinene uføres på kvalobs@metakvalobs.

QC1-1_all.out

Denne operasjonen må gjøres hver gang noen filer på $METADIR/station_param/station_param_auto oppdateres som inneholder QC1-1 i filnavnet.

$ cd myuser
$ . bashrc_myuser

Gå til katalogen $METADIR/station_param/station_param_auto:

$ cd $METADIR/station_param/station_param_auto

Oppdater metadata fra SVN:

$ svn update

Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.

Generer filen QC1-1_all.out lokalt med:

$ /usr/lib/kvalobs-metadata/bin/run_QC1-1_all

Til slutt lagres den nye filen i versjonskontrollsystemet

$ svn commit QC1-1_all.out

Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobsbrukeren ( er ikke tiltenkt for daglig oppdatering )

Logg inn som bruker kvalobs på metakvalobs.

Gå til katalogen $METADIR: cd $METADIR

Oppdater metadata fra SVN: svn update

Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.

Innstaller data fra stinfosys: /usr/lib/kvalobs-metadata/bin/run_stinfosys2kvalobs_new

Deretter oppdater svn med nye metadata fra stinfosys: svn commit

Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: /metno/kvalobs/bin/kvinstall_metadata

Innstaller de nye metadataene med: /usr/lib/kvalobs-metadata/bin/run_metadata

Overføring av metadata til repositoriet slik at andre kan laste det ned:

scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 myuser@repo.met.no:/var/www/repo/data/metadata/obs/kvalobs

Andre metoder for daglig oppdatering

Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker

Logg inn som egen bruker på metakvalobs.

Oppdater metadata fra SVN:

sudo -u kvalobs /metno/kvalobs/bin/svn_update

Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.

( cd gjerne til svn repositoriet først: cd $METADIR. Bruk kommandoen rm )

Innstaller data fra stinfosys:

sudo -u kvalobs /metno/kvalobs/bin/run_stinfosys2kvalobs

Deretter oppdater svn med nye metadata fra stinfosys:

sudo -u kvalobs /metno/kvalobs/bin/svn_commit

På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata (første kommando gir i så fall kun utskrift 'At revision ...') så er det ikke kommet noen nye metadata og oppdateringen avbrytes.

Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:

sudo -u kvalobs /metno/kvalobs/bin/kvmeta_all

Overføring av metadata til repositoriet slik at andre kan laste det ned:

scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs

Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker med: alias sk='sudo -u kvalobs'

Logg inn som egen bruker på metakvalobs.

Oppdater metadata fra SVN:

sk /metno/kvalobs/bin/svn_update

Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.

( cd gjerne til svn repositoriet først: cd $METADIR. Bruk kommandoen rm )

Innstaller data fra stinfosys:

sk /metno/kvalobs/bin/run_stinfosys2kvalobs

Deretter oppdater svn med nye metadata fra stinfosys:

sk /metno/kvalobs/bin/svn_commit

På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.

Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:

sk /metno/kvalobs/bin/kvmeta_all

Overføring av metadata til repositoriet slik at andre kan laste det ned:

scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs

Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker

Logg inn som egen bruker på metakvalobs.

sudo -i -u kvalobs
. .bashrc

Oppdater metadata fra SVN:

/metno/kvalobs/bin/svn_update

Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.

( cd gjerne til svn repositoriet først: cd $METADIR. Bruk kommandoen rm )

Innstaller data fra stinfosys:

/metno/kvalobs/bin/run_stinfosys2kvalobs

Deretter oppdater svn med nye metadata fra stinfosys:

/metno/kvalobs/bin/svn_commit

På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.

Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:

/metno/kvalobs/bin/kvmeta_all

Overføring av metadata til repositoriet slik at andre kan laste det ned:

logout
scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs