This is an old revision of the document!
Oppdatering av algoritmer og metadata i Kvalobs
PROSEDYRE FOR Å OPPDATERE/LEGGE INN NYE SKRIPT/METADATA
Oppdatering gjøres hver dag fom. mandag tom. fredag i tidsrommet kl.11:20 - 11:40 norsk lokaltid.
Nye metoder for daglig oppdatering
Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker: halvautomatisk
Logg inn som egen bruker på metakvalobs.
sudo -i -u kvalobs . .bashrc
Undersøk at alt er gått greit:
cat $HOME/var/log/auto.log
Oppdater svn med nye metadata fra stinfosys:
/metno/kvalobs/bin/svn_commit
På dette punktet i oppdateringen, dersom de to foregående punktene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata fra stinfosys eller manuelt, oppdateringen kan avbrytes. ( men auto fra klima kan fortsatt være tilfelle, ingen endringer skal da gi ingen linjer: 'grep ulike $HOME/var/log/run_klima2kvalobs_all.log'.
Overføring av metadata til repositoriet slik at andre kan laste det ned:
logout scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
Produksjonsmaskin ( lucid ):
OBS! Den dagen de skifter mellom kvalobs1 og kvalobs2, oppdaterer vi ikke metadata.
Logg så inn som bruker kvalobs på kvalobs (som altså nå er kvalobs1 eller kvalobs2).
Stopp kvalobs med: kvstop
Innstaller de nye metadataene med: /metno/kvalobs/kvget_metadata
Eksekver insert.sh (opdaterer QC1-0 etc).
Start kvalobs med: kvstart
Histkvalobs (virtuell maskin) hovedløsning:
Utføres på histkvalobs:
kv2kl-stop-all
rm -v $HOME/var/run/*.pid
Stopp kvalobs med: kvstop
Utføres på histkvalobsdb-trusty:
Innstaller de nye metadatene med: /metno/kvalobs/bin/kvget-metadata
Oppdaterer QC1-1-104: psql -f ~/insert_QC1-1-104-1000mm.sql
Oppdaterer QC1-4-109: psql -f ~/Update-Checks-QC1-4-109.sql
Utføres på histkvalobs:
Start kvalobs med: kvstart
kv2kl-start-all
Histkvalobs (virtuell maskin)reserveløsning:
Utføres på histkvalobsdb:
Gå til katalogen $METADIR: cd $METADIR
Oppdater metadata fra SVN: svn update
Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.
Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: kvinstall_metadata
Utføres på histkvalobs:
kv2kl-stop-all
rm -v $HOME/var/run/*.pid
Stopp kvalobs med: kvstop
Utføres på histkvalobsdb:
Innstaller de nye metadatene med: /usr/lib/kvalobs_metadata/bin/run_metadata
Utføres på histkvalobs:
Start kvalobs med: kvstart
kv2kl-start-all
Rutiner som gjøres automatisk på Metakvalobs og som må gjøres utenom tidspunktet for daglig oppdatering av metadata
kvalobs@metakvalobs:~$ crontab -l
# m h dom mon dow command
44 5 * * 2,3,4,5 $HOME/bin/run_klima2kvalobs_all
44 5 * * 1 $HOME/bin/run_QC1-1_all
# 51 * * * * $HOME/bin/run_klima2kvalobs_all
kvalobs@metakvalobs:~$ cat $HOME/bin/run_klima2kvalobs_all
#! /bin/sh
export HOME=/metno/kvalobs
$HOME/bin/run_klima2kvalobs
$HOME/bin/run_QC1-1_all
Nye grenseverdier: QC1-1_all.out blir generert i cronjobben over ($HOME/bin/run_QC1-1_all) , men kan genereres manuelt
Logg inn som egen bruker på metakvalobs.
Oppdater metadata fra SVN:
sk /metno/kvalobs/bin/svn_update
Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.
( cd gjerne til svn repositoriet først: cd $METADIR. Bruk kommandoen rm eks: sudo -u kvalobs rm station/station.out )
Generer filen QC1-1_all.out og flytter den over til riktige kataloger med:
sk /metno/kvalobs/bin/run_QC1-1_all
For testing
dev-vm098 blir ikke automatisk oppdatert (Test-maskin), oppdatering som stemmer ( mer ) med det som er i drift:
Årsaken til at dev-vm098 ikke blir automatisk oppdatert er bruken av egne metadata for testing.
crontab -l # 45 11 * * * $HOME/bin/kvget-metadata-cron > /dev/null 2>&1 %
Dersom en ønsker en oppdatering som stemmer ( mer ) med det som er i drift utfør:
cd $HOME $HOME/bin/kvget-metadata-cron
Manuell testing av egne innlagte metadata (Lucid test-maskin):
$ cd myuser $ . bashrc_myuser
Gå til katalogen $METADIR: cd $METADIR
Oppdater metadata fra SVN: svn update
Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.
Hvis du har en endring, kopierer du den inn her:
( f.eks: scp geok06_sms_snowdepth_increase_no_snowsymbol.pl kvalobs@dev-vm098:~/myuser/kvmetadata/algorithms )
Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: kvinstall_metadata
Stopp kvalobs med: kvstop
Innstaller de nye metadatene med: /usr/lib/kvalobs-metadata/bin/run_metadata
Eksekver insert.sh (opdaterer QC1-0 etc).
Start kvalobs med: kvstart
Rutiner som "kvalobs bruker" på metakvalobs
Rutiner som gjøres sjeldent
Alle disse rutinene uføres på kvalobs@metakvalobs.
QC1-1_all.out
Denne operasjonen må gjøres hver gang noen filer på $METADIR/station_param/station_param_auto oppdateres som inneholder QC1-1 i filnavnet.
$ cd myuser $ . bashrc_myuser
Gå til katalogen $METADIR/station_param/station_param_auto:
$ cd $METADIR/station_param/station_param_auto
Oppdater metadata fra SVN:
$ svn update
Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.
Generer filen QC1-1_all.out lokalt med:
$ /usr/lib/kvalobs-metadata/bin/run_QC1-1_all
Til slutt lagres den nye filen i versjonskontrollsystemet
$ svn commit QC1-1_all.out
Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobsbrukeren ( er ikke tiltenkt for daglig oppdatering )
Logg inn som bruker kvalobs på metakvalobs.
Gå til katalogen $METADIR: cd $METADIR
Oppdater metadata fra SVN: svn update
Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.
Innstaller data fra stinfosys: /usr/lib/kvalobs-metadata/bin/run_stinfosys2kvalobs_new
Deretter oppdater svn med nye metadata fra stinfosys: svn commit
Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: /metno/kvalobs/bin/kvinstall_metadata
Innstaller de nye metadataene med: /usr/lib/kvalobs-metadata/bin/run_metadata
Overføring av metadata til repositoriet slik at andre kan laste det ned:
scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 myuser@repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
Andre metoder for daglig oppdatering
Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker
Logg inn som egen bruker på metakvalobs.
Oppdater metadata fra SVN:
sudo -u kvalobs /metno/kvalobs/bin/svn_update
Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.
( cd gjerne til svn repositoriet først: cd $METADIR. Bruk kommandoen rm )
Innstaller data fra stinfosys:
sudo -u kvalobs /metno/kvalobs/bin/run_stinfosys2kvalobs
Deretter oppdater svn med nye metadata fra stinfosys:
sudo -u kvalobs /metno/kvalobs/bin/svn_commit
På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata (første kommando gir i så fall kun utskrift 'At revision …') så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
sudo -u kvalobs /metno/kvalobs/bin/kvmeta_all
Overføring av metadata til repositoriet slik at andre kan laste det ned:
scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker med: alias sk='sudo -u kvalobs'
Logg inn som egen bruker på metakvalobs.
Oppdater metadata fra SVN:
sk /metno/kvalobs/bin/svn_update
Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.
( cd gjerne til svn repositoriet først: cd $METADIR. Bruk kommandoen rm )
Innstaller data fra stinfosys:
sk /metno/kvalobs/bin/run_stinfosys2kvalobs
Deretter oppdater svn med nye metadata fra stinfosys:
sk /metno/kvalobs/bin/svn_commit
På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
sk /metno/kvalobs/bin/kvmeta_all
Overføring av metadata til repositoriet slik at andre kan laste det ned:
scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker
Logg inn som egen bruker på metakvalobs.
sudo -i -u kvalobs . .bashrc
Oppdater metadata fra SVN:
/metno/kvalobs/bin/svn_update
Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny svn update.
( cd gjerne til svn repositoriet først: cd $METADIR. Bruk kommandoen rm )
Innstaller data fra stinfosys:
/metno/kvalobs/bin/run_stinfosys2kvalobs
Deretter oppdater svn med nye metadata fra stinfosys:
/metno/kvalobs/bin/svn_commit
På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
/metno/kvalobs/bin/kvmeta_all
Overføring av metadata til repositoriet slik at andre kan laste det ned:
logout scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs