Differences

This shows you the differences between two versions of the page.

--- kvalobs:kvalobs:oppdatering-metadata [2016-07-05 16:30:08]
terjeer
+++ — (current)
@@ Line 1: / Line 1: @@
-====Oppdatering av algoritmer og metadata i Kvalobs ====
-====PROSEDYRE FOR Å OPPDATERE/LEGGE INN NYE SKRIPT/METADATA====
-//**Oppdatering gjøres hver dag fom. mandag tom. fredag i tidsrommet kl.11:20 - 11:40 norsk lokaltid.**//
-====== Nye metoder for daglig oppdatering ======
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker: halvautomatisk ====
-Logg inn som egen bruker på metakvalobs.
-  sudo -i -u kvalobs
-  . .bashrc
-Undersøk at alt er gått greit:
-  cat $HOME/var/log/auto.log
-#Oppdater git med nye metadata fra stinfosys:
-#  /metno/kvalobs/bin/git_copy_commit_push
-På dette punktet i oppdateringen, dersom de to foregående punktene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata fra stinfosys eller manuelt, oppdateringen kan avbrytes. ( men auto fra klima kan fortsatt være tilfelle, ingen endringer skal da gi ingen linjer: 'grep ulike $HOME/var/log/run_klima2kvalobs_all.log'.
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  logout
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-==== Produksjonsmaskin ( lucid ): ====
-OBS! Den dagen de skifter mellom kvalobs1 og kvalobs2, oppdaterer vi ikke metadata.
-Logg så inn som bruker kvalobs på kvalobs (som altså nå er kvalobs1 eller kvalobs2).
-Stopp kvalobs med: kvstop
-Innstaller de nye metadataene med: /metno/kvalobs/kvget_metadata
-Eksekver insert.sh (opdaterer QC1-0 etc).
-Start kvalobs med: kvstart
-====Histkvalobs (virtuell maskin) hovedløsning:====
-== Utføres på histkvalobs: ==
-kv2kl-stop-all
-rm -v $HOME/var/run/*.pid
-Stopp kvalobs med: kvstop
-== Utføres på histkvalobsdb-trusty: ==
-Innstaller de nye metadatene med: /metno/kvalobs/bin/kvget-metadata
-Oppdaterer QC1-1-104: psql -f ~/insert_QC1-1-104-1000mm.sql
-Oppdaterer QC1-4-109: psql -f ~/Update-Checks-QC1-4-109.sql
-== Utføres på histkvalobs: ==
-Start kvalobs med: kvstart
-kv2kl-start-all
-====== Rutiner som gjøres automatisk på Metakvalobs og som må gjøres utenom tidspunktet for daglig oppdatering av metadata ======
-<code>
-kvalobs@metakvalobs:~$ crontab -l
-# m h  dom mon dow   command
-5 * * 2,3,4,5 $HOME/bin/run_klima2kvalobs_all
-5 * * 1       $HOME/bin/run_QC1-1_all
-# 51 * * * *    $HOME/bin/run_klima2kvalobs_all
-kvalobs@metakvalobs:~$ cat $HOME/bin/run_klima2kvalobs_all
-#! /bin/sh
-export HOME=/metno/kvalobs
-$HOME/bin/run_klima2kvalobs
-$HOME/bin/run_QC1-1_all
-</code>
-==== Nye grenseverdier: QC1-1_all.out blir generert i cronjobben over ($HOME/bin/run_QC1-1_all) , men kan genereres manuelt ====
-Logg inn som egen bruker på metakvalobs.
-Oppdater metadata fra git:
-  sk /metno/kvalobs/bin/git_pull
-Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm eks: sudo -u kvalobs rm station/station.out )
-Generer filen QC1-1_all.out og flytter den over til riktige kataloger med:
-  sk /metno/kvalobs/bin/run_QC1-1_all
-====== For testing ======
-==== dev-vm098 blir ikke automatisk oppdatert (Test-maskin), oppdatering som stemmer ( mer ) med det som er i drift: ====
-Årsaken til at dev-vm098 ikke blir automatisk oppdatert er bruken av egne metadata for testing.
-  crontab -l
-  # 45 11 * * * $HOME/bin/kvget-metadata-cron > /dev/null 2>&1 %
-Dersom en ønsker en oppdatering som stemmer ( mer ) med det som er i drift utfør:
-  cd $HOME
-  $HOME/bin/kvget-metadata-cron
-==== Manuell testing av egne innlagte metadata (Lucid test-maskin):====
-  $ cd myuser
-  $ . bashrc_myuser
-Gå til katalogen $METADIR:  cd $METADIR
-Oppdater metadata fra git:  git pull
-Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull.
-Hvis du har en endring, kopierer du den inn her:
-( f.eks: scp geok06_sms_snowdepth_increase_no_snowsymbol.pl kvalobs@dev-vm098:~/myuser/kvmetadata/algorithms )
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet:  kvinstall_metadata
-Stopp kvalobs med:  kvstop
-Innstaller de nye metadatene med:  /usr/lib/kvalobs-metadata/bin/run_metadata
-Eksekver insert.sh (opdaterer QC1-0 etc).
-Start kvalobs med: kvstart
-====== Rutiner som "kvalobs bruker" på metakvalobs ======
-==== Rutiner som gjøres sjeldent ====
-Alle disse rutinene uføres på kvalobs@metakvalobs.
-== QC1-1_all.out ==
-Denne operasjonen må gjøres hver gang noen filer på $METADIR/station_param/station_param_auto oppdateres
-som inneholder QC1-1 i filnavnet.
-  $ cd myuser
-  $ . bashrc_myuser
-Gå til katalogen $METADIR/station_param/station_param_auto:
-  $ cd $METADIR/station_param/station_param_auto
-Oppdater metadata fra git:
-  $ git pull
-Hvis konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-Generer filen QC1-1_all.out lokalt med:
-  $ /usr/lib/kvalobs-metadata/bin/run_QC1-1_all
-Til slutt lagres den nye filen i versjonskontrollsystemet
-  $ git commit QC1-1_all.out
-  $ git pull
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobsbrukeren ( er ikke tiltenkt for daglig oppdatering ) ====
- Logg inn som bruker kvalobs på metakvalobs.
-Gå til katalogen $METADIR: cd $METADIR
-Oppdater metadata fra git: git pull
-Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull.
-Innstaller data fra stinfosys: /usr/lib/kvalobs-metadata/bin/run_stinfosys2kvalobs_new
-Deretter oppdater git med nye metadata fra stinfosys: git commit; git push
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: /metno/kvalobs/bin/kvinstall_metadata
-Innstaller de nye metadataene med: /usr/lib/kvalobs-metadata/bin/run_metadata
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 myuser@repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-====== Andre metoder for daglig oppdatering ======
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker ====
-Logg inn som egen bruker på metakvalobs.
-Oppdater metadata fra git:
-  sudo -u kvalobs /metno/kvalobs/bin/git_pull
-Dersom konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm )
-Innstaller data fra stinfosys:
-  sudo -u kvalobs /metno/kvalobs/bin/run_stinfosys2kvalobs
-Deretter oppdater git med nye metadata fra stinfosys:
-  sudo -u kvalobs /metno/kvalobs/bin/git_copy_commit_push
-På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata (første kommando gir i så fall kun utskrift 'At revision ...') så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
-  sudo -u kvalobs /metno/kvalobs/bin/kvmeta_all
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker med: alias sk='sudo -u kvalobs' ====
-Logg inn som egen bruker på metakvalobs.
-Oppdater metadata fra git:
-  sk /metno/kvalobs/bin/git_pull
-Dersom konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm )
-Innstaller data fra stinfosys:
-  sk /metno/kvalobs/bin/run_stinfosys2kvalobs
-Deretter oppdater git med nye metadata fra stinfosys:
-  sk /metno/kvalobs/bin/git_copy_commit_pull
-På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
-  sk /metno/kvalobs/bin/kvmeta_all
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker ====
-Logg inn som egen bruker på metakvalobs.
-  sudo -i -u kvalobs
-  . .bashrc
-Oppdater metadata fra git:
-  /metno/kvalobs/bin/git_pull
-Dersom konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm )
-Innstaller data fra stinfosys:
-  /metno/kvalobs/bin/run_stinfosys2kvalobs
-Deretter oppdater git med nye metadata fra stinfosys:
-  /metno/kvalobs/bin/git_copy_commit_push
-På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
-  /metno/kvalobs/bin/kvmeta_all
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  logout
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs