Differences

This shows you the differences between two versions of the page.

--- kvalobs:kvalobs:oppdatering-metadata [2017-12-18 12:52:07]
terjeer
+++ kvalobs:kvalobs:oppdatering-metadata [2023-09-18 11:52:45]
terjeer removed
@@ Line 1: / Line 1: @@
-==== Oppdatering av algoritmer og metadata i Kvalobs ====
-==== PROSEDYRE FOR Å OPPDATERE/LEGGE INN NYE SKRIPT/METADATA ====
-//**Oppdatering gjøres hver dag fom. mandag tom. fredag i tidsrommet kl.11:20 - 11:40 norsk lokaltid.**//
 ====== Nye metoder for daglig oppdatering ======
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker: halvautomatisk ====
+==== Metakvalobs: Dette er nå fullautomatisert og en trenger ikke gå inn her lenger ====
+//**Oppdatering gjøres automatisk hver dag fom. mandag tom. fredag i tidsrommet kl.9:30 - 9:45 UTC.**//
+Dersom noe av dette feiler så sendes mail til kvdrift.
-Logg inn som egen bruker på metakvalobs.
+Det oppfordres til å gå inn på metakvalobs en gang i måneden.
-  sudo -i -u kvalobs
-  . .bashrc
-== Undersøk at alt er gått greit ==
-Ser kjøringen grei ut:
-  cat $HOME/var/log/auto.log
-Er dette dagens dato?:
-  ls -l auto.finished_log
-Dersom ikke dette er dagens dato avsluttes oppdateringen og det meldes i fra om feil i kjøringen av auto.sh.
-( I sommer gjør vi ikke dette siden push her bare betyr backup av metadata som systemet genererer selv: #Oppdater git med nye metadata fra stinfosys: #  /metno/kvalobs/bin/git_copy_commit_push )
-Er det noen endringer i fra klima?:
-  grep ulike $HOME/var/log/run_klima2kvalobs_all.log
-På dette punktet i oppdateringen, dersom de to foregående punktene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata fra stinfosys eller manuelt, oppdateringen kan avbrytes.
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  logout
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist/kvmeta_UTF8.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-==== Produksjonsmaskin ( lucid ): ====
-OBS! Den dagen de skifter mellom kvalobs1 og kvalobs2, oppdaterer vi ikke metadata.
-Logg så inn som bruker kvalobs på kvalobs (som altså nå er kvalobs1 eller kvalobs2).
-Stopp kvalobs med: kvstop
-Innstaller de nye metadataene med: /metno/kvalobs/bin/kvget_metadata ( gammel løsning kvalobs1/kvalobs2 /metno/kvalobs/kvget_metadata )
-( gammel løsning Eksekver insert.sh (opdaterer QC1-0 etc).)
-Start kvalobs med: kvstart
-====Histkvalobs (virtuell maskin) hovedløsning:====
-== Utføres på histkvalobs: ==
-Stopp kvalobs med: kvstop
-== Utføres på histkvalobsdb-trusty: ==
-Logg inn som egen bruker på histkvalobsdb-trusty, deretter utfør:
-  sudo -i -u kvalobs
-  . .bashrc
-Innstaller de nye metadatene med: /metno/kvalobs/bin/kvget-metadata
-Oppdaterer QC1-1-104: psql -f ~/insert_QC1-1-104-1000mm.sql
-Oppdaterer QC1-4-109: psql -f ~/Update-Checks-QC1-4-109.sql
-== Utføres på histkvalobs: ==
-Start kvalobs med: kvstart
-== Utføres på buster ==
-logg inn på dbflyt@buster
-  kv2kl-stop-hist
-  kv2kl-start-hist
 ====== Rutiner som gjøres automatisk på Metakvalobs og som må gjøres utenom tidspunktet for daglig oppdatering av metadata ======
 <code>
-kvalobs@metakvalobs:~$ crontab -l
+5 * * 5 $HOME/bin/run_range_check2kvalobs_all > $HOME/var/log/run_range_check2kvalobs_all.log
-# m h  dom mon dow   command
+5 * * 1,2,3,4       $HOME/bin/run_QC1-1_all_cron > /metno/kvalobs/var/log/run_QC1-1_all_cron.log
+6 6 * *    $HOME/bin/kv_update_gap.sh
+</code>
-5 * * 2,3,4,5 $HOME/bin/run_klima2kvalobs_all
-5 * * 1       $HOME/bin/run_QC1-1_all
-# 51 * * * *    $HOME/bin/run_klima2kvalobs_all
-kvalobs@metakvalobs:~$ cat $HOME/bin/run_klima2kvalobs_all
-#! /bin/sh
-export HOME=/metno/kvalobs
-$HOME/bin/run_klima2kvalobs
-$HOME/bin/run_QC1-1_all
-</code>
 ==== Nye grenseverdier: QC1-1_all.out blir generert i cronjobben over ($HOME/bin/run_QC1-1_all) , men kan genereres manuelt ====
@@ Line 193: / Line 112: @@
   $ git commit QC1-1_all.out
   $ git pull
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobsbrukeren ( er ikke tiltenkt for daglig oppdatering ) ====
- Logg inn som bruker kvalobs på metakvalobs.
-Gå til katalogen $METADIR: cd $METADIR
-Oppdater metadata fra git: git pull
-Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull.
-Innstaller data fra stinfosys: /usr/lib/kvalobs-metadata/bin/run_stinfosys2kvalobs_new
-Deretter oppdater git med nye metadata fra stinfosys: git commit; git push
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: /metno/kvalobs/bin/kvinstall_metadata
-Innstaller de nye metadataene med: /usr/lib/kvalobs-metadata/bin/run_metadata
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 myuser@repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-====== Andre metoder for daglig oppdatering ======
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker ====
-Logg inn som egen bruker på metakvalobs.
-Oppdater metadata fra git:
-  sudo -u kvalobs /metno/kvalobs/bin/git_pull
-Dersom konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm )
-Innstaller data fra stinfosys:
-  sudo -u kvalobs /metno/kvalobs/bin/run_stinfosys2kvalobs
-Deretter oppdater git med nye metadata fra stinfosys:
-  sudo -u kvalobs /metno/kvalobs/bin/git_copy_commit_push
-På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata (første kommando gir i så fall kun utskrift 'At revision ...') så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
-  sudo -u kvalobs /metno/kvalobs/bin/kvmeta_all
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker med: alias sk='sudo -u kvalobs' ====
-Logg inn som egen bruker på metakvalobs.
-Oppdater metadata fra git:
-  sk /metno/kvalobs/bin/git_pull
-Dersom konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm )
-Innstaller data fra stinfosys:
-  sk /metno/kvalobs/bin/run_stinfosys2kvalobs
-Deretter oppdater git med nye metadata fra stinfosys:
-  sk /metno/kvalobs/bin/git_copy_commit_pull
-På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
-  sk /metno/kvalobs/bin/kvmeta_all
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker ====
-Logg inn som egen bruker på metakvalobs.
-  sudo -i -u kvalobs
-  . .bashrc
-Oppdater metadata fra git:
-  /metno/kvalobs/bin/git_pull
-Dersom konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm )
-Innstaller data fra stinfosys:
-  /metno/kvalobs/bin/run_stinfosys2kvalobs
-Deretter oppdater git med nye metadata fra stinfosys:
-  /metno/kvalobs/bin/git_copy_commit_push
-På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
-  /metno/kvalobs/bin/kvmeta_all
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  logout
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs