Differences

This shows you the differences between two versions of the page.

--- kvalobs:kvalobs:oppdatering-metadata [2016-07-05 16:30:08]
terjeer
+++ kvalobs:kvalobs:oppdatering-metadata [2023-09-18 11:52:45]
terjeer removed
@@ Line 1: / Line 1: @@
-====Oppdatering av algoritmer og metadata i Kvalobs ====
-====PROSEDYRE FOR Å OPPDATERE/LEGGE INN NYE SKRIPT/METADATA====
-//**Oppdatering gjøres hver dag fom. mandag tom. fredag i tidsrommet kl.11:20 - 11:40 norsk lokaltid.**//
 ====== Nye metoder for daglig oppdatering ======
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker: halvautomatisk ====
+==== Metakvalobs: Dette er nå fullautomatisert og en trenger ikke gå inn her lenger ====
+//**Oppdatering gjøres automatisk hver dag fom. mandag tom. fredag i tidsrommet kl.9:30 - 9:45 UTC.**//
-Logg inn som egen bruker på metakvalobs.
+Dersom noe av dette feiler så sendes mail til kvdrift.
-  sudo -i -u kvalobs
-  . .bashrc
-Undersøk at alt er gått greit:
-  cat $HOME/var/log/auto.log
-#Oppdater git med nye metadata fra stinfosys:
-#  /metno/kvalobs/bin/git_copy_commit_push
-På dette punktet i oppdateringen, dersom de to foregående punktene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata fra stinfosys eller manuelt, oppdateringen kan avbrytes. ( men auto fra klima kan fortsatt være tilfelle, ingen endringer skal da gi ingen linjer: 'grep ulike $HOME/var/log/run_klima2kvalobs_all.log'.
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  logout
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-==== Produksjonsmaskin ( lucid ): ====
-OBS! Den dagen de skifter mellom kvalobs1 og kvalobs2, oppdaterer vi ikke metadata.
-Logg så inn som bruker kvalobs på kvalobs (som altså nå er kvalobs1 eller kvalobs2).
-Stopp kvalobs med: kvstop
-Innstaller de nye metadataene med: /metno/kvalobs/kvget_metadata
-Eksekver insert.sh (opdaterer QC1-0 etc).
-Start kvalobs med: kvstart
-====Histkvalobs (virtuell maskin) hovedløsning:====
-== Utføres på histkvalobs: ==
-kv2kl-stop-all
-rm -v $HOME/var/run/*.pid
-Stopp kvalobs med: kvstop
-== Utføres på histkvalobsdb-trusty: ==
-Innstaller de nye metadatene med: /metno/kvalobs/bin/kvget-metadata
-Oppdaterer QC1-1-104: psql -f ~/insert_QC1-1-104-1000mm.sql
-Oppdaterer QC1-4-109: psql -f ~/Update-Checks-QC1-4-109.sql
-== Utføres på histkvalobs: ==
-Start kvalobs med: kvstart
-kv2kl-start-all
+Det oppfordres til å gå inn på metakvalobs en gang i måneden.
 ====== Rutiner som gjøres automatisk på Metakvalobs og som må gjøres utenom tidspunktet for daglig oppdatering av metadata ======
 <code>
-kvalobs@metakvalobs:~$ crontab -l
+5 * * 5 $HOME/bin/run_range_check2kvalobs_all > $HOME/var/log/run_range_check2kvalobs_all.log
-# m h  dom mon dow   command
+5 * * 1,2,3,4       $HOME/bin/run_QC1-1_all_cron > /metno/kvalobs/var/log/run_QC1-1_all_cron.log
+6 6 * *    $HOME/bin/kv_update_gap.sh
+</code>
-5 * * 2,3,4,5 $HOME/bin/run_klima2kvalobs_all
-5 * * 1       $HOME/bin/run_QC1-1_all
-# 51 * * * *    $HOME/bin/run_klima2kvalobs_all
-kvalobs@metakvalobs:~$ cat $HOME/bin/run_klima2kvalobs_all
-#! /bin/sh
-export HOME=/metno/kvalobs
-$HOME/bin/run_klima2kvalobs
-$HOME/bin/run_QC1-1_all
-</code>
 ==== Nye grenseverdier: QC1-1_all.out blir generert i cronjobben over ($HOME/bin/run_QC1-1_all) , men kan genereres manuelt ====
@@ Line 100: / Line 31: @@
 ====== For testing ======
-==== dev-vm098 blir ikke automatisk oppdatert (Test-maskin), oppdatering som stemmer ( mer ) med det som er i drift: ====
+==== Staging server blir ikke automatisk oppdatert (Test-maskin), oppdatering som stemmer ( mer ) med det som er i drift: ====
-Årsaken til at dev-vm098 ikke blir automatisk oppdatert er bruken av egne metadata for testing.
+Årsaken til at Staging server ikke blir automatisk oppdatert er bruken av egne metadata for testing.
   crontab -l
   # 45 11 * * * $HOME/bin/kvget-metadata-cron > /dev/null 2>&1 %
@@ Line 110: / Line 41: @@
   $HOME/bin/kvget-metadata-cron
-==== Manuell testing av egne innlagte metadata (Lucid test-maskin):====
+==== Manuell testing av egne innlagte metadata (test-maskin):====
   $ cd myuser
   $ . bashrc_myuser
@@ Line 118: / Line 49: @@
 Oppdater metadata fra git:  git pull
-Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull.
+Hvis vi får CONFLICT ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull.
+Dersom det er filer du jobber med så må de tas vare på utenfor repositoriet og kopieres inn på riktig sted.
 Hvis du har en endring, kopierer du den inn her:
-( f.eks: scp geok06_sms_snowdepth_increase_no_snowsymbol.pl kvalobs@dev-vm098:~/myuser/kvmetadata/algorithms )
+( f.eks: scp geok06_sms_snowdepth_increase_no_snowsymbol.pl kvalobs@xxx:~/kvoss_intern/kvmeta/algorithms$ )
 Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet:  kvinstall_metadata
@@ Line 133: / Line 66: @@
 Start kvalobs med: kvstart
+==== Overføring av metadata i fra /usr/share/kvalobs/metadata til databasen; avgrensede og kjappere metoder ====
+== En kan få kjapt lagt inn alle algoritmer i databasen ==
+<code>
+  LIBEXECDIR=/usr/lib/kvalobs-metadata/bin
+  $LIBEXECDIR/run_algorithm_all
+</code>
+== alle manuelle checks ==
+<code>
+  LIBEXECDIR=/usr/lib/kvalobs-metadata/bin
+  $LIBEXECDIR/run_checks_all
+</code>
+== alle manuelle station_param ==
+<code>
+  LIBEXECDIR=/usr/lib/kvalobs-metadata/bin
+  $LIBEXECDIR/run_station_param_all
+</code>
 ====== Rutiner som "kvalobs bruker" på metakvalobs ======
@@ Line 158: / Line 112: @@
   $ git commit QC1-1_all.out
   $ git pull
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobsbrukeren ( er ikke tiltenkt for daglig oppdatering ) ====
- Logg inn som bruker kvalobs på metakvalobs.
-Gå til katalogen $METADIR: cd $METADIR
-Oppdater metadata fra git: git pull
-Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull.
-Innstaller data fra stinfosys: /usr/lib/kvalobs-metadata/bin/run_stinfosys2kvalobs_new
-Deretter oppdater git med nye metadata fra stinfosys: git commit; git push
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: /metno/kvalobs/bin/kvinstall_metadata
-Innstaller de nye metadataene med: /usr/lib/kvalobs-metadata/bin/run_metadata
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 myuser@repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-====== Andre metoder for daglig oppdatering ======
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker ====
-Logg inn som egen bruker på metakvalobs.
-Oppdater metadata fra git:
-  sudo -u kvalobs /metno/kvalobs/bin/git_pull
-Dersom konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm )
-Innstaller data fra stinfosys:
-  sudo -u kvalobs /metno/kvalobs/bin/run_stinfosys2kvalobs
-Deretter oppdater git med nye metadata fra stinfosys:
-  sudo -u kvalobs /metno/kvalobs/bin/git_copy_commit_push
-På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata (første kommando gir i så fall kun utskrift 'At revision ...') så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
-  sudo -u kvalobs /metno/kvalobs/bin/kvmeta_all
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra egen bruker med: alias sk='sudo -u kvalobs' ====
-Logg inn som egen bruker på metakvalobs.
-Oppdater metadata fra git:
-  sk /metno/kvalobs/bin/git_pull
-Dersom konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm )
-Innstaller data fra stinfosys:
-  sk /metno/kvalobs/bin/run_stinfosys2kvalobs
-Deretter oppdater git med nye metadata fra stinfosys:
-  sk /metno/kvalobs/bin/git_copy_commit_pull
-På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
-  sk /metno/kvalobs/bin/kvmeta_all
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobs bruker ====
-Logg inn som egen bruker på metakvalobs.
-  sudo -i -u kvalobs
-  . .bashrc
-Oppdater metadata fra git:
-  /metno/kvalobs/bin/git_pull
-Dersom konflikt skal en slette disse filene og deretter gjøre en ny git pull.
-( cd gjerne til git repositoriet først: cd $METADIR. Bruk kommandoen rm )
-Innstaller data fra stinfosys:
-  /metno/kvalobs/bin/run_stinfosys2kvalobs
-Deretter oppdater git med nye metadata fra stinfosys:
-  /metno/kvalobs/bin/git_copy_commit_push
-På dette punktet i oppdateringen, dersom de tre foregående kommandoene gir resultatet at det ikke er noen nye metadata så er det ikke kommet noen nye metadata og oppdateringen avbrytes.
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet og innstaller de nye metadataene med:
-  /metno/kvalobs/bin/kvmeta_all
-Overføring av metadata til repositoriet slik at andre kan laste det ned:
-  logout
-  scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 /usr/share/kvalobs/metadist_SVV/kvmeta_SVV.tar.bz2 /usr/share/kvalobs/metadist_PROJ/kvmeta_PROJ.tar.bz2 repo.met.no:/var/www/repo/data/metadata/obs/kvalobs