Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision
Previous revision
Next revision Both sides next revision
kvalobs:kvalobs:oppdatering-metadata [2023-06-13 13:44:21]
terjeer [Andre metoder for daglig oppdatering]
kvalobs:kvalobs:oppdatering-metadata [2023-06-13 14:37:49]
terjeer
Line 1: Line 1:
-==== Oppdatering av algoritmer og metadata i Kvalobs ==== 
- 
- 
-==== PROSEDYRE FOR Å OPPDATERE/LEGGE INN NYE SKRIPT/METADATA ==== 
-//**Oppdatering gjøres automatisk hver dag fom. mandag tom. fredag i tidsrommet kl.9:30 - 9:45 UTC.**// 
- 
- 
-   
 ====== Nye metoder for daglig oppdatering ====== ====== Nye metoder for daglig oppdatering ======
 ==== Metakvalobs: Dette er nå fullautomatisert og en trenger ikke gå inn her lenger ====  ==== Metakvalobs: Dette er nå fullautomatisert og en trenger ikke gå inn her lenger ==== 
 +//**Oppdatering gjøres automatisk hver dag fom. mandag tom. fredag i tidsrommet kl.9:30 - 9:45 UTC.**//
 Dersom noe av dette feiler så sendes mail til kvdrift. Dersom noe av dette feiler så sendes mail til kvdrift.
  
 Det oppfordres til å gå inn på metakvalobs en gang i måneden. Det oppfordres til å gå inn på metakvalobs en gang i måneden.
  
-Generering av metadata pakker for kvalobs fra kvalobs bruker. 
- 
-== Midlertidig:== 
-ssh -Y kvalobs@157.249.168.104 
-   
-== Undersøk at alt er gått greit == 
-Ser kjøringen grei ut: 
-  $HOME/bin/view_auto.sh 
-   
-Dersom det står "Fortsett" nederst i output skal en fortsette, ellers så skal en avslutte. 
- 
-Dersom det hverken står "Avbryt - ingen oppdateringer" eller "Fortsett" nederst så er det en feilsituasjon  
-som en skal melde i fra om.  
- 
- 
-== cronjobb overfører en kopi til metakvalobs-backup for ekstra sikkerhet: == 
-0 10 * * * $HOME/bin/scp2metakvalobs-backup 
-   
-== Feilsituasjoner == 
-Er dette dagens dato?: ls -l $HOME/var/log/auto.finished_log 
-Dersom ikke dette er dagens dato avsluttes oppdateringen og det meldes i fra om feil i kjøringen av auto.sh. 
-   
-== For spesielt interesserte: Endringer i fra klima == 
-Er det noen endringer i fra klima ser vi vha. grep ulike $HOME/var/log/run_klima2kvalobs_all.log 
- 
- 
-==== Produksjonsmaskin ( xenial ): ==== 
-OBS! Den dagen de skifter mellom kvalobs-a1 og kvalobs-b1, oppdaterer vi ikke metadata. 
- 
-Logg så inn som bruker kvalobs på kvalobs (som altså nå er kvalobs-a1 eller kvalobs-b1). 
-  /metno/kvalobs/bin/kvget_metadata_all 
-   
-== Alternativt == 
-Stopp kvalobs med: kvstop 
- 
-Innstaller de nye metadataene med: /metno/kvalobs/bin/kvget_metadata 
- 
-( gammel løsning Eksekver insert.sh (opdaterer QC1-0 etc).) 
- 
-Start kvalobs med: kvstart 
- 
-== Dersom veldig mye går galt og en har behov for å hente ned metadata fra metakvalobs-backup == 
- Stopp kvalobs med: kvstop 
- 
-Innstaller de nye metadataene med: /metno/kvalobs/bin/kvget_metadata-backup 
- 
-( gammel løsning Eksekver insert.sh (opdaterer QC1-0 etc).) 
- 
-Start kvalobs med: kvstart 
- 
-====Histkvalobs (virtuell maskin) hovedløsning:==== 
- 
- 
-== Utføres på histkvalobs: == 
- 
-Stopp kvalobs med: kvstop 
- 
-== Utføres på histkvalobsdb: == 
-Logg inn som kvalobs bruker på histkvalobsdb, deretter utfør: 
- 
-Innstaller de nye metadatene med: /home/kvalobs/bin/kvget-metadata 
- 
-Oppdaterer QC1-4-109: psql -f ~/Update-Checks-QC1-4-109.sql 
- 
-== Utføres på histkvalobs: == 
-Start kvalobs med: kvstart 
- 
-====== Det å kunne stopp/legge tilbake dataflyt fra svvdata gjennom hovedkvalobs ====== 
-===== Metakvalobs ===== 
-==== Ved stans av svvdataflyten inn i hovedkvalobs få bort svvdata fra obs_pgm ==== 
-filen ~/bin/auto.sh ENDRES 
-  
-FRA 
-    # cp -pv /usr/share/kvalobs/metadist/kvmeta_METNO.tar.bz2 /usr/share/kvalobs/metadist/kvmeta.tar.bz2 
-    # cp -pv /usr/share/kvalobs/metadist/kvmeta_METNO_UTF8.tar.bz2 /usr/share/kvalobs/metadist/kvmeta_UTF8.tar.bz2 
-    cp -pv /usr/share/kvalobs/metadist_METNOSVV/kvmeta_METNOSVV.tar.bz2 /usr/share/kvalobs/metadist/kvmeta.tar.bz2 
-    cp -pv /usr/share/kvalobs/metadist_METNOSVV/kvmeta_METNOSVV_UTF8.tar.bz2 /usr/share/kvalobs/metadist/kvmeta_UTF8.tar.bz2 
-TIL 
-    cp -pv /usr/share/kvalobs/metadist/kvmeta_METNO.tar.bz2 /usr/share/kvalobs/metadist/kvmeta.tar.bz2 
-    cp -pv /usr/share/kvalobs/metadist/kvmeta_METNO_UTF8.tar.bz2 /usr/share/kvalobs/metadist/kvmeta_UTF8.tar.bz2 
-    # cp -pv /usr/share/kvalobs/metadist_METNOSVV/kvmeta_METNOSVV.tar.bz2 /usr/share/kvalobs/metadist/kvmeta.tar.bz2 
-    # cp -pv /usr/share/kvalobs/metadist_METNOSVV/kvmeta_METNOSVV_UTF8.tar.bz2 /usr/share/kvalobs/metadist/kvmeta_UTF8.tar.bz2 
- 
-==== Ved oppstart av svvdataflyten inn i hovedkvalobs få generert svvdata i obs_pgm ==== 
-filen ~/bin/auto.sh ENDRES 
-  
-FRA 
-    cp -pv /usr/share/kvalobs/metadist/kvmeta_METNO.tar.bz2 /usr/share/kvalobs/metadist/kvmeta.tar.bz2 
-    cp -pv /usr/share/kvalobs/metadist/kvmeta_METNO_UTF8.tar.bz2 /usr/share/kvalobs/metadist/kvmeta_UTF8.tar.bz2 
-    # cp -pv /usr/share/kvalobs/metadist_METNOSVV/kvmeta_METNOSVV.tar.bz2 /usr/share/kvalobs/metadist/kvmeta.tar.bz2 
-    # cp -pv /usr/share/kvalobs/metadist_METNOSVV/kvmeta_METNOSVV_UTF8.tar.bz2 /usr/share/kvalobs/metadist/kvmeta_UTF8.tar.bz2 
-TIL  
-    # cp -pv /usr/share/kvalobs/metadist/kvmeta_METNO.tar.bz2 /usr/share/kvalobs/metadist/kvmeta.tar.bz2 
-    # cp -pv /usr/share/kvalobs/metadist/kvmeta_METNO_UTF8.tar.bz2 /usr/share/kvalobs/metadist/kvmeta_UTF8.tar.bz2 
-    cp -pv /usr/share/kvalobs/metadist_METNOSVV/kvmeta_METNOSVV.tar.bz2 /usr/share/kvalobs/metadist/kvmeta.tar.bz2 
-    cp -pv /usr/share/kvalobs/metadist_METNOSVV/kvmeta_METNOSVV_UTF8.tar.bz2 /usr/share/kvalobs/metadist/kvmeta_UTF8.tar.bz2 
 ====== Rutiner som gjøres automatisk på Metakvalobs og som må gjøres utenom tidspunktet for daglig oppdatering av metadata ====== ====== Rutiner som gjøres automatisk på Metakvalobs og som må gjøres utenom tidspunktet for daglig oppdatering av metadata ======
- 
 <code> <code>
-kvalobs@metakvalobs:~crontab -l +44 5 * * 5 $HOME/bin/run_range_check2kvalobs_all > $HOME/var/log/run_range_check2kvalobs_all.log 
-# m h  dom mon dow   command+44 5 * * 1,2,3,      $HOME/bin/run_QC1-1_all_cron > /metno/kvalobs/var/log/run_QC1-1_all_cron.log 
 +44 6 6 * *    $HOME/bin/kv_update_gap.sh 
 +</code>
  
-44 5 * * 2,3,4,5 $HOME/bin/run_klima2kvalobs_all 
-44 5 * * 1       $HOME/bin/run_QC1-1_all 
-     
-# 51 * * * *    $HOME/bin/run_klima2kvalobs_all 
-kvalobs@metakvalobs:~$ cat $HOME/bin/run_klima2kvalobs_all 
-#! /bin/sh 
- 
-export HOME=/metno/kvalobs 
- 
-$HOME/bin/run_klima2kvalobs 
- 
-$HOME/bin/run_QC1-1_all 
-</code> 
  
 ==== Nye grenseverdier: QC1-1_all.out blir generert i cronjobben over ($HOME/bin/run_QC1-1_all) , men kan genereres manuelt ==== ==== Nye grenseverdier: QC1-1_all.out blir generert i cronjobben over ($HOME/bin/run_QC1-1_all) , men kan genereres manuelt ====
Line 227: Line 112:
   $ git commit QC1-1_all.out   $ git commit QC1-1_all.out
   $ git pull   $ git pull
-   
- 
- 
-==== Metakvalobs: Generering av metadata pakker for kvalobs fra kvalobsbrukeren ( er ikke tiltenkt for daglig oppdatering ) ==== 
- Logg inn som bruker kvalobs på metakvalobs. 
- 
-Gå til katalogen $METADIR: cd $METADIR 
- 
-Oppdater metadata fra git: git pull 
- 
-Hvis noen av statuslinjene starter med C ( dette betyr konflikt) skal en slette disse filene og deretter gjøre en ny git pull. 
- 
-Innstaller data fra stinfosys: /usr/lib/kvalobs-metadata/bin/run_stinfosys2kvalobs_new 
- 
-Deretter oppdater git med nye metadata fra stinfosys: git commit; git push 
- 
-Overfør de nye metadataene til /usr/share/kvalobs/metadata med skriptet: /metno/kvalobs/bin/kvinstall_metadata 
- 
-Innstaller de nye metadataene med: /usr/lib/kvalobs-metadata/bin/run_metadata 
- 
-Overføring av metadata til repositoriet slik at andre kan laste det ned: 
- 
-scp /usr/share/kvalobs/metadist/kvmeta.tar.bz2 myuser@repo.met.no:/var/www/repo/data/metadata/obs/kvalobs