Kafka

Disse køene kalles topics.

En kan spørre mot en kafkaserver vha. kafkacat og få ut oversikten over køene. Dersom en gjør dette med grep på kvalobs får en.

~$ kafkacat -b kafka1-a1.kafka.met.no:9092 -L -J | jq ".topics[].topic"  | sort | grep kvalobs
"kvalobs.histkvalobs.checked"
"kvalobs.histkvalobs.raw"
"kvalobs.production1.checked"
"kvalobs.production1.raw"
"kvalobs.production.checked"
"kvalobs.production.raw"
"kvalobs.staging.checked"
"kvalobs.staging.raw

Alle køer som starter med kvalobs kommer i fra en eller annen kvalobs instans.

kvalobs.production1 er ikke lenger i bruk og kvalobs.staging er opplagt for staging. Etter denne konstateringen så sitter vi igjen med 2 hovedkøer:
kvalobs.histkvalobs & kvalobs.production

Histkvalobs sin raw kø er ikke i bruk. Men kvalobs sin raw kø er i bruk og heter kvalobs.production.raw. Denne raw køen inneholder dataene før det er gjort noen kvalitetsikring på de og før de har nådd kvalobs. Et eksempel på bruk av denne raw køen er for å sette opp testinstanser av kvalobs.
Annet bruk er på eget ansvar. Innholdet i raw køen kan endres uten forvarsel. Det er dessuten mye feil i raw køen.

Det er kvalobs.production.checked som brukes i kvdist til å levere data til kdvh og kro. kvalobs.histkvalobs.checked brukes av kdvh i dag dersom endringer i histkvalobs.

Alle køene som brukes av kvalobs har navn på formen kvalobs.instance.checked og kvalobs.instance.raw, hvor instance er “maskinen” som produserer dataene på køen.  kvalobs.instance.raw er meldingene slik de kommer inn til kvalobs via kvDataInputd. kvalobs har ikke behandlet dem på noen som helst måte. De er lagt på køen slik de komme inn til kvalobs, derav navnet raw. checked køen derimot inneholder meldinger som er behandlet av kvalobs på en eller annen måte. Noen meldinger er bare dekodet, men ikke kjørt gjennom kvalitets sjekken, dette kommer frem av flaggene som er satt. Alle meldingene på denne køen er i formatet kvxml som er formatet kv2kvDecoder decoder i kvalobs.

Data på raw køen kan inneholde feil, både i format og innhold, noe som ofte er tilfellet. Denne køen ble opprinnelig laget slik at det skulle være lett å sette opp test instanser/staging av kvalobs som fikk samme data som produksjons kvalobs. Den inholder data fra NORCOM, aggregatoren, ComObs? og kvhqc i tillegg til data fra obsinn. Første linje i datasettet inholder formatet (dekoderen). Dette kan være synop, kv2kvDecoder, BUFR, kldata og comobs. ( Jeg var litt overasket over at det fremdeles kommer comobs meldinger inn. Jeg har aldri skjønt hvorfor dere laster fra denne køen.) Alle dataene her finnes på checked køen, bortsett fra de som inneholder feil, eller ikke er definert som interessante (som de fleste utenlandske meldingene som kommer inn via NORCOM).