This is an old revision of the document!
Kafka
Kafka topics/køer
Disse køene kalles topics.
En kan spørre mot en kafkaserver vha. kafkacat og få ut oversikten over køene. Dersom en gjør dette med grep på kvalobs får en.
~$ kafkacat -b kafka1-a1.kafka.met.no:9092 -L -J | jq ".topics[].topic" | sort | grep kvalobs "kvalobs.histkvalobs.checked" "kvalobs.histkvalobs.raw" "kvalobs.production1.checked" "kvalobs.production1.raw" "kvalobs.production.checked" "kvalobs.production.raw" "kvalobs.staging.checked" "kvalobs.staging.raw
Alle køer som starter med kvalobs kommer i fra en eller annen kvalobs instans.
kvalobs.production1 er ikke lenger i bruk og kvalobs.staging er opplagt for staging. Etter denne konstateringen så sitter vi igjen med 2 hovedkøer:
kvalobs.histkvalobs & kvalobs.production
En bør for brukersystemer ikke bruke raw køen fra noen kvalobs instanser
Histkvalobs sin raw kø er ikke i bruk. Men kvalobs sin raw kø er i bruk og heter kvalobs.production.raw.
Denne raw køen inneholder dataene før det er gjort noen kvalitetsikring på de og før de har nådd kvalobs. Et eksempel på bruk av denne raw køen er for å sette opp testinstanser av kvalobs.
Annet bruk er på eget ansvar. Innholdet i raw køen kan endres uten forvarsel. Det er dessuten mye feil i raw køen.
Det er kvalobs.production.checked som brukes i kvdist til å levere data til kdvh og kro. kvalobs.histkvalobs.checked brukes av kdvh i dag dersom endringer i histkvalobs.