Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision | ||
kvalobs:kvalobs:kafka [2022-05-31 09:29:32] external edit |
— (current) | ||
---|---|---|---|
Line 1: | Line 1: | ||
- | ====== | ||
- | |||
- | ===== Kafka topics/ | ||
- | Disse køene kalles topics. | ||
- | |||
- | En kan spørre mot en kafkaserver vha. kafkacat og få ut oversikten over køene. | ||
- | Dersom en gjør dette med grep på kvalobs får en. | ||
- | < | ||
- | ~$ kafkacat -b kafka1-a1.kafka.met.no: | ||
- | " | ||
- | " | ||
- | " | ||
- | " | ||
- | " | ||
- | " | ||
- | " | ||
- | " | ||
- | </ | ||
- | |||
- | Alle køer som starter med kvalobs kommer i fra en eller annen kvalobs instans. | ||
- | |||
- | kvalobs.production1 er ikke lenger i bruk og kvalobs.staging er opplagt for staging. Etter denne konstateringen så sitter vi igjen med 2 hovedkøer: | ||
- | kvalobs.histkvalobs & kvalobs.production | ||
- | |||
- | ==== En bør for brukersystemer ikke bruke raw køen fra noen kvalobs instanser ==== | ||
- | Histkvalobs sin raw kø er ikke i bruk. Men kvalobs sin raw kø er i bruk og heter kvalobs.production.raw. | ||
- | Denne raw køen inneholder dataene før det er gjort noen kvalitetsikring på de og før de har nådd kvalobs. Et eksempel på bruk av denne raw køen er for å sette opp testinstanser av kvalobs. \\ | ||
- | Annet bruk er på eget ansvar. Innholdet i raw køen kan endres uten forvarsel. Det er dessuten mye feil i raw køen. | ||
- | |||
- | Det er kvalobs.production.checked | ||
- | |||
- | |||
- | ==== Extra info fra kvalobs chat ==== | ||
- | Alle køene som brukes av kvalobs har navn på formen kvalobs.instance.checked og kvalobs.instance.raw, | ||
- |  | ||
- | kvalobs.instance.raw er meldingene slik de kommer inn til kvalobs via kvDataInputd. kvalobs har ikke behandlet dem på noen som helst måte. De er lagt på køen slik de komme inn til kvalobs, derav navnet raw. checked køen derimot inneholder meldinger som er behandlet av kvalobs på en eller annen måte. Noen meldinger er bare dekodet, men ikke kjørt gjennom kvalitets sjekken, dette kommer frem av flaggene som er satt. Alle meldingene på denne køen er i formatet kvxml som er formatet kv2kvDecoder decoder i kvalobs. | ||
- | |||
- | Data på raw køen kan inneholde feil, både i format og innhold, noe som ofte er tilfellet. Denne køen ble opprinnelig laget slik at det skulle være lett å sette opp test instanser/ | ||
- | |||
- | |||
- | |||
- | |||
- | |||