Kafkos pagrindai - kursas 42 000 rub. iš TVM Mokymo centro, mokymai 24 val., Data: 2023 m. gruodžio 4 d.

Aptariamos temos:
1. Apžvalga (teorija – 1 val.)
Kas yra Kafka.
Sėkmingo ir nesėkmingo Kafkos naudojimo pavyzdžiai.
Kafka ir duomenų bazė: panašumai ir skirtumai.
Kafka ir pranešimų eilė: panašumai ir skirtumai.
Kafka saugyklos architektūra: brokeriai, temos, pertvaros, segmentai, kopijos.
Kafka klasterio architektūra: zoologijos sodo prižiūrėtojas, skaidymas, pagrindiniai ir pavaldūs replikacijos mazgai, ISR.
Klientai ir API.
2. Klasterio sukūrimas (praktika – 1 val.)
2.1 praktika: „Kafka“ klasterio paleidimas naudojant „Docker“.
Zookeeper diegimas.
Kafka brokerių diegimas.
3. Programų kūrimas Java kalba (teorija – 2,5 val., praktika – 2,5 val.)
„Kafka Producer“ API: pagrindai.
3.1 praktika: vienos žinutės siuntimas.
3.2 praktika: kelių pranešimų siuntimas.
3.3 praktika: kelių pranešimų siuntimas su aiškiu skaidymu.
3.4 praktika: pranešimų siuntimas be raktų.
Kafka Consumer API: pagrindai, vartotojų grupės.
3.5 praktika: vienas gavėjas.
3.6 praktika: keli gavėjai vienoje grupėje.
Papildomos funkcijos: Paketai, pasikartojimai, Idempotencija, Sandoriai, Vartotojų grupių perbalansavimas.

3.7 praktika: Siuntimas be paketų ir pasikartojimų.
3.8 praktika: Idempotentas siuntėjas.
3.9 praktika: operacijų siuntėjas.
3.10 praktika: siuntimas ir gavimas atliekant operaciją.
3.11 praktika: gavimas-apdorojimas-siuntimas atliekant operaciją.
4. Išorinė prieiga prie Kafkos klasterio (teorija – 2 val., praktika – 2 val.)
Sauga: SSL, SASL, Kerberos.
REST Proxy: siųsti ir gauti pranešimus JSON, dvejetainiais ir Avro formatais.
4.1 praktika: prieiga per REST tarpinį serverį.
Schemų registras: schemų registras.
4.2 praktika: REST tarpinio serverio naudojimas su schemų registru.
5. Priežiūra ir stebėjimas (teorija – 1 val., praktika – 1 val.)
Klasterio sukūrimas įvairiems tikslams.
Zookeeper: konfigūracija, autonominis ir kvorumo režimas, CLI.
5.1 praktika: Kafkos klasterio stebėjimas naudojant Prometheus.
6. Keli klasteriai (teorija – 1 val., praktika – 1 val.)
Kodėl Kafkoje gali prireikti kelių grupių?
MirrorMakerAccess.
6.1 praktika: „MirrorMaker“ naudojimas klasteriams sinchronizuoti.
Santakos replikatorius.
7. Kafka Connect (teorija – 2 val., praktika – 2 val.)
Kafka Connect architektūra.
Kafka Connect duomenų kriauklės.
7.1 praktika: „FileStream“ failų imtuvas.
7.2 praktika: JDBC imtuvas.
Kafka Connect duomenų šaltiniai.
7.3 praktika: „FileStream Source“.
7.4 praktika: JDBC šaltinis.
8. Kafkos srautų pagrindai (teorija – 2 val., praktika – 2 val.)
Kafka Streams: DSL, API, StreamBuilder, topologijos kūrimas ir diegimas.
Demonstracinė versija 8.1: srautų topologijos diegimas.
8.2 demonstracinė versija: „Stream“ programos kūrimas naudojant „StreamBuilder“.
Kafka Streams įrenginys: kelių gijų, keli egzemplioriai ir užduotys.
Duomenų schemos Kafka: serializavimas į JSON schemas, Avro schemos, schemų registras, schemų evoliucija.
8.3 demonstracinė versija: JSON schemų naudojimas.
Apdorojimas pagal būseną: valstijos parduotuvė, valstybinių parduotuvių atsparumas gedimams.
KTable: duomenų atnaujinimo srautai, talpyklos kaupimas, paieškos greitis, agregavimas.
„Windows“ srautuose: laiko žymos, slankioji, šokinėjanti, sesija.
Ryšys: srautas į srautą, KTable į KTable, srautas į KTable.