Einführung

• Batching & Streaming
• Unterschiede zu herkömmlichen Messaging-Systemen (z.B. JMS)
• Topics und Offset
• Anwendungsgebiete: Messaging, Datensynchronization, Streaming

Architektur

• Einblick in die Funktionsweise und Architektur von Kafka
• Persistenz: HD, SSD oder Netzwerkspeicher?
• Caching-Mechanismen: In-Memory & Pagecache
• Eventsourcing
• Datenformate und Schema-Registry

Messaging mit Kafka

• Erstellen von Producer und Consumer mit Java
• Queueing und Publish/Subscribe

Entwicklung

• Entwicklung von Consumer und Producer
• Serialisierung mit Avro, JSON oder protobuf
• Fehlerbehandung
• Transaktionssicherheit ohne Transaktionen
• Kafka Transaktionen

Clustering

• Grundlagen: Verfügbarkeit, Ausfallsicherheit, Lastverteilung und Skalierbarkeit
• Mit Partioning und Replication große Datenmengen verarbeiten
• Mit KRaft zum Konsens
• Aufbau eines Clusters
• Loadbalancing & Heartbeats
• Garantien für Reihenfolge und Ausfallsicherheit
• Replication & Fault Tolerance
• Verhalten bei Ausfall eines Knotens
• Was passiert beim Ausfall eines Knotens im Cluster?

Stream Processing

• Einführung in das Streamprocessing
• KStream, Apache Flink oder Spark?
• Wie verarbeitet man Streams?

Kafka Connect

• Import und Export von Daten mit Kafka Connect
• Kafka Connect Alternativen

Sicherheit (Optional)

• Verschlüsselte Verbindungen mit SSL/TLS
• Authentifizierung und Autorisierung

Betrieb

• Die wichtigsten Einstellungen in der Konfiguration
• Einrichten von Topics
• Log Compaction und Retention
• Betrieb und Skalierung eines Kafka Clusters
• Monitoring mit Prometheus und Grafana
• Mirror Maker

Performanz Tuning

• Einflussfaktoren auf die Performanz
• Kompression von Nachrichten
• Batching: Wie finde ich die optimale Batch-Größe?
• Optimale Batch-Größe ermitteln
• Bestimmung der idealen Cluster-Knotenanzahl

Weiter Themen

• Troubleshooting