DEVKA1: Kafka Streams для разработчиков: Повышение квалификации

1. Основные концепции Kafka и базовые операции

• Архитектура Kafka. Основные термины.

Изучим основные компоненты Kafka, принципы их взаимодействия и killer features данной технологии

• Kafka workflow. Работа по модели Pub/Sub и Queue/Consumer Group

Изучим 2 возможных режима работы kafka, а также их отличия и основные причины выбирать тот или другой

• Понятие Topic-а в Kafka. Управление Topic-ами из консоли

Научимся разделять сообщения по группам и управлять ими как из кода, так и из консоли

• Kafka Producer. Публикация сообщений с помощью кода.

Погрузимся в детальную настройку Kafka Producer-а и best practices на стороне производителя сообщений

• Kafka Consumer. Прием сообщений point-to-point.

Научимся принимать сообщения и завершим на практике минимальный
сценарий работы приложения

• Kafka Broadcasting and Groups. Гибкий процесс приема сообщений.

Научимся настраивать группы для работы с сообщениями в режиме broadcasting

2. Kafka Streams

• Общие понятия Kafka Stream — поток, low barrier, local state, exactly-once, event-time based

Изучим общие принципы и приемы в процессе работы с потоками Kafka

• Создание Kafka потокового приложения

Напишем базовое приложение с использованием Kafka Streams

• Kafka Stream DSL— теория и практика

Изучим особый язык для настройки потоков данных в Kafka и научимся его использовать

• Работа с Processor API

Научимся писать и соединяться с custom процессорами данных в Kafka

• Типы данных и сериализация

Изучим типы данных, используемые в Kafka, а также научимся сериализовать их в разные хранилища

• Динамические запросы в потоковой обработке Apache Kafka

Научимся получать любые агрегаты данных в потоках Kafka.

• Управление памятью в  потоках Kafka

Научимся программно и из консоли управлять памятью из Kafka Streaming