SPOT: потоковая обработка в Apache Spark: Вебинар

1. Введение в потоковую обработку

• Потоковая и пакетная обработка данных
• Особенности потоковой обработки
• Надежность и потоковая обработка.

2. Потоковая обработка в Apache Spark

• Два вида потоков (на основе RDD и Dataframe)
• Парадигма потоковой обработки в Structured Streaming
• Источники (sources и sink).

3. Совместное использование Batch и Streaming

• Трансформации и действия в Apache Spark
• Объединение данных в Spark (join)
• Особенности использования трансформаций при работе с потоковыми данными

4. Источники потоковых данных

• Файловый источник данных
• Apache Kafka как источник данных
• Другие источники потоковых данных

5. Обеспечение надежности потоковой обработки в Apache Spark

• Механизм checkpoint в Apache Spark
• Настройка streaming checkpoint

Pоссия,