SPARK: Анализ данных с Apache Spark: Курсы

1. Обзор Apache Spark

Архитектура Spark. Обзор компонентов Spark и их назначения

2. Основные абстракции Apache Spark

Трансформации и действия, Lazy Evaluation

3. Знакомство с Dataframes

Structured API и основная абстракция Spark – Dataframe

4. Знакомство со Spark RDD

Low Level API, использование Resilient Distributed Dataset

5. Apache Spark SQL

Получение данных из SQL-источников и обработка данных с помощью Spark SQL

Отправка данных в SQL СУБД и работа с Hive QL

Spark SQL и Hadoop

6. Работа с источниками данных

Ввод и вывод в Apache Spark

Работа с файлами и базами данных

7. Производительность и параллелизм в Apache Spark

Планы выполнения запроса: логические и физические

8. Конфигурирование Apache Spark

Принципы конфигурирования и основные настройки

9. Spark Streaming

Разница работы в режимах OLAP и OLTP. Основной workflow

Виды Spark Streams. Особенности исполнения streaming кода

Checkpoint в Spark Streaming

10. GraphX

Задачи графов в программировании. Место графов в модели распределенных вычислений

Представление графов в GraphX. Операции с графами

11. MLLib

Задачи машинного обучения и проблематика больших данных

Основные возможности Spark MLLib

12. Обработка слабоструктурированных данных

Работа с JSON файлами и строками

Обработка информации, представленной в виде XML