Курсы, программы / IT: Для программистов и IT-специалистов / Администрирование / SPARK: Администратор кластера Apache Spark

SPARK: Администратор кластера Apache Spark: Курсы

	Организатор	Регион	Стоимость


Коммерсант (0.03)		Москва	54 000 руб. руб. 54,000.00 за 24 ак. часа 3 дня

Даты проведения

22.03.2019 - 24.03.2019
Уточните расписание у организатора.
Возможно он не успел обновить расписание.

Форма обучения: Очная/дневная

Вид мероприятия: Курсы

Тип мероприятия: Открытые

Преподаватель

Басов

Анонс программы

3х дневный интенсивный практический тренинг по знакомству с платформой для распределенной обработки больших данных Apache Spark. В ходе лекций и лабораторных работы вы научитесь настраивать кластер Apache Spark для запуска задач на Scala и R при обработке больших массивов неструктурированных данных, поймете разницу использования различных форматов хранения данных и использования RDD, dataframes и datasets; настраивать и анализировать данные в потоке Spark Streaming; интегрировать компоненты Apache Spark с другими компонентами экосистем Hadoop.

Описание программы

Введение в Apache Spark
- Сравнение Hadoop и Spark
- Сравнение Batch, Real-Time и in-Memory процессинг
- Особенности Apache Spark
- Компоненты Apache Spark экосистемы
Введение в RDD — Resilient Distributed Dataset
- Что такое RDD
- Особенности использования RDD, RDD lineage
- Трансформация в Spark RDD
- Lazy evaluation и отказоустойчивость в Spark
- Использование Persistence RDD в памяти и на диске
- Использование key-value пар (ReduceByKey,CountByKey,SortByKey,AggregateByKey)
- Интеграция Hadoop с Spark
- Выполнение базовых операций с Cloudera Manager.
Запуск задач в Apache Spark
- Знакомство с Spark-shell
- Выполнение задач в Apache Spark
- Написание программ в Apache Spark
- Чтение данных с локальной файловой системы и HDFS
- Зависимости(Dependencies)
- Кэширование данных в ...

Подробнее о программе

Введение в Apache Spark
- Сравнение Hadoop и Spark
- Сравнение Batch, Real-Time и in-Memory процессинг
- Особенности Apache Spark
- Компоненты Apache Spark экосистемы
Введение в RDD — Resilient Distributed Dataset
- Что такое RDD
- Особенности использования RDD, RDD lineage
- Трансформация в Spark RDD
- Lazy evaluation и отказоустойчивость в Spark
- Использование Persistence RDD в памяти и на диске
- Использование key-value пар (ReduceByKey,CountByKey,SortByKey,AggregateByKey)
- Интеграция Hadoop с Spark
- Выполнение базовых операций с Cloudera Manager.
Запуск задач в Apache Spark
- Знакомство с Spark-shell
- Выполнение задач в Apache Spark
- Написание программ в Apache Spark
- Чтение данных с локальной файловой системы и HDFS
- Зависимости(Dependencies)
- Кэширование данных в Apache Spark
- Отказоустойчивость (Fault Tolerance)Хранение файлов в HDFS: сжатие, sequence файлы. Формат AVRO, RCfile, ORC, Parquet.
Управление ресурсами в кластере Apache Spark
- Архитектура Apache Spark
- Особенности управления ресурсами в автономном режиме кластера (Standalone)
- Особенности управления ресурсами в режиме Hadoop кластера с YARN
- Динамическое распределение ресурсов Dynamic Resource Allocation
- Оптимизация Apache Spark: использование разделов (partition hash,range,map, static), управление расписанием (dynamic, fair scheduler), использование переменных (shared, broadcast) и аккумуляторов (accumulators)
- Использование Catalyst Optimizer для оптимизации исполнения запросов
- Project Tungsten — Оптимизация управления памятью и кэшом CPU
- Импорт и обработка данных в кластере Hadoop
Потоковая обработка (Streaming) в Apache Spark
- Потоковая обработка данных для аналитики больших данных
- Особенности реализации потоковой обработки данных в Apache Spark
- Основные концепции потоковой обработки
- Аггрегированные и не аггрегированные запросы
- Обработка событий Event Time, Window и Late Events (скользящее окно событий)
- Поддержка последних событий (Late Events) в потоковой обработке данных в Apache Spark
- Режимы работы Apache Spark с потоковыми данными

Скрыть подробности

Контактная информация

Коммерсант
Лебедева Ксения
sales@bigdataschool.ru
Илимская д.5, к/2
+7 99 показать номер

	Сохранить в избранном

	Заказать звонок

	Отправить вопрос или заявку


Подать заявку от 54000 руб


	Телефон организатора Нажмите на ссылку, чтобы увидеть телефон Показать телефон

	Пожалуйста, скажите организатору, что нашли мероприятие на EduMarket.ru