Курсы, программы / IT: Для программистов и IT-специалистов / Программирование / Разработка приложений Apache Spark на языке Scala

Разработка приложений Apache Spark на языке Scala: Мастер-класс

	Организатор	Регион	Стоимость


Luxoft, Учебный Центр (0.99)		Москва	22 000 руб. руб. 22,000.00 за 8 ак. часов

Даты проведения

06.04.2017 - 06.04.2017
Уточните расписание у организатора.
Возможно он не успел обновить расписание.

Форма обучения: Очная/дневная

Вид мероприятия: Мастер-класс

Тип мероприятия: Открытые

Целевая аудитория

Разработчики программного обеспечения, владеющие языком Scala на среднем уровне. Опыт работы с большими данными и Hadoop не требуется.

Преподаватель

Юлиан Драгос (Iulian Dragos) занимается языком Scala с 2004 года, в это же время он начал работать в исследовательской лаборатории Мартина Одерски (Martin Odersky) в Федеральной политехнической школе Лозанны. Им была написана серверная часть (backend) виртуальной машины Java и оптимизатор байткода, а также он работал над различными частями компилятора. Кроме того, Юлиан реализовал для Scala специализацию с помощью типов.
В 2010 году Юлиан получил степень PhD в Федеральной политехнической школе Лозанны. Работал в компании Typesafe с момента ее основания Мартином Одерски, создателем языка Scala, занимаясь созданием средств разработки (в частности, написал плагин Eclipse для Scala). Затем возглавил группу Spark в компании Lightbend (прежнее название – Typesafe) и внес значительный вклад в развитие этого проекта. Кроме того, он ведет учебные курсы и помогает клиентам в реализации Spark-проектов.

Анонс программы

Мастер-класс посвящен возможностям крупномасштабной распределенной обработки больших данных с помощью Apache Spark. На тренинге участники будут использовать язык Scala для разработки Spark-приложений и познакомятся с различными типами развертывания Spark и интерфейсами Spark API. Также будет рассмотрена основа основ Spark – восстанавливаемые распределенные наборы данных (RDDs), затем использование Spark SQL через DataFrame и DataSet API, а также способы настройки производительности Spark и внутренних компонентов Spark.

Описание программы

ИТ-ландшафт в области больших данных:

Hadoop и MapReduce;
Анатомия кластера;
Место Spark в экосистеме;
Процесс выполнения задания Spark по шагам;
Типы развертывания Spark: локальное, автономное, Yarn, Mesos.

Ядро Spark:

Восстанавливаемые распределенные наборы данных (Resilient Distributed Datasets, RDDs);
Использование RDDs;
Оболочка Spark;
Создание и развертывание приложений Spark.

Дополнительные возможности в ядре Spark:

Распределение и пересылка данных между узлами;
Задачи, этапы, задания;
Пользовательский интерфейс Spark;
Кэширование RDD;
Контрольные точки в RDD;
Рассылка данных на узлы (broadcasting) и аккумуляторы.

Spark SQL:

Форматы чтения и записи (Json, Parquet);
Использование SQL для запросов данных в Spark;
DataFrames API;
DataSets API;
Оптимизатор запросов Catalyst: что внутри?

В ходе мастер-класса слушатели:

узнают ...

Подробнее о программе

ИТ-ландшафт в области больших данных:

Hadoop и MapReduce;
Анатомия кластера;
Место Spark в экосистеме;
Процесс выполнения задания Spark по шагам;
Типы развертывания Spark: локальное, автономное, Yarn, Mesos.

Ядро Spark:

Восстанавливаемые распределенные наборы данных (Resilient Distributed Datasets, RDDs);
Использование RDDs;
Оболочка Spark;
Создание и развертывание приложений Spark.

Дополнительные возможности в ядре Spark:

Распределение и пересылка данных между узлами;
Задачи, этапы, задания;
Пользовательский интерфейс Spark;
Кэширование RDD;
Контрольные точки в RDD;
Рассылка данных на узлы (broadcasting) и аккумуляторы.

Spark SQL:

Форматы чтения и записи (Json, Parquet);
Использование SQL для запросов данных в Spark;
DataFrames API;
DataSets API;
Оптимизатор запросов Catalyst: что внутри?

В ходе мастер-класса слушатели:

узнают о способах использования интерфейсов Spark API для трансформации данных;
получат представление о вычислительной модели Spark;
узнают о вариантах развертывания приложений Spark.

Скрыть подробности

Контактная информация

Luxoft, Учебный Центр
Елена Смоленская
education@luxoft.com
1-й Волоколамский проезд, д.10, стр. 3, бизнес-центр Диапазон
+7 (4 показать номер

	Сохранить в избранном

	Заказать звонок

	Отправить вопрос или заявку


Подать заявку от 22000 руб


	Телефон организатора Нажмите на ссылку, чтобы увидеть телефон Показать телефон

	Пожалуйста, скажите организатору, что нашли мероприятие на EduMarket.ru