Курсы, программы / IT: Для программистов и IT-специалистов / Программирование / Интеграция Hadoop и NoSQL

Бухгалтерский учёт для начинающих + 1C: бухгалтерия. 8.3
Новокузнецк
Бухгалтерский учет с ноля. Налоги. Отчётность. 1С: ...
Новокузнецк
Бухгалтерский учёт для начинающих + 1C: бухгалтерия. 8.3
Новокузнецк

Интеграция Hadoop и NoSQL: Курсы

	Организатор	Регион	Стоимость


Коммерсант (0.03)		Москва	90 000 руб. руб. 90,000.00 за 40 ак. часов 5 дней

Даты проведения

24.08.2020 - 28.08.2020
26.10.2020 - 30.10.2020
Уточните расписание у организатора.
Возможно он не успел обновить расписание.

Форма обучения: Очная/дневная

Вид мероприятия: Курсы

Тип мероприятия: Открытые

Целевая аудитория

Для инженеров данных, архитекторов Data Lake и Data Warehouse, а также разработчиков Big Data решений.

Преподаватель

Николай Комиссаренко

Анонс программы

Авторские курсы по интеграции NoSQL и Hadoop помогут получить следующие знания и навыки: понять, как организовать комплексную Big Data инфраструктуру на базе озера данных Apache Hadoop, интегрированного с корпоративными хранилищами данных (КХД), OLAP и OLTP системами; разобраться с архитектурой КХД и Data Lake, принципами их наполнения, средствами организации ELT/ETL-процессов; освоить инструменты создания конвейеров данных (data pipelines), включая потоковый (streaming) и пакетный (batch) режимы с применением Apache Sqoop и Spark; научиться формировать запросы к большим данным с помощью средств SQL-on-Hadoop (Apache Hive, Cloudera Impala, Apache Phoenix); приобрести опыт работы с MPP-СУБД Greenplum и ArenadataDB для эффективного охранения и быстрой аналитики больших данных, а также с OLAP-системами Yandex ClickHouse и Arenadata Quick Marts; узнать лучшие практики использования всех этих инструментов для решения прикладных бизнес-задач.

Описание программы

Введение в NoSQL

Базовые принципы и компоненты Hadoop
Основные концепции и виды NoSQL решений
Архитектура Data Lake
Принципы формирование pipelines и Data Lake

Организация импорта данных

Apache Sqoop – основные принципы:
- простой импорт и экспорт данных из реляционных источников
- сценарии применения
Apache Spark – обзор возможностей:
- импорт и экспорт данных из реляционных источников и файлов
- нагруженный импорт данных с преобразованием для вложенных, JSON, XML форматов
Особенности использования форматов хранения файлов AVRO, ORC, Parquet.

Организация Hadoop SQL интерфейса доступа к данным на файловой системе HDFS

Apache Hive – интерфейс доступа для batch-процессинга данных на HDFS
- Основные ...

Подробнее о программе

Введение в NoSQL

Базовые принципы и компоненты Hadoop
Основные концепции и виды NoSQL решений
Архитектура Data Lake
Принципы формирование pipelines и Data Lake

Организация импорта данных

Apache Sqoop – основные принципы:
- простой импорт и экспорт данных из реляционных источников
- сценарии применения
Apache Spark – обзор возможностей:
- импорт и экспорт данных из реляционных источников и файлов
- нагруженный импорт данных с преобразованием для вложенных, JSON, XML форматов
Особенности использования форматов хранения файлов AVRO, ORC, Parquet.

Организация Hadoop SQL интерфейса доступа к данным на файловой системе HDFS

Apache Hive – интерфейс доступа для batch-процессинга данных на HDFS
- Основные компоненты системы
- Batch процессинг с использованием движков MapReduce/Tez, LLAP, Spark — особенности
- Тюнинг JOIN операций
- Сценарии использования
Cloudera Impala – OLAP аналитика данных в MPP Hadoop
- Особенности решения
- Интеграция с Hive и HBase
- Форматы файлов для Cloudera Impala (Parquet, ORC)
- Особенности JOIN-операций
- Сценарии использования
Spark SQL
- Возможности фреймворка и предоставляемые API
- Сложные преобразования и агрегация с использованием Spark SQL
- Интеграция с Hive
- Сценарии использования

NoSQL в Hadoop

Спектр возможностей NoSQL в экосистеме Hadoop
Apache HBase – для real-time доступа на чтение и запись
- Архитектура решения, концепция CRUD,
- Проектирование базы данных, выбор column family
- Сценарии использования HBase
- Использование Apache Phoenix для HBase

Организация хранилища MPP NoSQL на примере Greenplum/ArenadataDB

Концепция MPP и её реализация в Greenplum/ArenadataDB.
- Загрузка и распределение данных. Сегментирование таблиц. Индексация
- Внешние таблицы, реплицированные таблицы, consistent hashing
- Оптимизация запросов, JOIN
- Best practices
- Сценарии использования

OLAP на колоночных базах данных на примере Yandex ClickHouse и Arenadata Quick Marts

Особенности реализации
Шардирование, партиционирование, индексация
Сценарии использования

Скрыть подробности

Контактная информация

Коммерсант
Ксения Лебедева
info@bigdataschool.ru
Илимская ул., БЦ "Бизнес-Депо", 5 корпус 2, офис 320
+7 (9 показать номер

	Сохранить в избранном

	Заказать звонок

	Отправить вопрос или заявку


Подать заявку от 90000 руб


	Телефон организатора Нажмите на ссылку, чтобы увидеть телефон Показать телефон

	Пожалуйста, скажите организатору, что нашли мероприятие на EduMarket.ru

Выиграть грант
Вы можете выиграть грант на обучение
Узнать, как получить грант

Подать заявку на грант

Похожие мероприятия

Построение и монетизация партнерских продуктов на базе платформы AggreGate Online

Pоссия

бесплатно

Программирование ПЛК1хх ОВЕН в среде CODESYS 2.3, базовый уровень 1 Очная/дневная

Санкт-Петербург

35 500 руб.

Системы управления базами данных (СУБД) Очная/дневная, Вечерняя

Барнаул

9 600 руб.

Быстрый переход к спискам мероприятий:
Все курсы программирования
Курсы программирования в Москве

←Вернуться