У вас уже есть заявка на текущий период.
Если вы хотите, чтобы данная программа участвовала в розыгрыше гранта в этом месяце, необходимо добавить ее в папку "Интересные мероприятия".
Или создайте заявку на другой период.
17.02.2020 - 21.02.2020 20.04.2020 - 24.04.2020 12.10.2020 - 16.10.2020 14.12.2020 - 18.12.2020 Уточните расписание у организатора. Возможно он не успел обновить расписание.
Форма обучения:
Очная/дневная
Вид мероприятия:
Курсы
Тип мероприятия:
Открытые
Целевая аудитория
Для руководителей, менеджеров и специалистов, желающих получить расширенные знания по инструментам и методам анализа больших данных для участия в проектах больших данных.
Преподаватель
Николай Комиссаренко
Анонс программы
Данный курс направлен на формирование практических и теоретических навыков планирования, формирования и сопровождения Data Lake (озеро данных). Рассматриваются примеры интеграции, настройки и обслуживания "pipelines" — традиционных источников поступления данных (корпоративные базы данных, web-логи, файловые системы, интернет данные, транзакции) для последующего анализа больших данных. Практические занятия выполняются в AWS и локальной кластерной системе с использованием дистрибутивов Cloudera Hadoop и HortonWorks Data Platform.
Описание программы
Основные концепции Hadoop
Основы Hadoop. Жизненный цикл аналитики больших данных. Хранение, накопление, подготовка и процессинг больших данных. Тенденции развития Hadoop.
Архитектура HDFS. Операции чтения и записи, назначения HDFS. Блоки HDFS. Основные команды работы с HDFS.
Ведение в MapReduce. Компоненты MapReduce. Работа программы MapReduce. Архитектура YARN. Способы обработки распределенных данных с использованием Apache Spark, YARN и MapReduce v2/v3.
Управление ресурсами и очередями задач. FIFO/Capacity/Fair scheduler.
Инструменты управления кластером
Выполнение базовых операций с Cloudera Manager/Apache Ambari.
Настройка компонент Apache ZooKeeper.
Создание и управление запросами и данными с использованием сервиса Hue.
Хранение данных в HadoopDFS
Хранение ...
Подробнее о программе
Основные концепции Hadoop
Основы Hadoop. Жизненный цикл аналитики больших данных. Хранение, накопление, подготовка и процессинг больших данных. Тенденции развития Hadoop.
Архитектура HDFS. Операции чтения и записи, назначения HDFS. Блоки HDFS. Основные команды работы с HDFS.
Ведение в MapReduce. Компоненты MapReduce. Работа программы MapReduce. Архитектура YARN. Способы обработки распределенных данных с использованием Apache Spark, YARN и MapReduce v2/v3.
Управление ресурсами и очередями задач. FIFO/Capacity/Fair scheduler.
Инструменты управления кластером
Выполнение базовых операций с Cloudera Manager/Apache Ambari.
Настройка компонент Apache ZooKeeper.
Создание и управление запросами и данными с использованием сервиса Hue.
Введение в Apache Pig: формат хранения данных, сложные и вложенные типы данных, синтаксис Pig Latin, оптимизация операций Join.
Apache Spark
Архитектура Apache Spark.
Введение в Spark: RDD & Datasets
Доступ к внешним данным из Spark
Интеграция с Hadoop, запуск приложений
Spark streaming
Spark SQL
Datasets, Dataframes
Импорт/экспорт данных в кластер Hadoop
Импорт и обработка данных в кластере Hadoop
Интеграция с реляционными базами данных
Структура хранения данных в таблицах
Технологии NoSQL
Сравнительная характеристика решений Hadoop SQL
Введение в Sqoop: импорт и экспорт данных Sqoop, формат файлов, инкрементальный импорт, Hive экспорт Apache Hive
Apache Hive
Введение в Hive: структура Hive таблиц, синтаксис HiveQL, формат хранения файлов, работа с внешними и внутренними таблицами Hive, оптимизация Join операций. Операции импорта и экспорта данных и взаимодействия с внешними источниками. Настройка производительности
Cloudera Impala
Введение в Cloudera Impala: архитектура и компоненты, Impala синтаксис, типы данных, написание запросов, загрузка данных, взаимодействие Spark, Hive
Оптимизация Impala запросов
Потоковые данные
Event Processing System. Импорт потоковых данных в кластер
Использование Kafka для работы с потоковыми данными
Использование Flume для работы с потоковыми данными
Визуализация потоковых данных
Cписок практических занятий:
Автоматическая установка 3-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager и поддержка базовых операций с кластером Hadoop и HDFS.
Управление ресурсами и запуском задач с использованием YARN MapReduce.
Использование Apache Pig для подготовки данных, операции JOIN
Использование Apache Hive для анализа данных
Оптимизация запросов JOIN в Apache Hive
Настройка partition и bucket в Apache Hive
Инкрементальный импорт/экспорт данных с помощью Apache sqoop
SQL аналитика данных с помощью Cloudera Impala
Batch процессинг данных с использованием Apache Spark
Потоковая обработка данных с использованием Apache Spark
Импорт данных с помощью Apache Flume
Построение Event Processing System с использованием Apache Flume и Kafka
Создание и управление запросами sqoop, MapReduce, Hive, Impala с использованием веб-интерфейса B
Я принимаю условия, изложенные в
Соглашении об оказании информационных услуг по развитию карьеры и профессиональному образованию
КонсультацРСвЂВВВВВВВВР РЋР РЏ Р С—Р С• РїРѕРТвЂВВВВВВВВР±РѕСЂСѓ РєСѓСЂСЃР°
РњС‹ РїРѕРТвЂВВВВВВВВбереРѠРІР°РѠРїСЂРѕРіСЂР°РСВВВВВВВВВР В Р’В Р РЋР’ВВВВВВВВР РЋРІР‚в„– обученРСвЂВВВВВВВВР РЋР РЏ Р В Р’В Р СћРІР‚ВВВВВВВВля успешной карьеры РцповышенРСвЂВВВВВВВВР РЋР РЏ зарплаты, Р В Р’В° также РїСЂРµРТвЂВВВВВВВВложРСвЂВВВВВВВВРѠактуальные С„РСвЂВВВВВВВВнансовые Р В Р’В Р РЋРІР‚ВВВВВВВВнструРСВВВВВВВВВенты РѕС‚ лучшРСвЂВВВВВВВВС… Р В РІР‚ВВВВВВВВВанков-партнеровпортала Edumarket.ru Р В Р’В Р СћРІР‚ВВВВВВВВля Р В Р’В Р РЋРІР‚ВВВВВВВВС… РїСЂРСвЂВВВВВВВВобретенРСвЂВВВВВВВВР РЋР РЏ!
РџРѕР·РТвЂВВВВВВВВравляеРСВВВВВВВВВ!
Р В РІР‚в„ўР РЋРІР‚в„– РЎРѓР ТвЂВВВВВВВВелалРцеще РѕРТвЂВВВВВВВВР В Р’В Р РЋРІР‚ВВВВВВВВР Р… шаг Р Р…Р В° РїСѓС‚РцРє вашей карьере.
Р В РЎСљР В Р’В° указанный Р°РТвЂВВВВВВВВрес РІР°РѠотправлено Р С—Р СвЂВВВВВВВВРЎРѓРЎРЉР СВВВВВВВВВР С•. Проверьте почтовый СЏС‰РСвЂВВВВВВВВР С” РцРїРѕСЃРСВВВВВВВВВотрРСвЂВВВВВВВВте РїРѕРТвЂВВВВВВВВобранные Р В Р’В Р СћРІР‚ВВВВВВВВля вас РїСЂРѕРіСЂР°РСВВВВВВВВВР В Р’В Р РЋР’ВВВВВВВВР РЋРІР‚в„– обученРСвЂВВВВВВВВР РЋР РЏ.
ЖелаеРѠРІР°РѠуспешной карьеры!