03.04.2020 - 04.04.2020 24.07.2020 - 25.07.2020 15.06.2022 - 17.06.2022 28.09.2022 - 30.09.2022 19.12.2022 - 21.12.2022 Уточните расписание у организатора. Возможно он не успел обновить расписание. |
Форма обучения:
Очная/дневная |
Вид мероприятия:
Курсы |
Тип мероприятия:
Открытые |
Системные администраторы, системные архитекторы, разработчики Hadoop, желающие получить практические навыки по управлению потоковыми данными с использованием Apache AirFlow. |
Николай Комиссаренко |
2-дневный практический курс по Apache AirFlow разработан для специалистов, инженеров данных и архитекторов, отвечающих за настройку и сопровождение потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и Apache AirFlow. |
-
Введение в Data Flow
-
История появления,на чем написан (python)
-
Основной объект (DAG)
-
Операторы и таски
-
Worker
-
Scheduler, schedule interval и execution date
-
Pool’ы
-
Приоритезация
-
Метаданные
-
Airflow UI и Webserver
-
Мониторинг (средства Airflow и кастомные варианты)
-
Алерты Введение в Apache AirFlow
-
Логирование
-
Разработка Data Flow с Apache AirFlow
-
Создание и основные параметры DAG
-
Operators и plugins
-
Hooks, connections, и variables
-
Работающие из коробки и уже написанные community операторы, хуки и т.п.
-
Создание тасков
-
Макросы (Jinja)
-
Управление зависимостями (внутри DAG, внешние зависимости, timedelta)
-
Визуализация в Web UI
-
Настройка ...
Подробнее о программе
-
Введение в Data Flow
-
История появления,на чем написан (python)
-
Основной объект (DAG)
-
Операторы и таски
-
Worker
-
Scheduler, schedule interval и execution date
-
Pool’ы
-
Приоритезация
-
Метаданные
-
Airflow UI и Webserver
-
Мониторинг (средства Airflow и кастомные варианты)
-
Алерты Введение в Apache AirFlow
-
Логирование
-
Разработка Data Flow с Apache AirFlow
-
Создание и основные параметры DAG
-
Operators и plugins
-
Hooks, connections, и variables
-
Работающие из коробки и уже написанные community операторы, хуки и т.п.
-
Создание тасков
-
Макросы (Jinja)
-
Управление зависимостями (внутри DAG, внешние зависимости, timedelta)
-
Визуализация в Web UI
-
Настройка расписания
-
Контекст (выполнения task)
-
Обмен сообщениями между tasks, DAGS (xcom)
-
Добавление настраиваемых операторов, сенсоров, хуков и т.п.
-
Развертывание и настройка Airflow
-
Установка Airflow в конфигурации по умолчанию (SQLite, SequentialExecutor)
-
Установка Redis, Celery
-
Настройка airflow.cfg (PostgreSQL, Celery, Redis, parallel degree…)
-
Запуск (service,н—рsystemctl, doker)
-
Кластеризация (масштабируемость, безотказность)
-
Особенности и проблемы в Airflow
-
Версии python(2 или 3)
-
Debug
-
Тестирование
-
Логирование
Практические занятия:
-
Настройка окружения (Pycharm, python, библиотеки для окружения в Virtualenv).
-
Создание DAG с задачами BashOperator / PythonOperator для получения данных из Kafka.
-
Создание кастомного оператора, осуществляющего по заданным параметрам выгрузку из Kafka.
-
Создание DAG, использующего созданный оператор.
|
Коммерсант Лебедева Ксения info@bigdataschool.ru Илимская д.5, к/2 +7 99
показать номер
|
|
|