Курсы по информационным технологиям, курсы программирования

Машинное обучение (Machine Learning) – это раздел искусственного интеллекта, изучающий математические, статистические и вычислительные методы для разработки алгоритмов, способных обучаться и решать задачи не прямым способом, а на основе поиска закономерностей в разнообразных входных данных. Решение вычисляется не по точно заданной формуле, а по установленной зависимости результатов от конкретного

Процесс сбора и подготовки данных — один из самых трудоемких и сложных этапов в анализе больших объемов данных, который порой занимает до 80% всего времени. Использование статистических методик и современного программного обеспечения позволяет значительно сократить временные и финансовые затраты на данном этапе, и повысить эффективность и качество конечных результатов.

Apache NiFi – это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в

Apache HBase представляет NoSQL колоночную (column-oriented) базу данных использующую HDFS, обеспечивающая динамическое партиционирование данных, распределение нагрузки, поддержку кэширования и возможности доступа в режиме реального времени. Большое внимание уделяется вопросу проектирования схемы HBase и обеспечения высокой доступности кластера HBase.

. Рассматриваются методы доступа к данным с использованием HiveQL, загрузка и выгрузка данных в Hive, HDFS, реляционные БД  и NoSQL, организация и оптимизация хранения данных с использованием Hive на HDFS, вопросы интеграции с другими инструментами экосистемы Hadoop.  Практические занятия выполняются в  AWS и локальной кластерной системе с использованием дистрибутивов  Cloudera Hadoop,

2-дневный практический курс для тех, кто использует или планирует использовать Spark для обработки и анализа больших данных.

2-дневный практический курс для всех, кто использует или планирует использовать Spark для решения задач машинного обучения и подготовки для него данных.

В теоретической части вы узнаете о наиболее важных API, архитектуре Kafka и внутренних принципах работы основных API Apache Kafka (Producer API, Consumer API, Streams API, Connect API), а также об особенностях реализации Apache Kafka и некоторых интересных концепциях, таких как exactly once semantics, компактируемых логах, Kafka DSL и др.

Практические курсы по Apache Zeppelin предназначены для дата-инженеров, администраторов, системных архитекторов, аналитиков и разработчиков, которые хотят получить практические навыки по эффективной интеграции компонентов экосистемы Apache Hadoop и интерактивному анализу больших данных с помощью многопользовательской кросс-платформенной среды.

Данный курс  направлен на формирование практических и теоретических  навыков планирования, формирования и сопровождения Data Lake (озеро данных). Рассматриваются примеры интеграции, настройки и обслуживания "pipelines" — традиционных источников поступления данных (корпоративные базы данных, web-логи, файловые системы, интернет данные, транзакции)  для последующего анализа больших данных.

Курс "Аналитика больших данных" предоставляет необходимые знания для участия в проектах по анализу больших данных. Включает информацию о фазах жизненного цикла процессов аналитики больших данных при переходе бизнеса к использованию Big Data.

Приглашаем на курс "ARMG: архитектура модели данных".

Если вы хотите разобраться с основами Data Mining и научиться самостоятельно формировать датасеты для машинного обучения, а также освоить инструменты Apache Spark и Python для статистической обработки больших данных, вам необходим этот курс подготовка данных для Data Mining.

Курс "Основы Hadoop" представляет сокращенную версию курса "Администрирование кластера Hadoop" и проводится параллельно с данным курсом в 3 дня, согласно утвержденной программе, на платформе Cloudera, HortonWorks или ArenaData Hadoop по выбору.

3 дня практического обучения по установке и конфигурированию интегрированной безопасности кластера Hadoop с использованием протоколов безопасности Kerberos, настройки аутентификации Active Directory с поддержкой механизмов авторизации и аудита событий безопасности Apache Ranger.

2-дневный практический курс по Apache AirFlow разработан для специалистов, инженеров данных и архитекторов, отвечающих за настройку и сопровождение потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и Apache AirFlow.

5-дневный практический тренинг по настройке batch/streaming потоков данных средствами Apache Spark, Flume, Kafka, sqoop, Hive для организации озера данных (Data Lake) на кластере Hadoop и процессов ETL/ELT.

Практический курс по потоковой обработке с использованием Спарк рассчитан на специалистов, которые хотят получить опыт настройки и использования механизмов потоковой обработки в спарк, с видами источников и нюансами практического использования Structured Streaming.

NoSQL (Not Only SQL) – это подход к реализации масштабируемого хранилища с гибкой моделью данных, когда проблемы масштабируемости (scalability) и доступности (availability), важные для Big Data решений, решаются за счёт атомарности (atomicity) и согласованности данных (consistency). Выделяют 4 типа NoSQL-СУБД:

Курс о метоах администрирования кластера Kafka (Confluent); настройках безопасности для Apache Kafka с использованием SSL, SASL, Kerberos; мониторинг и оптимизация очереди сообщений Kafka с использованием практических примеров реализации.