Курсы по информационным технологиям, курсы программирования

На этом курсе вы изучите теоретический минимум и практический инструментарий для обработки графов, включая алгоритмическую составляющую. Особый акцент делается на бизнес-кейсы. Например, сформировать список интересов потребителя с целью точной сегментации целевой аудитории, определить круг знакомых пропавшего человека, выявить подозрительные схемы финансовых транзакций, реализовать

Освоить базовые понятия и методы создания ML-продуктов от сбора данных до интеграции модели в продуктивную среду. Познакомиться с инструментами командной разработки (Git, MLFlow, DVC) и основами менеджмента ML-проектов.

2-хдневный курс обучения по NiFi позволит вам получить и систематизировать знания по использованию НайФай для машрутизации и преобразования распределенных потоков больших данных. Курс нацелен на вопросы использования возможностей Apache NiFi для построения гибкого потока обработки данных, включая программную обработку данных, работу со слабо-структурированными данными и использование локального

Курс даёт необходимые знания по эффективной и безопасной эксплуатации GreenPlum в качестве средства быстрой аналитики больших данных, а также основы многоуровневых Data Lake и КХД. Освоение каждой практической темы подкрепляется лабораторной работой. Выполнять лабораторные работы предлагаем на базе дистрибутива native Greenplum или Arenadata DB – выбор по желанию слушателя.

Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования Apache Spark Graphframe. На этом курсе вы изучите предоставляемые фреймворком Spark возможности графовой обработки данных, графовых алгоритмов, представления информации в графовом виде,

Машинное обучение (Machine Learning) – это раздел искусственного интеллекта, изучающий математические, статистические и вычислительные методы для разработки алгоритмов, способных обучаться и решать задачи не прямым способом, а на основе поиска закономерностей в разнообразных входных данных. Решение вычисляется не по точно заданной формуле, а по установленной зависимости результатов от конкретного

Процесс сбора и подготовки данных — один из самых трудоемких и сложных этапов в анализе больших объемов данных, который порой занимает до 80% всего времени. Использование статистических методик и современного программного обеспечения позволяет значительно сократить временные и финансовые затраты на данном этапе, и повысить эффективность и качество конечных результатов.

Apache NiFi – это платформа потоковой маршрутизации, преобразования и доставки событий (сообщений), позволяющая управлять потоками данных из разнообразных источников в режиме реального времени с использованием графического интерфейса. Можно сказать, что Найфай – это распределенный ETL-инструмент с открытым исходным кодом, гарантированной доставкой и возможностью хранить данные до выгрузки их в

Apache HBase представляет NoSQL колоночную (column-oriented) базу данных использующую HDFS, обеспечивающая динамическое партиционирование данных, распределение нагрузки, поддержку кэширования и возможности доступа в режиме реального времени. Большое внимание уделяется вопросу проектирования схемы HBase и обеспечения высокой доступности кластера HBase.

. Рассматриваются методы доступа к данным с использованием HiveQL, загрузка и выгрузка данных в Hive, HDFS, реляционные БД  и NoSQL, организация и оптимизация хранения данных с использованием Hive на HDFS, вопросы интеграции с другими инструментами экосистемы Hadoop.  Практические занятия выполняются в  AWS и локальной кластерной системе с использованием дистрибутивов  Cloudera Hadoop,

2-дневный практический курс для тех, кто использует или планирует использовать Spark для обработки и анализа больших данных.

2-дневный практический курс для всех, кто использует или планирует использовать Spark для решения задач машинного обучения и подготовки для него данных.

В теоретической части вы узнаете о наиболее важных API, архитектуре Kafka и внутренних принципах работы основных API Apache Kafka (Producer API, Consumer API, Streams API, Connect API), а также об особенностях реализации Apache Kafka и некоторых интересных концепциях, таких как exactly once semantics, компактируемых логах, Kafka DSL и др.

Практические курсы по Apache Zeppelin предназначены для дата-инженеров, администраторов, системных архитекторов, аналитиков и разработчиков, которые хотят получить практические навыки по эффективной интеграции компонентов экосистемы Apache Hadoop и интерактивному анализу больших данных с помощью многопользовательской кросс-платформенной среды.

Данный курс  направлен на формирование практических и теоретических  навыков планирования, формирования и сопровождения Data Lake (озеро данных). Рассматриваются примеры интеграции, настройки и обслуживания "pipelines" — традиционных источников поступления данных (корпоративные базы данных, web-логи, файловые системы, интернет данные, транзакции)  для последующего анализа больших данных.

Курс "Аналитика больших данных" предоставляет необходимые знания для участия в проектах по анализу больших данных. Включает информацию о фазах жизненного цикла процессов аналитики больших данных при переходе бизнеса к использованию Big Data.

Приглашаем на курс "ARMG: архитектура модели данных".

Если вы хотите разобраться с основами Data Mining и научиться самостоятельно формировать датасеты для машинного обучения, а также освоить инструменты Apache Spark и Python для статистической обработки больших данных, вам необходим этот курс подготовка данных для Data Mining.

Курс "Основы Hadoop" представляет сокращенную версию курса "Администрирование кластера Hadoop" и проводится параллельно с данным курсом в 3 дня, согласно утвержденной программе, на платформе Cloudera, HortonWorks или ArenaData Hadoop по выбору.

3 дня практического обучения по установке и конфигурированию интегрированной безопасности кластера Hadoop с использованием протоколов безопасности Kerberos, настройки аутентификации Active Directory с поддержкой механизмов авторизации и аудита событий безопасности Apache Ranger.