Курсы по информационным технологиям, курсы программирования

. Рассматриваются методы доступа к данным с использованием HiveQL, загрузка и выгрузка данных в Hive, HDFS, реляционные БД  и NoSQL, организация и оптимизация хранения данных с использованием Hive на HDFS, вопросы интеграции с другими инструментами экосистемы Hadoop.  Практические занятия выполняются в  AWS и локальной кластерной системе с использованием дистрибутивов  Cloudera Hadoop,

2-дневный практический курс для тех, кто использует или планирует использовать Spark для обработки и анализа больших данных.

2-дневный практический курс для всех, кто использует или планирует использовать Spark для решения задач машинного обучения и подготовки для него данных.

В теоретической части вы узнаете о наиболее важных API, архитектуре Kafka и внутренних принципах работы основных API Apache Kafka (Producer API, Consumer API, Streams API, Connect API), а также об особенностях реализации Apache Kafka и некоторых интересных концепциях, таких как exactly once semantics, компактируемых логах, Kafka DSL и др.

Практические курсы по Apache Zeppelin предназначены для дата-инженеров, администраторов, системных архитекторов, аналитиков и разработчиков, которые хотят получить практические навыки по эффективной интеграции компонентов экосистемы Apache Hadoop и интерактивному анализу больших данных с помощью многопользовательской кросс-платформенной среды.

Данный курс  направлен на формирование практических и теоретических  навыков планирования, формирования и сопровождения Data Lake (озеро данных). Рассматриваются примеры интеграции, настройки и обслуживания "pipelines" — традиционных источников поступления данных (корпоративные базы данных, web-логи, файловые системы, интернет данные, транзакции)  для последующего анализа больших данных.

Курс "Аналитика больших данных" предоставляет необходимые знания для участия в проектах по анализу больших данных. Включает информацию о фазах жизненного цикла процессов аналитики больших данных при переходе бизнеса к использованию Big Data.

Приглашаем на курс "ARMG: архитектура модели данных".

Если вы хотите разобраться с основами Data Mining и научиться самостоятельно формировать датасеты для машинного обучения, а также освоить инструменты Apache Spark и Python для статистической обработки больших данных, вам необходим этот курс подготовка данных для Data Mining.

Курс "Основы Hadoop" представляет сокращенную версию курса "Администрирование кластера Hadoop" и проводится параллельно с данным курсом в 3 дня, согласно утвержденной программе, на платформе Cloudera, HortonWorks или ArenaData Hadoop по выбору.

3 дня практического обучения по установке и конфигурированию интегрированной безопасности кластера Hadoop с использованием протоколов безопасности Kerberos, настройки аутентификации Active Directory с поддержкой механизмов авторизации и аудита событий безопасности Apache Ranger.

2-дневный практический курс по Apache AirFlow разработан для специалистов, инженеров данных и архитекторов, отвечающих за настройку и сопровождение потоков данных (Data Flow) в организации и озерах данных под управление Hadoop и Apache AirFlow.

5-дневный практический тренинг по настройке batch/streaming потоков данных средствами Apache Spark, Flume, Kafka, sqoop, Hive для организации озера данных (Data Lake) на кластере Hadoop и процессов ETL/ELT.

Практический курс по потоковой обработке с использованием Спарк рассчитан на специалистов, которые хотят получить опыт настройки и использования механизмов потоковой обработки в спарк, с видами источников и нюансами практического использования Structured Streaming.

NoSQL (Not Only SQL) – это подход к реализации масштабируемого хранилища с гибкой моделью данных, когда проблемы масштабируемости (scalability) и доступности (availability), важные для Big Data решений, решаются за счёт атомарности (atomicity) и согласованности данных (consistency). Выделяют 4 типа NoSQL-СУБД:

Курс о метоах администрирования кластера Kafka (Confluent); настройках безопасности для Apache Kafka с использованием SSL, SASL, Kerberos; мониторинг и оптимизация очереди сообщений Kafka с использованием практических примеров реализации.

Практический курс Введение в нейронные сети на Python предназначен для получения следующих знаний и навыков: понять, что такое нейросети, машинное обучение и искусственный интеллект; освоить принципы функционирования нейронных сетей; знать, как эффективно использовать нейросетевые модели в бизнесе; разобраться с математическими основами нейронных сетей; освоить базовые методы работы с

Машинное обучение (Machine Learning) – это раздел искусственного интеллекта, изучающий математические, статистические и вычислительные методы для разработки алгоритмов, способных обучаться и решать задачи не прямым способом, а на основе поиска закономерностей в разнообразных входных данных. Решение вычисляется не по точно заданной формуле, а по установленной зависимости результатов от конкретного

Практический курс для разработчиков Apache Spark и специалистов Data Scientists, использующих Spark SQL, потоковую обработку Spark Streaming, построение графов Spark GraphX.

На курсе вы овладеете основными навыками разворачивания и настройки сети предприятия, приемами установки ОС Astra Linux по сети, принципами организации единого пространства для пользователей с помощью ALD. Научитесь разворачивать сетевые сервисы DHCP, DNS, NTP, файловые сервисы NFS, FTP, CIFS, настраивать Proxy сервер, устанавливать и настраивать web-сервер предприятия, создавать бэкап системы и