ARMG: архитектура модели данных: Курсы

Основные концепции и понятия теории хранилищ данных 

• Классическое реляционное хранилище
  • Слои данных (Stage, ODS, DDS, витрины)
  • Методики моделирования: подходы Р. Кимбалла и Б. Инмона, Data Vault, Anchor modeling
• Озеро данных (Data lakes)
  • Schema—on—write vs Schema—on—read
  • Виртуализация данных (Data Virtualization)
• Big Data и NoSQL технологии
• ETLELT процессы
• Лямбда— и Каппа-архитектуры для модели данных

Проектирование репозиториев данных (Data Lakes ) 

• Определение используемого подхода и техники моделирования
• Проектирование модели данных
• Определение стека используемых технологий
• Планирование жизненного цикла и развития хранилищ
• Разработка проектной документации

Внедрение репозиториев данных (Data Lakes ) 

• Организация контуров разработки, тестирования и UAT
• Разработка управляющих потоков
• Разработка процессов загрузки и обработки данных
• Создание справочников и общих измерений
• Миграция исторических данных

Эксплуатация репозиториев данных (Data Lakes ) 

• Разработка эксплуатационной документации
• Регламентные процессы обслуживания
• Обеспечение отказо- и катастрофоустойчивости
• Организация технической поддержки

Смежные вопросы

• Управление данными (Data Governance)
• Качество данных (Data Quality)
• Информационная безопасность