Проектирование высоконагруженных систем

Глава 1. Введение в Highload  

• Надёжность сайта, нагрузка на сайт
• Обзор популярных WEB-серверов интернета и LAMP архитектуры
• Динамическое формирование WEB-страниц (сервер приложений)
• Устройство WEB-сервера
• Домашнее задание
• Вопросы

Глава 2. Сетевая подсистема  

• Общие понятия о пропускной способности
• Устройство TCP
• Установка TCP соединения
• Потери пакетов
• Недостатки TCP/IP
• Протокол UDP
• Организационный фактор сетевых задержек
• Некоторые детали маршутизации
• Тюнинг TCP
• Домашнее задание

Глава 3. Протокол HTTP и веб-оптимизация  

• Загрузка web-страницы
• Повторная загрузка страницы
• Управление кэшированием
• Conditional Get
• Редиректы
• Сookies
• Способы оптимизация работы сайта
• Снова Cookies
• AJAX
• Домашнее чтение

Глава 4. Масштабирование нагрузки  

• Масштабирование нагрузки
• Вертикальное и горизонтальное масштабирование
• Балансировка нагрузки, алгоритмы балансировки
• Технология Round-Robin DNS
• xixi DNS, Geo Based DNS
• Аппаратная балансировка
• Программная балансировка
• Балансировка на сетевом уровне
• Исключение серверов из балансировщиков, VRRP/CARP
• Проверка работоспособности серверов
• Использование протокола BGP для балансировки
• Уровень 7 балансировки
• Балансировка с использованием редиректа
• Балансировка на уровне приложений
• Client based балансировка
• Распределение функционала по разным серверам

Глава 5. Оперативная память  

• Быстродействие и память
• Организация доступа к памяти в компьютерах
• Типы памяти
• Кэширование оперативной памяти для процессора
• Как устроен сам кэш
• Время доступа к даннымы
• Память используемая на неускольких процессорах, prefetch
• Измерения скорости доступа к памяти
• SSD диски и flash память

Глава 6. Базы данных и дисковая подсистема  

• Жёсткие диски, общие понятия
• Особенности работы жёстких дисков
• Дисковые массивы
• Аппаратная и программная реализация дисковых массивов
• Файловые системы
• LVM
• Базы данных
• MySQL репликация
• Некоторые особенности MySQL
• Добавление столбца в таблицу
• Проблемы одной большой базы
• Шардинг
• Общие правила
• Пример LiveJournal - шардинг, репликация, кэширование

Глава 7. Типовые архитектурные решения  

• Front-end и Back-end
• Разбивка страниц на группы
• Функциональные группц серверов
• Сложность и надёжность
• Выбор компонент
• Выбор технологий и языков программирования
• Оптимизация узких мест
• Graceful degradation
• Обработка ошибок при обработке запроса
• Отложенная обработка
• Запись о обработка логов. Мониторинг
• Выкатка новых версий
• Слежение за производительностью

Глава 8.  Архитектура проектов Mail.ru  

• Архитектура проектов Mail.ru
• Главная страница
• Imagine
• Lite
• SWA
• Почта
• Почтовый фронтенд
• Perl
• Storages
• Проблемы
• Mail.ru Агент
• Сервис foto.mail.ru
• Сервис blogs.mail.ru
• Сервис video.mail.ru
• Сервис my.mail.ru
• MyMail
• Opengraph
• silverdialogues + silverdsp
• raker + silverhistory
• Silversearch
• Tarantul
• queued
• Рекламная система
• Архитектура версии 1 рекламной системы
• SSI фронтенд
• Lite фронтенд
• Perl фронтенд
• Рекламный фронтенд
• rbstatd
• rbdatad
• thttpd-rb
• Изменения в архитектуре рекламной системы (2004 - 2012)
• Серверные профили
• Бинарные логи
• Проблемы существующей версии
• Таргет
• Графики
• Экзамен