Результативное А/Б тестирование: Курсы

День первый 15.10.16, 10:00 - 18:00

I. Введение.

• Эффективность сайта. Макро и микро конверсии. 
• Отслеживание трафика, конверсий, звонков. Системы аналитики: Google Analytics, Яндекс Метрика, Calltouch. 
• Что такое конверсионная оптимизация? 
• Методы конверсионной оптимизации.

Знать: процессы оптимизации конверсии.

Уметь: определять применимость методов конверсионной оптимизации.

В этом блоке поговорим о конверсии, ее видах, понятии эффективности сайта. Рассмотрим основные методы, которые применяются для оценки эффективности и для оптимизации конверсии сайтов.

II. A/B тесты как главный метод конверсионной оптимизации.

• Основные определения. 
• Типы тестов: A/B, MVT. 
• Способы проведения тестов: Server A/B vs JS A/B vs Split URL. 
• Определение исходных гипотез.

Знать: преимущества и недостатки способов проведения тестов.

Уметь: определять оптимальный метод и тип теста для конкретной гипотезы.

Рассмотрим типы и способы проведения тестов. Поговорим о преимуществах и недостатках всех типов тестов. Научимся формулировать гипотезы и подбирать правильный метод теста для конкретной гипотезы.

День второй 16.10.16, 10:00 - 18:00

III. Инструменты для тестов.

• Обзор популярных систем: VWO, Optimizely, GCE. 
• Настройка систем. 
• Работа с инструментами для тестов. 
• Знакомство с собственными разработками.

Знать: сильные и слабые стороны популярных инструментов для A/B тестов.

Уметь: выбрать систему под свои задачи, и быстро запустить тест.

Сравним между собой популярные инструменты для A/B тестов. Узнаем о возможностях систем, рассмотрим сильные и слабые стороны инструментов.

IV. Javascript тесты и Google Tag Manager.

• Технологии для деления пользователей на A/B группы. Примеры функций. 
• Способы таргетинга по целевым признакам: desktop, mobile, sources, new, returning… 
• Интеграция с Google Analytics и Яндекс Метрикой с целью передачи данных для анализа.

Знать: возможности таргетинга и правила деления и пометки пользователей для тестов.

Уметь: запускать собственные A/B тесты без каких-либо ограничений, качественно лучше, чем с использованием популярных систем.

Поговорим о технологиях проведения тестов с технической точки зрения. Изучим способы деления пользователей на группы, способы таргетинга тестов на определенные аудитории на реальных примерах. Научимся создавать простые и быстрые системы A/B тестов с помощью javascript, с отслеживанием результатов на базе систем аналитики. По итогам модуля мы завершаем все подготовительные работы и запускаем тест, после чего ждем сбора данных для последующего анализа.

День третий 22.10.16, 10:00 - 19:00

V. Математика тестов. Краткая теория.

• Биноминальное распределение конверсий по визитам. 
• Нормальное распределение вероятностей коэффициента конверсии. 
• Плотность вероятности и доверительные интервалы. 
• Оценка вероятности победы варианта. 
• Расчеты в Excel. 
• Online-калькуляторы тестов.

Знать: о статистической достоверности при анализе результатов теста.

Уметь: рассчитать вероятность превосходства одного варианта над другим.

Разберем минимально необходимый набор математических знаний для анализа A/B тестов. Поговорим об основных статистических понятиях. Научимся математически доказывать обоснованность выбора того или иного варианта.

VI. Анализ данных.

• Пред-тест анализ: оценка перспективности гипотезы, оценка времени проведения теста.
• Анализ хода теста. Изменение гипотезы во время теста. 
• Пост-тест анализ. Статистическая оценка результатов, выводы, действия. 
• Проблемы анализа: ложные результаты, A/A тесты. 
• Проблемы трафика: недостаток трафика, шум, погрешности.

Знать: проблемы анализа, типы анализа.

Уметь: избегать заведомо ложных результатов, достоверно анализировать данные, делать правильные выводы.

Научимся определять потенциал гипотезы, время проведения теста, необходимый объем трафика для теста. Разберем правила контроля текущего теста. Научимся подводить итоги тестов на реальных примерах, оценивать статистическую вероятность победы вариантов, делать выводы. Рассмотрим основные ошибки анализа.

VII. Планирование тестов.

• Поиск гипотез: где брать хорошие гипотезы? 
• Построение плана тестов. 
• Распределение приоритетов на основе перспективности, трафика и доли в общем доходе.

Знать: что делать, если уже протестировали красную и зеленую кнопку?

Уметь: Находить перспективные гипотезы и выстраивать их в правильном порядке.

Поговорим о важности правильного планирования тестов. Научимся делать материально обоснованный план тестов с потенциалом по эффективности и приоритетами. Рассмотрим методы и источники получения новых гипотез.

VIII. Примеры, кейсы, решения экспертов

Примеры тестов с успешным результатом. 
Примеры тестов с отсутствием результата. 
Примеры тестов с отрицательным результатом.

Знать: как это делали другие? Сколько денег это может принести?

Уметь: вы уже всё умеете, примеры просто так, чтобы воодушевиться и много тестировать.

Рассмотрим результаты реальных тестов. Проанализируем правильность принятых по результатам тестов решений.