Калькулятор значимости A/B-теста
Калькулятор значимости A/B-теста — бесплатный онлайн-инструмент на MaticsBox. Пользуйтесь им прямо в браузере без установки дополнительного ПО.
Проверяет, статистически значима ли разница в конверсии между двумя вариантами A/B-теста, используя стандартный z-тест для двух долей с уровнем доверия 95%. Помогает не объявлять победителя на основе разницы, которая может быть просто случайным шумом.
Введите или вставьте данные в форму, при необходимости настройте доступные параметры и запустите инструмент. Результат появится на этой же странице.
FAQ
Что значит «статистически значимо» в данном случае?
Это значит, что наблюдаемая разница между вариантами маловероятна (менее 5% вероятности) как случайность, исходя из введённых размеров выборки и числа конверсий.
Сколько нужно посетителей/конверсий для надёжного результата?
Фиксированного минимума нет, но очень маленькие выборки (несколько десятков посетителей) редко дают надёжный значимый результат даже при реальной разнице — большие выборки дают более достоверные выводы.
Значит ли значимость, что нужно точно выбрать выигравший вариант?
Это весомое доказательство, но учитывайте также практическую значимость (достаточно ли велико улучшение, чтобы иметь значение) и достаточную ли длительность теста для учёта обычных колебаний (например, по дням недели).