Что такое доверительный интервал?

Вопрос простой на вид, но 90% кандидатов дают на него формально верную, а по смыслу неправильную формулировку. Интервьюер проверяет, понимаешь ли ты, что интервал — это про метод, а не про конкретное число.

Как рассуждать

Отталкивайся от того, что истинную конверсию (или средний чек) генеральной совокупности мы не знаем — у нас есть только выборка. Интервал показывает, насколько мы неуверены в оценке: чем шире, тем меньше данных или больше разброс. Главное — не приписывать вероятность самому параметру: он не случайная величина, он фиксирован. Случайны границы интервала, потому что они зависят от выборки.

Эталонный ответ

Доверительный интервал — это диапазон значений вокруг выборочной оценки, построенный так, что при многократном повторении эксперимента заданная доля таких интервалов (например, 95%) накроет истинный параметр.

Пример. Измерили конверсию лендинга: из 1000 визитов — 200 покупок, оценка 20%. Стандартная ошибка равна корню из p·(1−p)/n = корень из 0.2·0.8/1000 ≈ 0.0127. Границы 95%-интервала — это оценка ± 1.96 стандартной ошибки: 20% ± 2.5%, то есть примерно от 17.5% до 22.5%. Читаем так: «истинная конверсия правдоподобно лежит в этом коридоре».

Откуда берётся 1.96: это квантиль нормального распределения, отсекающий по 2.5% в каждом хвосте — отсюда и 95% в середине. Хочешь коридор шире и надёжнее (99%) — берёшь 2.58, но интервал раздувается. Уровень доверия и ширина всегда воюют друг с другом: 100%-й интервал — это «от минус бесконечности до плюс бесконечности», он верен всегда и бесполезен.

Два практических вывода, которые стоит проговорить:

• Ширина интервала падает как корень из n. Чтобы сузить его вдвое, нужно вчетверо больше данных — это ровно та же логика, что и в оценке размера выборки.
• Интервал и проверка гипотез — две стороны одной монеты. Если 95%-интервал для разницы конверсий не содержит ноль, то p-value будет меньше 0.05. Иногда интервал даже удобнее: он сразу показывает размер эффекта, а не только факт значимости.

Частые ошибки

• «С вероятностью 95% истинное значение внутри этого интервала» — самая частая ошибка. Для конкретного посчитанного интервала параметр либо внутри, либо нет; 95% — свойство процедуры на длинной серии повторов.
• Путать доверительный интервал с интервалом, куда попадут 95% отдельных наблюдений. Это разные вещи: второе — про разброс данных, первое — про точность оценки среднего.
• Забывать, что при маленькой выборке нормальное приближение врёт — тогда честнее строить интервал через бутстрап или t-распределение.
• Строить интервал и молчать про размер эффекта: коридор «−0.1%…+0.1%» и «+3%…+9%» — совсем разные бизнес-истории, даже если оба «значимы».
• Считать, что более широкий интервал всегда хуже: широкий коридор честно говорит «данных мало», и это полезнее ложной уверенности узкого интервала на кривой выборке.