Что такое ошибки первого и второго рода?

Вопрос-база: без него не обходится почти ни одно собеседование по статистике. Проверяют, различаешь ли ты два типа ошибок и понимаешь ли, что за них отвечают разные величины.

Как рассуждать

Заведи в голове табличку 2×2: по одной оси — правда (эффект есть / эффекта нет), по другой — наше решение (отвергли H0 / не отвергли). Две клетки — верные решения, две — ошибки. Ошибка первого рода живёт в строке «эффекта нет», ошибка второго — в строке «эффект есть». Дальше привяжи к ним α и β — и ответ готов.

Эталонный ответ

Нулевая гипотеза (H0) обычно означает «различий нет, эффекта нет».

• Ошибка первого рода (α) — мы отвергли H0, хотя она была верна. Раскатили новую кнопку, решив, что она подняла конверсию, а на деле разницы не было. Ложная тревога. Её вероятность мы сами задаём порогом α, обычно 0.05.
• Ошибка второго рода (β) — мы НЕ отвергли H0, хотя она ложна. Кнопка реально работала, а мы её похоронили как «незначимую». Пропущенный эффект.

Связанные понятия:

• Мощность = 1 − β — вероятность поймать эффект, когда он действительно есть. Стандартный ориентир — 80%.
• Между α и β есть трейд-офф: если сделать порог строже (α = 0.01), реже будет ложных тревог, но и реальные эффекты чаще будут ускользать (β растёт). Разорвать этот компромисс можно одним способом — набрать больше данных.

Полезно привязать к бизнесу: цена ошибок разная. Выкатить бесполезную фичу (ошибка I рода) — потратить ресурсы разработки; проглядеть рабочую (ошибка II рода) — упустить рост. Иногда осознанно двигают α под цену ошибки: если откат фичи дёшев, а упустить рост дорого, можно позволить чуть больше ложных тревог.

Аналогия, которая хорошо заходит на собеседовании, — медицинский тест. Ложноположительный (сказали «болен» здоровому) — это ошибка первого рода, ложноотрицательный (пропустили болезнь) — второго. Сразу видно, что цена у них разная и что снизить обе одновременно, не набрав данных, нельзя.

Связь с p-value: p-value сравнивают именно с α. Если p < α, отвергаем H0, сознательно принимая α-риск ложной тревоги.

Частые ошибки

• Путать местами: «ошибка первого рода — это когда пропустили эффект». Нет, первый род — это ложная тревога, ложноположительный результат.
• Считать, что α — это вероятность того, что H0 верна. α — это вероятность отвергнуть H0 при условии, что она верна.
• Забывать про мощность и запускать A/B-тест на крошечной выборке: тогда β огромна, и «незначимый» результат не значит «эффекта нет» — просто данных не хватило.
• Думать, что снижение α «бесплатно» улучшает тест. Оно всегда бьёт по мощности, если не добрать выборку.