Что такое p-value простыми словами?

Вопрос-фильтр: правильное определение p-value отличает человека, который понимает статистику, от человека, который запускал A/B-тесты «по кнопке». Интервьюеры любят его именно за это.

Как рассуждать

Строй ответ от нулевой гипотезы: сначала скажи, что мы предполагаем «эффекта нет» (H0), потом — что p-value отвечает на вопрос «насколько удивительны наши данные, если H0 верна». Держи в голове формулу-мантру: P(данные | H0), а не P(H0 | данные) — путаница между ними и есть главная ловушка вопроса.

Эталонный ответ

P-value — это вероятность получить такой же или более экстремальный результат, как в нашем эксперименте, при условии, что нулевая гипотеза верна. Например: тестируем новую кнопку, конверсия выросла с 10% до 11%, p-value = 0.03. Это значит: если бы кнопка на самом деле ничего не меняла, такой (или больший) рост мы увидели бы лишь в 3% подобных экспериментов.

Дальше сравниваем с заранее выбранным порогом α (обычно 0.05): p < α — отвергаем H0.

Дополнительный балл: сказать, что p-value ничего не говорит о размере эффекта — при огромной выборке статистически значимым будет и бесполезный для бизнеса рост на 0.01%.

Частые ошибки

• «P-value — вероятность, что различие случайно» или «вероятность, что H0 верна» — самые частые неправильные ответы; это P(H0 | данные), которую частотный подход вообще не считает.
• «P-value = вероятность ошибки» — ошибку первого рода контролирует α, выбранный до эксперимента.
• Считать p = 0.049 «доказательством», а p = 0.051 — «отсутствием эффекта»: порог условен, а решение должно учитывать и размер эффекта.