Контроль ложных открытий: что означает FDR в анализе ИИ-мерчандайзинга
FDR — ожидаемая доля ложных находок среди всех находок, которые статистическая процедура признала значимыми. Контроль FDR помогает аналитику интернет-магазина разбирать множество срезов ИИ-мерчандайзинга, не объявляя победой каждое небольшое p-value. Уровень 5% относится к среднему по повторениям процедуры, а не к вероятности ошибки конкретной находки — это следует из определения FDR.
Ниже — условный расчёт для пяти категорий. Это учебные p-value, не результаты эксперимента магазина и не доказательство пользы ИИ.
Что именно ограничивает FDR
Пусть R — число отклонённых нулевых гипотез, а V — число ошибочно отклонённых среди них. Тогда FDR = E[V / max(R, 1)]: долю ошибок считают среди отклонённых гипотез, а затем усредняют по повторениям процедуры. Когда находок нет, доля ошибок принята равной нулю. Это исходное определение, раздел 2.1; max(R, 1) записывает правило нулевой доли при отсутствии находок.
При контроле FDR на уровне 5% нельзя обещать, что ровно одна из двадцати находок окажется ложной. Нельзя и приписать каждой отдельной находке вероятность ошибки 5%. Средняя доля не даёт такой гарантии для отдельной находки или конкретного набора результатов — это следует из определения.
Смежная величина FWER — вероятность хотя бы одного ложного отклонения во всём семействе. FDR отвечает на вопрос о доле ложных находок, FWER — о наличии хотя бы одной. Определение FWER дано в исходной статье BH, раздел 1.
Поправка Холма контролирует FWER, а BH и BY предназначены для FDR. Назначение методов описывает справка R.
Условный магазин: какие проверки входят в семейство
Представим российский D2C-магазин: аналитик сравнивает ИИ-сортировку витрины с прежней сортировкой отдельно по категориям. До просмотра результатов он фиксирует одно семейство из пяти проверок, единую метрику «доля визитов с покупкой», нулевую гипотезу об отсутствии различия для каждой категории и уровень FDR α = 0,05. Число проверок и p-value ниже заданы для учебного расчёта.
Для учебного примера предполагаем независимые непрерывные тесты, чьи p-value при истинной нулевой гипотезе равномерно распределены от 0 до 1. Такое нулевое распределение p-value описано в справке SciPy. Это достаточная предпосылка иллюстрации.
Семейство в примере включает все заданные категории, а не только категории с удачными результатами. Если передать поправке только p-value «победителей», набор проверок изменится. Такой расчёт уже не контролирует FDR исходного семейства. В описании процедуры корректировка применяется ко всему переданному семейству p-value.
Как получаются три находки вместо четырёх
Процедура Бенджамини—Хохберга (BH) сортирует p-value по возрастанию. Для ранга i среди m проверок порог равен i × α / m. Находят наибольший ранг k, для которого p₍k₎ ≤ k × α / m, и отклоняют все гипотезы с рангами от первого до k. Правило описано в исходной работе, раздел 3.1; ниже — его применение к условным входам.
| Категория | Ранг i | Исходное p-value | Порог BH | Скорректированное p-value BH | Находка при α = 0,05 |
|---|---|---|---|---|---|
| Обувь | 1 | 0,004 | 0,010 | 0,02000 | Да |
| Одежда | 2 | 0,012 | 0,020 | 0,03000 | Да |
| Товары для дома | 3 | 0,026 | 0,030 | 0,04333 | Да |
| Косметика | 4 | 0,041 | 0,040 | 0,05125 | Нет |
| Спорт | 5 | 0,200 | 0,050 | 0,20000 | Нет |
Все строки — учебный расчёт, проверен 31.10.2026. Скорректированные значения округлены для показа; решения приняты по точным дробям.
Для третьей строки 0,026 ≤ 3 × 0,05 / 5 = 0,030; четвёртая и пятая строки условие не выполняют. Поэтому k = 3. Простое правило «сырое p-value < 0,05» дало бы четыре находки, BH оставляет три. Все значения этого шага можно пересчитать по входным данным.
Скорректированное BH-значение на ранге i вычисляют как минимум m × p₍j₎ / j по всем j ≥ i, с верхней границей 1. Для товаров для дома минимум равен 5 × 0,026 / 3 = 0,04333…; для косметики — 5 × 0,041 / 4 = 0,05125. Обратный проход с накопленным минимумом реализован в коде R; точные дроби сохранены в расчёте.
Скорректированное p-value здесь — результат формулы, а не вероятность ложности отдельной гипотезы. Заявление ASA, принцип 2, прямо отделяет p-value от вероятности истинности гипотезы; поправка из кода R лишь задаёт сравнение со значением α для контроля FDR. Сама FDR остаётся ожидаемой долей ошибок, как определено в исходной работе, раздел 2.1.
Когда BH недостаточно
BH контролирует FDR при независимости, а также при определённом классе положительной зависимости — PRDS. Одного наблюдения «показатели положительно коррелируют» для подтверждения этой предпосылки недостаточно. BY, процедура Бенджамини—Йекутиели, даёт контроль при произвольной зависимости валидных p-value, но более консервативна. Условия приведены в справке SciPy; выбор двух методов также описан в statsmodels.
В BY добавляется множитель Hₘ = 1 + 1/2 + … + 1/m. Для наших пяти проверок он равен 137/60 ≈ 2,2833: скорректированные значения BY составляют примерно 0,04567; 0,06850; 0,09894; 0,11702; 0,45667. При α = 0,05 остаётся только обувь. Это условный расчёт по формуле из кода R, а не основание выбирать метод по тому, сколько побед он оставил.
В реальном магазине общие посетители, пересекающиеся категории и одна модель сортировки — повод отдельно разобраться с зависимостью. Поправка не исправляет некорректные исходные p-value. У произвольных чисел, придуманных нейросетью, нет подтверждённого нулевого распределения; такое распределение — предпосылка теста, описанная в справке SciPy.
Отдельный риск — обычные p-value фиксированного теста, если аналитик непрерывно смотрит на результат и по нему выбирает момент остановки. Авторы Always Valid Inference прямо показывают ненадёжность обычного вывода при таком выборе объёма выборки. Сначала нужен корректный последовательный дизайн либо заранее фиксированный анализ; одна поправка BH/BY не заменяет эту работу.
Что это меняет в решении магазина
FDR нужен, когда решение опирается на семейство статистических находок: например, на категории с обнаруженным различием после внедрения ИИ-сортировки. Для единственной заранее выбранной проверки множественности внутри этого семейства нет. Если же даже одно ложное отклонение неприемлемо, нужно обсуждать контроль FWER, а не трактовать FDR как такую гарантию; различия методов — в справке R.
Вычислительная часть невелика: для нашего примера это сортировка пяти чисел и обратный проход, показанные в расчёте. Главная работа аналитика — определить семейство, проверить дизайн и допустимость исходных p-value. Сама статистическая находка ещё не говорит, положителен ли эффект и окупает ли он внедрение: в нашем примере нет ни оценок эффекта, ни затрат магазина.
Как мы проверяли
Редакция изучила документацию SciPy, statsmodels и R и пересчитала BH/BY для вымышленных входов точными дробями. Проверены формулы, числа таблицы и решения при заданном α; эксперимента, оценки зависимости реальных категорий и проверки ИИ-сортировки не проводили. Данные расчёта позволяют повторить арифметику, но не оценить результат внедрения.
Источники
- Исходная работа о BH — определение FDR и правило наибольшего ранга.
- SciPy: контроль FDR — определение, условия BH/BY, работа с p-value.
- R: реализация p.adjust — формулы скорректированных значений.
- statsmodels: fdrcorrection — выбор процедуры по зависимости.
- SciPy: нулевое распределение p-value — предпосылка независимых непрерывных тестов в учебном примере.
- R: p.adjust — отличие FDR от FWER.
- Заявление ASA о p-value — отличие p-value от вероятности истинности гипотезы, принцип 2.
- Always Valid Inference — почему непрерывный просмотр с выбором момента остановки нарушает обычный вывод фиксированного теста.
- Учебные данные — заданные p-value, точные дроби и результаты BH/BY.
Редакция Кометы · Как работает редакция