Представление тестов Delta Delta для статистической гипотезы с использованием метода Delta

Привет. Это Макияма из линии Yahoo! Co., Ltd.

В настоящее время я работаю в отделе анализа данных, и когда я анализирую данные для своих собственных услуг и смотрю на свои данные веса, я думаю: «Я не потеряю их …»

Помимо этой оригинальной задачи, наш аналитический отдел имеет время для работы над независимыми исследованиями по любой теме, которая вам нравится. GoogleПравило 20%Хотя это система, похожая на », ее отличительная особенность заключается в том, что у нее есть специализированная команда, которая поддерживает независимые исследования.

Эта команда чрезвычайно надежна, так как, когда они придумывают тему для независимых исследований, такую как «Я хочу попробовать новые бумажные методы», они ищут внутренние данные, которые могут быть применены к методу, вводятся связанные отделы, которые могут иметь данные, и читают статью вместе, чтобы углубить их понимание.

Пожалуйста, посмотрите отдельную статью об этой команде: Усилия по реализации аналитической организации, которая не несет ответственности за рост

В этой статье мы представим Deltates Deltates, который мы разработали как независимые исследования при поддержке этого.

Подводные камни статистического тестирования гипотез в веб -службах A/B Тестирование

Line Yahoo проводит A/B -тесты ежедневно для улучшения услуг.

От незначительных изменений в макете кнопки пользовательского интерфейса до нового алгоритма рекомендаций, пользователи делятся на две группы (группа A, которая представляет традиционную версию и группу B, которая представляет модифицированную версию) и сравнивает их. Группа A и группа B не имеют различий, кроме изменений, поэтому чистый эффект изменений может быть измерен. Это A/B -тест.

В тестах A/B статистические тесты гипотезы используются для определения того, существует ли разница в показателях оценки (например, ставки покупки продукта). Статистические тесты гипотезы позволяют вам контролировать риск ошибочного определения того, что существует разница, даже если разница нет. Существует много различных методов для тестирования статистической гипотезы, но размер выборки веб-сервиса достаточно велик, чтобы в большинстве случаев можно было использовать z-тест.

Тем не менее, в A/B-тестах веб-сервисов группы обычно выделяются каждому пользователю, в то время как метрики оценки, которые вы хотите проверить,-это ставки просмотра на странице и ставки покупок за сеанс. В этом случае, вероятно, произойдет смещение данных, потому что один пользователь может генерировать несколько просмотров страниц и сеансов.

Например, когда в Интернете нефтяной король, «Нефтяной король» очень богат, поэтому, если вы найдете продукт, который вам нравится, вы обязательно купите его. Ставка покупки составляет 100%. С другой стороны, я ищу масштаб, которая сделает меня наполовину весом, когда я еду на одной ноге, но я не могу найти его, и я отчаянно в мире. Ставка покупки составляет 0%.

Понятно, что когда я назначен в группу А, а нефтяной король назначается группе В, группа В будет иметь преимущество. Более того, мне скучно, поэтому я посещаю около 100 раз в час. Каждый раз, когда я получаю доступ к нему, рейтинг группы А снижается. Это слишком раздражает.

Применение регулярных z-тестов к таким данным сделает результаты теста ненадежными.

Оценка дисперсии с использованием метода Delta

Z-test-это простой метод, при которой дисперсия рассчитывается для разницы в среднем, и рассчитывается стандартная ошибка. Проблема заключается в том, что ставки покупок различаются для каждого пользователя, что приводит к корреляции между данными от одного и того же пользователя.

Поскольку формулы расчета нормальной дисперсии предполагают, что данные являются независимыми, игнорирование этой корреляции приведет к меньшей дисперсии, чем на самом деле. Это называется «недооценкой дисперсии». Я бы хотел, чтобы моя шкала тоже была недооценена.

Если дисперсия недооценена, существует более высокий риск ошибочного определения, что существует разница, даже если разница нет. Метод Delta уже давно использовался для решения этой проблемы недооценки дисперсии.

Дельта в контексте тестов A/B