Когда покупатели приходят на eBay, наша цель — помочь им легко найти продукт, который им понравится.
В течение прошлого года наши команды сосредоточились на том, как мы можем улучшить рекомендации по товарам для покупателей, чтобы они были более актуальными и соответствовали их покупательским интересам.
В соответствии с нашей предыдущей моделью рекомендаций продукты отображались для клиентов на торговой площадке eBay, включая полосу «Похожие спонсируемые товары» на странице со списком товаров, в зависимости от их популярности в продажах.
В этом посте описывается, как мы разработали каскадную модель релевантности, чтобы помочь покупателям получать более релевантные рекомендации на eBay. Скрейпинг-тесты показывают, что каскадная модель релевантности рекомендует покупателям больше похожих товаров и улучшает общий опыт покупок. Последующее A/B-тестирование показало увеличение количества покупок на 2,1%, что подтвердило наш подход.
Фон
Как следует из названия, «Похожие спонсируемые элементы» рекомендуют аналогичные элементы по отношению к основному элементу на странице, который мы называем «исходным» элементом.
Клиенты получили рекомендации, основанные на модели машинного обучения; однако были случаи, когда рекомендуемые элементы не совсем соответствовали исходному элементу.
Например, на приведенном ниже снимке экрана три наиболее рекомендуемых часа для роскошных наручных часов за 14 500 долларов различаются по названию, внешнему виду, бренду и ценовому диапазону. Такие рекомендации, скорее всего, не соответствуют интересам покупателей, которые попадают на страницу роскошных наручных часов.
Модель ранжирования рекомендаций
Чтобы улучшить взаимодействие с пользователем в этой полосе рекомендаций, мы провели исследование предыдущей модели ранжирования машинного обучения.
Модель ранжирования была сформулирована как задача обучения ранжированию и обучена с помощью модели Gradient Boosted Tree (GBT). Характеристики модели можно условно разделить на три группы: характеристики подобия (которые вычисляются между исходным элементом и элементами-кандидатами), популярность элемента-кандидата и характеристики качества.
Среди всех функций мы заметили, что многие наиболее важные функции относятся к группе функций популярности, что означает, что популярные товары, скорее всего, получат более высокий рейтинг, чем некоторые релевантные, но непопулярные товары (например, новые товары без истории продаж).
Каскадная модель релевантности
Чтобы повысить релевантность рекомендаций, мы построили модель релевантности и применили ее в качестве фильтра, чтобы удалить менее релевантных кандидатов и направить только релевантных кандидатов в модель ранжирования. Ниже приведена блок-схема логического вывода модели высокого уровня.
Индивидуальная целевая функция
Суть в том, как выбрать «подходящих» кандидатов. Во-первых, мы убрали функции, основанные на популярности, из модели релевантности. Затем, чтобы повысить релевантность, мы создали в модели настраиваемую целевую функцию, включив показатель сходства товара в прогноз вероятности покупки.
Настройка целевой функции означает, что мы можем добавить дополнительные члены поверх исходной функции потерь, которая в нашем случае представляет собой потерю перекрестной энтропии.
Наша настраиваемая целевая функция предназначена для увеличения тренировочного веса для релевантных примеров покупок и снижения менее релевантных примеров покупок. Оценка сходства используется в качестве приблизительного значения релевантности.
Где y — метка покупки, это 1 для покупки и 0 для отказа от покупки; p — прогнозируемая вероятность покупки; h — показатель сходства между каждым начальным и рекомендательным элементом-кандидатом (это также функция модели), который находится в диапазоне от 0 до 1; и представляют собой гиперпараметры в диапазоне от 0 до 1. В нашей модели мы принимаем =.
На основе новой целевой функции мы обучили модель классификации прогнозировать вероятность покупки для каждого товара. Затем мы выбрали топ-k товаров с наивысшей вероятностью покупки в модели релевантности в качестве «релевантных» кандидатов на попадание в первоначальный рейтинг.
Как выбрать k для разных категорий
Поскольку разные категории имеют разный размер каталога, степень релевантности k лучших элементов будет различаться для разных категорий. Чем больше релевантных элементов мы выбираем для последующего ранжирования, тем легче обнаруживаются соответствующие элементы, следовательно, чем легче покупатель будет конвертироваться, тем выше будет скорость покупки (т.е. PTR). K — это ключ для выбора разного количества наиболее релевантных элементов для каждой категории.
Но как выбрать «правильный» k для каждой категории? Мы собрали различия онлайн PTR между моделью без фильтра релевантности и моделью с разными значениями k ({35, 40, 45, 50, 55, 60}) в качестве фильтра.
На уровне рынка k = 60 лучше всего подходит для США, где самый высокий показатель сквозных покупок (PTR). Для трех других рынков Великобритании, Австралии и Германии ни один из k не превосходит модель без фильтра.
Мы провели такой же анализ на уровне категории для категорий с достаточным трафиком. Вот несколько примеров, когда оптимальное значение k различается в разных категориях.
Визуальные примеры
Мы выбрали оптимальное k для каждой категории с высоким трафиком и применили глобальное оптимальное k для других категорий, чтобы реализовать каскадную модель релевантности. Теперь вернемся к случаю с наручными часами. Рекомендуемые товары по каскадной модели релевантности гораздо больше похожи на исходный товар по названию, внешнему виду, бренду и ценовому диапазону. Это наглядная демонстрация того, что важно сначала выбрать релевантные элементы-кандидаты, и только потом применять модель ранжирования, оптимизированную для конверсии, как это делает наша каскадная модель релевантности.
Вот еще примеры, которые показывают результаты без фильтра релевантности в первой строке и оптимального фильтра релевантности k во второй строке. Первый элемент в каждой строке является исходным элементом.
Пример 1 – женские сапоги
Пример 2 – наушники
Результаты нашего эксперимента
Мы проверили каскадную модель релевантности на реальном трафике eBay с помощью онлайн-теста A/B. Он показывает увеличение PTR на 2,14%, что подтверждает, что каскадная модель релевантности улучшает покупательский опыт пользователей и повышает конверсию.
