Ранжирование оптимизирует клик сегодня. Учится оно на том, что само же показало вчера.
Отсюда петля, которую система не разрывает самостоятельно. Единица предложения, которая не показывалась, не имеет положительных примеров. Без положительных примеров модель оценивает её низко. С низкой оценкой она не показывается. Круг замкнулся, и качество модели по внутренним метрикам при этом растёт — потому что она всё точнее предсказывает поведение на всё более узком множестве.
Разорвать это можно одним способом: отдать часть показов тому, что модель показывать не хочет.
Решение
Резерв. Фиксированная доля квалифицированных показов, распределяемая не по ранжированию: новым единицам, единицам с нулевой экспозицией, единицам из недопредставленных микрорынков.
Не «иногда подмешивать случайное», а именно объявленный резерв с фиксированным размером, который защищён от оптимизации.
Почему такие решения проигрывают
Здесь важнее механики то, как это решение выглядит изнутри компании.
Цена видна сразу и точно. Отдал три процента показов — конверсия просела, это на дашборде завтра, с доверительным интервалом.
Польза приходит позже, размазана и не атрибутируется. Предложение, которое благодаря резерву набрало сигнал и начало находить покупателя, через квартал попадёт в органический трафик. Кто вспомнит, что оно там оказалось из-за резерва? Никто, и никакой честной атрибуции не построить.
Решение, у которого измеримая цена сегодня и неатрибутируемая польза через квартал, проигрывает почти любой внутренний спор. Не потому, что оно плохое, а потому, что аргументы за него слабее по форме, чем аргументы против.
Из этого следует практический вывод: если не объявить цену заранее, решение отменят. Через две недели придёт человек с графиком конверсии и спросит, что произошло. Если цифра ожидалась и была названа, это разговор по плану. Если нет — это провал эксперимента.
Поэтому цену я называю до запуска, в тех же единицах, в которых её потом предъявят.
Сколько именно
Не знаю. И это честный ответ, а не уход от вопроса.
Оптимальная доля зависит от того, как быстро обновляется предложение, сколько нужно наблюдений для оценки новой единицы, насколько плотный рынок. Универсального числа нет, и любой, кто назовёт его не глядя на платформу, называет его наугад.
Как я искал бы его. Начать с малого — единицы процентов, — и смотреть не на конверсию, а на две другие величины: долю предложения без квалифицированной экспозиции и число состоявшихся match. Если первая падает, а второе не падает — резерв работает и его можно увеличивать. Если падает конверсия, а доля непоказанного предложения стоит на месте — резерв уходит не туда, куда задумано, и надо чинить правило распределения, а не размер.
Дальше повышать до точки, где предельный показ, отданный в резерв, перестаёт снижать долю непоказанного предложения. Это и есть граница.
Что я готов отдать
Несколько процентов конверсии на горизонте квартала — при условии, что доля предложения без квалифицированной экспозиции снижается измеримо.
Без второго условия не отдаю ничего. Резерв, который не сокращает нулевую экспозицию, — это просто ухудшение выдачи за свои деньги.
При каком исходе я неправ
Если резерв не сдвигает долю предложения без экспозиции за пределы шума. Тогда петля обратной связи либо не работает так, как я её описываю, либо перекрывается более сильным фактором, и плата за исследование бессмысленна.
И второй случай: если ранжирование выводит новые единицы из нулевой экспозиции самостоятельно и за приемлемое время. Некоторые системы это умеют. Тогда проблема, ради которой всё затевалось, решается без вмешательства, а резерв — лишний расход.
Проверяется это раньше запуска: посмотреть на когорту новых единиц и на распределение времени до их первого квалифицированного показа. Если хвост распределения короткий — резерв не нужен.
Что за этим стоит
Есть класс решений, где ты сознательно ухудшаешь наблюдаемую величину ради ненаблюдаемой. Резерв показов, ограничение выдачи лидерам, ужесточение допуска — всё это оттуда.
Такие решения не выигрывают по силе аргумента, потому что одна сторона весов измерена, а вторая нет. Выигрывают они только одним способом: если заранее назвать цену, назвать величину, ради которой платишь, и договориться о сроке, раньше которого не отменяем.
Всё остальное — надежда на то, что через месяц никто не посмотрит на график. Обычно смотрят.