CRO & Personalization

🎥 Смотрите запись вебинара Learnings: От персонализации к Agentic AI: как меняется e-commerce E-commerce постепенно переходит от систем, которые показывают и рекомендуют, к системам, которые понимают задачу покупателя и принимают решения. На вебинаре @yaransuvar Вадим Мамедов рассказал, как AI меняет механику e-commerce - от персонализации и рекомендаций до Agentic AI и автономных систем принятия решений. Внутри: - как меняется пользовательский опыт: покупатель формулирует задачу, а система разбирается в требованиях; - почему персонализация превращается в AI Decisioning и Next Best Action; - как AI учится понимать не только историю клиента, но и его текущие намерения; - почему customer journey больше не укладывается в заранее заданный сценарий; - как меняется роль поиска, фильтров, каталога и интерфейса; - что происходит с рекламой, атрибуцией и customer data; - как устроен переход от персонализации к Conversational AI и Agentic AI; - где проходит граница автономности AI и когда человеку необходимо оставаться в контуре; - почему качество данных и интеграция с CRM, заказами, корзиной и оплатой становятся критичными; - какие AI-сценарии уже дают бизнес-ценность и почему большинство компаний пока не получают её от AI; - как ритейлеру определить правильный уровень автономности и KPI для AI-решения. Итак, скорее будущее e-commerce - не в том, чтобы сделать AI максимально умным. Важно сделать его достаточно автономным, чтобы он помогал принимать решения, и достаточно надёжным, чтобы эти решения можно было исполнять. _______________ CRO & Personalization 🫥

📃 Иногда лучший UX - это не тот UX, который кажется логичным Мы провели A/B-тест фильтров на PLP и SRP Гипотеза выглядела почти очевидной: оставить на экране только 5 самых востребованных фильтров, а остальные спрятать в "Все фильтры". Логика была простой: около 80% пользовательских задач закрываются этими пятью критериями. Меньше элементов 💛 быстрее выбор 💛 выше вовлечённость 💛 больше покупок. Но данные сказали обратное. Purchase Rate: Control - 3,55% Treatment - 3,46% −2,54% uplift Вероятность того, что это не случайный результат: 95,4% P2BB. Гипотеза не просто не подтвердилась. Мы получили отрицательный эффект. Почему? Возможно, мы слишком сильно поверили в среднее. Если 80% задач закрываются пятью фильтрами, это ещё не означает, что остальные 20% не важны. Для пользователя, которому нужен именно шестой фильтр, его исчезновение - это не небольшое ухудшение интерфейса. Это может быть моментом, когда поиск нужного товара становится слишком сложным. И здесь есть урок для продуктовой аналитики: частотность использования ≠ ценность для пользователя. Редкий сценарий может иметь непропорционально высокую цену ошибки. Поэтому перед тем, как упрощать интерфейс, стоит спросить не только: Что используют чаще всего? но и: Что происходит с теми, кому нужно остальное? A/B-тест как раз и нужен для таких случаев. Не чтобы доказать, что хорошая идея хорошая. А чтобы вовремя обнаружить, когда она не работает. P.S. Слайды для этого поста я сделал в Deckset. Очень полезный инструмент, если вы регулярно создаёте презентации. Вместо того чтобы часами выравнивать блоки в PowerPoint, можно сосредоточиться на структуре и истории, а Deckset сам превращает Markdown в аккуратную презентацию. Для меня это хороший пример инструмента, который убирает рутину и оставляет больше времени на главное - содержание и историю. Если часто делаете презентации - рекомендую попробовать. _______________ CRO & Personalization 🫥

🦜 Data Science меняется быстрее, чем успевают обновляться учебные программы Последнее время всё чаще вижу тезис: AI убьёт Data Science. Я бы сформулировал иначе. AI не отменяет необходимость решать задачи с данными. Он меняет то, как эта работа делается. Раньше типичный workflow выглядел примерно так: почистить данные ➡️ собрать признаки ➡️ обучить модель ➡️ визуализировать ➡️ презентовать результат. Теперь часть этой работы можно делегировать AI-агентам. Ты формулируешь задачу, получаешь код, анализ, модель и даже production-ready воркфлоу. А твоя работа всё чаще смещается в другое место: поставить правильную задачу ➡️ проверить результат ➡️ понять, где AI ошибся ➡️ довести решение до бизнеса. И здесь мне вчера попался интересный бесплатный семинар Matt Dancho. Matt - основатель Business Science, преподаватель Data Science, специалист по R и Python. Он много лет занимается прикладным Data Science и обучением специалистов; среди его инструментов - собственные R-пакеты и практические проекты для бизнеса. Его тезис довольно провокационный: Проблема Data Scientist не в том, что AI умеет писать код. Проблема в том, что теперь писать код - уже не главное. В 2026 его стэк выглядит примерно так: ▫️ AI Agents ▫️ умение быстро доводить решения до production ▫️ понимание бизнес-контекста ▫️ и, пожалуй, самое важное - умение понимать, когда AI неправ. Последний пункт мне кажется особенно важным. Потому что с ростом возможностей AI ценность специалиста может смещаться от я умею сделать анализ к я понимаю, какой анализ вообще нужно сделать и могу проверить, что результат имеет смысл. Matt как раз обещает показать это на практике: AI + Data Science + Python + реальные бизнес-задачи. Поэтому я уже зарегистрировался. Не потому что Data Science умирает. А чтобы посмотреть, каким становится Data Science, когда большая часть технической работы начинает выполняться AI. Если интересно - регистрация на бесплатный workshop от Matt Dancho 23 сентября _______________ C

😛 В A/B-тестах мы используем два разных подхода. Но проблема у них одна. Сейчас в METRO мы работаем сразу с двумя системами: - Gravity Field - Bayesian - Вариокуб от Яндекса - frequentist И раньше мне казалось, что главный вопрос здесь - какой подход лучше. Но свежая статья Spotify заставляет посмотреть на это немного иначе. Ребята объясняют, почему они сознательно не переходит на байесовское A/B-тестирование и разбирают четырёх распространённых мифа: 1️⃣«Байес не требует коррекции на подглядывание (peeking)» - верно только для Bayes-factor stopping; стандартный плоский prior с порогом по постериорной вероятности даёт ту же инфляцию ложноположительных результатов, что и обычное peeking у частотников. 2️⃣ «Байес сам решает проблему множественных метрик» - требует хорошо откалиброванного empirical Bayes prior, построенного на истории ≥200 экспериментов; без этого гарантии не работают. 3️⃣ «Байес лечит winner's curse» - верно только с информативным prior; дефолтный плоский prior не даёт никакой усадки оценки эффекта. 4️⃣ «Нужен Байес для decision theory» - во многих случаях оптимальное байесовское решающее правило математически совпадает с частотистскими методами (mixture SPRT ≈ Bayes factor stopping ≈ group sequential testing). Но для меня самое интересное в другом. Когда статистика сталкивается с культурой компании (по крайней мере так происходит у нас) Если из 100 гипотез у нас выигрывают условные 10 - это нормально. Но для большой корпорации 10 побед на 100 гипотез иногда выглядят не как нормальный результат поиска, а как проблема. На слайде хочется показать больше зелёных цифр. Хочется показать uplift. Хочется показать, что команда приносит результат. И тогда возникает опасный соблазн: посмотреть раньше 💛 найти сегмент 💛 проверить ещё одну метрику 💛 дождаться красивого числа 💛 показать победу. Именно здесь false positive становится не только статистической, но и культурной проблемой. Можно поменять frequentist на Bayesian. Можно поменять p-

🌌Проблема 3 часов ночи Если коротко: сессий меньше, каждая дороже, и хуже всего то, что самые жирные заходы теперь случаются ночью, пока все спят. Кто чинит проблему без человека - тот и выигрывает. Кто ждёт до утра - теряет клиента ещё до завтрака. Факты: • Cyber 5* 2025: $44.2 млрд продаж (+7.7% г/г), но сессий стало на 12.6-16.6% меньше. То есть люди приходили реже, но с деньгами и уже решившись. • Мобилки тащат 75-80% заказов, конверсия подросла до 3.7%. • Загрузка страницы - не проблема, тут всё зелёное. Проблема в отклике на клик (INP): 223-242 мс против нормы в 200. Разница на первый взгляд смешная, а на деле - именно тот момент, где теряют клиента. • AI-трафик (ChatGPT, Copilot и прочие) - пока меньше 2%, но растёт как на дрожжах: +693% за праздники, +138% в мае. И ведёт себя не как обычный поиск: пик в 2-4 утра по UTC, 77% сразу летят на карточку товара (у гугла - 60%), конверсия выше на 54%. Это не случайные зеваки, это люди, которые уже всё решили и готовы платить. *Cyber 5 (иногда Cyber Five) - это пятидневный период главных распродаж в США вокруг Дня благодарения: Thanksgiving, Black Friday, Small Business Saturday, Sunday и Cyber Monday. Проблема трёх ночи: сторонний скрипт подвисает именно в тот момент, когда приходит самый горячий покупатель за вечер - а поправить некому, все спят. К субботе этот покупатель уже ушёл к конкуренту, и разговоры "а давайте после праздников разберёмся" тут не работают - поезд ушёл. Что с этим делать - два уровня: 1. Тупо автоматизировать всё, что касается сторонних скриптов (а это, на секундочку, 44% времени загрузки страницы) - переставлять порядок, блокировать зависшее, без участия человека и без ожидания деплоя. У Yottaa был кейс: скрипт аналитики завис ночью на Black Friday - система сама его вырубила. 2. Там, где руками не обойтись (свой код багует) - хотя бы дать инженеру нормальный алерт с диагнозом, а не голое "что-то сломалось", чтобы не разбираться с нуля в три часа ночи. Что делать до ноября (нам тоже с

Мы уже запускали векторный поиск. С Nibelung. Пилот не взлетел. Прошло время, и в комнате снова прозвучало: А давайте векторный поиск? Звучит модно, звучит как спасение. Это уже было под солнцем... Про прошлую такую супер-фичу, которую мы ждали с придыханием, я писал тут. У Маркса в Восемнадцатом брюмера есть строчка про Гегеля: всё великое в истории случается дважды. Первый раз как трагедия, второй как фарс. Не хочется во второй акт. Что я привёз с конфы В позапрошлые выходные я был на Продукты 24. Отличный доклад для меня: Аня Подображных из Т-Банка про ошибки при создании ИИ-ассистентов. Запись тут. Её главная мысль - пирамида. Строишь снизу вверх, от охвата к качеству: 🤩 Дистрибуция: сколько пользователей и запросов мы реально видим. 🤩 Корзинка запросов: какие запросы попадают в систему и насколько они репрезентативны. 🤩 Данные: товары, пользователи, поведение, контекст запроса. 🤩 Критерии качества: по чему мы решаем, что выдача хорошая. 🤩 Бейзлайн: с чем сравниваем и откуда считаем эффект. С верха начинать нельзя. Можно идеально отладить алгоритм и метрики, но если дистрибуция кривая, все выводы кривые. Ошибка внизу тянет за собой всё остальное: плохой охват, плохая корзинка, плохие данные, неверная оценка качества, неверный бейзлайн. И чем позже ты ошибся, тем дороже. Время уже потрачено, деньги тоже. Как я стараюсь думать Байес. Есть стартовая вероятность (приор), и новые данные её двигают. Раньше я считал шансы фича сработает примерно пятьдесят на пятьдесят, потому что идея красивая. Теперь я спрашиваю себя: а сколько таких идей у нас заходило раньше? Если пилот с векторным поиском уже провалился, приор не может быть 50%. Ферми. До разработки прикинуть порядок величин на салфетке. Какая доля запросов вообще может выиграть от эмбеддингов? Какой максимальный эффект даже в лучшем случае? Если "лучший случай" не окупает стоимость, дальше можно не считать. Теперь голосуем (кто не успел на этих выходных🤓) Мой приор простой: пилот уже не взлетел. П

В этот четверг, 24 сентября, в 16:00 по Москве к нам на Learnings придёт Вика Макеева, продакт в UX Feedback - платформе для сбора, обработки и анализа пользовательского фидбека. Решения на основе фидбека хотят принимать все. Но между «пользователи написали» и «делаем» лежит длинный путь: собрать сигналы, разобрать их, понять, что действительно важно, выбрать решение и проверить его эффект. На каждом этапе есть свои сложности - и свои практические приёмы. Вика покажет, как этот процесс устроен у них в команде: откуда появляются идеи, как пользовательский комментарий превращается в задачу и как команда решает, чему действительно стоит уделить внимание. А какой именно этап принятия продуктового решения разберём глубже - выберем вместе на встрече. Будем смотреть не презентацию «в теории», а живой процесс: артефакты, экран и реальные рабочие примеры. Добавляем в календари и сохраняем https://telemost.yandex.ru/j/2274387059 _______________ CRO & Personalization 🫥 Проголосовать, чтобы сторис было больше 👍

ИИ есть у всех, согласны же? А вот толк - у каждого десятого. 😳 Да да, та же самая медиана о которой говорит Рон Кохави про успешные АБ тесты… СТО ПРОЦЕНТОВ 💯 агентств, которые делают A/B и CRO, уже работают с ИИ. Gravity Filed в этом тоже не исключение. Ощутимую выгоду получили девять процентов. Девять. 🤩 Это из свежего отчёта Крейга Салливана (Convert и Speero, 54 агентства). А мне казалось что ИИ всё ускорил, тестов стало больше, чек вырос. Не, я не прав. Тесты по-прежнему делают люди. 😂 Самая сильная связь во всём исследовании - между числом тестов и размером команды, τ Кендалла 0,69. А сколько задач отдали ИИ, сколько инструментов подключили, насколько сократили цикл - с объёмом тестов это почти не связано. Максимум +0,14, и интервалы уходят за ноль. Хочешь больше экспериментов - нанимай людей. С ценами то же самое. Подняли 46%, держат 35%, снизили 15%. Тех, кто поднял, спросили почему. 72% ответили, что перешли на более дорогую работу. На ИИ-конкурентов сослались 8%. Зато среди восьми агентств, которые цены срезали (да, восьми, выборка крошечная), про ИИ-инструменты говорит половина. Так что если ИИ и двигает цены, то вниз. Что интересно, то как агентства думают о себе. 63% считают, что ИИ обесценивает часть того, что они продают. 81% уверены, что у них есть человеческое преимущество, которое машина не повторит. Ровно половина согласна с обоими утверждениями сразу. Салливан называет это held paradox. По-моему, это просто честно: руки дешевеют, голова пока нет. Только о переходе к стратегии говорят 52%, а реально продают себя как стратегов 26%. Остальные пока собираются. И боятся они вовсе не нейросетей. Боятся остаться без клиентов: 39% на первое место ставят поиск новых, 30% — удержание старых. ИИ третий, с 24%. Тем временем клиенты забирают тестирование к себе (69% против 62% год назад) и переходят на server-side (35% против 18%). Выборки в эти два года разные, так что трендом я бы это не называл. Но картина знакомая. Если вы работаете in-house,

Итак, Мэтт показал на практике: AI + Data Science + Python + реальные бизнес-задачи. Подробнее. Контент на эти выходные. Кто не смотрел, вот запись. Возможно, душновато и много кода, но нужно погружаться: что делать то, да и надо. Потом будет поздно. _______________ CRO & Personalization 😊 Проголосовать, чтобы сторис было больше 👍

🍋Свежая статья из Nature Human Behaviour (сентябрь 2026): «The future of large-scale experiments and their challenges in the digital era» (David Holtz et al.) Сама статья обзорная - о будущем крупномасштабных рандомизированных экспериментов (A/B-тесты и подобные) в цифровую эпоху. Авторы выделяют 6 ключевых проблемных областей: 1. Стимулы и организационный дизайн - локальные стимулы толкают к «безопасным» экспериментам с малой дисперсией, а не к научно значимым. 2. Приватность, справедливость и этика - трудности с информированным согласием, дифференциальной приватностью, репрезентативностью выборки. 3. Оценка долгосрочных эффектов - краткосрочные результаты часто расходятся с долгосрочными, а наблюдать последние напрямую дорого/невозможно. 4. Адаптивные эксперименты - баланс между гибкостью (ранняя остановка, адаптивное распределение) и статистической валидностью. 5. Гетерогенные эффекты воздействия - оценка различий в эффекте по подгруппам и связанные с этим проблемы множественных сравнений. 6. Искусственный интеллект - AI снижает стоимость экспериментов, но создаёт риски «эксперимент-спама», проблемы воспроизводимости и непрозрачности. В pdf - экранка (качество немного расплывчато, нельзя было скачать); сама статья по ссылке. _______________ CRO & Personalization 🥒 Проголосовать, чтобы сторис было больше 👍

1️⃣ Вчера обновили блок любимых категорий на главной. Теперь категорий больше 100, показываем по аффинити (что это). Блок держит самый высокий энгейджмент на главной: clicks/users > 20%. Делитесь скринами, какая подборка категорий у вас - интересно посмотреть, как раскаталось на разных аккаунтах. _______________ CRO & Personalization 🐧🐧 Проголосовать, чтобы сторис было больше 🙂

A/B-тесты с ИИ: можно ли отдать эксперимент Claude и уйти? 22 октября Аллон проверит это в прямом эфире. Три аналитика, три совершенно разных подхода: 🤷‍♀️ Беспомощная Кейла пишет «Проанализируй это» и надеется на чудо 😎 Самоуверенная Эшли просит у ИИ то, что ни один эксперимент не должен пережить 🧠 Методичная Меган задаёт правильные вопросы, и этого должно хватить. Должно. Никакого сценария. Вместе посмотрим, где ИИ реально силён, где он тихо ошибается и что делает анализ с помощью ИИ заслуживающим доверия. 📆 Четверг, 22 октября ⏰ 12:00 ET / 9:00 PT (19:00 по Москве) ⏱ 30 минут Регистрация по ссылке Аллон Корем - CEO компании Bell Statistics, которая помогает бизнесу строить рост на данных: A/B-тестирование, экспериментирование и статистика. Он регулярно делится практическими разборами по экспериментам и вебинарами для продуктовых и аналитических команд. Оригинал поста в LinkedIn _______________ CRO & Personalization 🤩 Проголосовать, чтобы сторис было больше 🙂

Бейджи: когда больше значит меньше В М.Видео на одной карточке у нас висело до восьми бейджей. Может, и больше, уже не помню. Смотришь и не понимаешь, что тебе вообще пытаются сказать. Недавно мы с командой убрали бейдж «Выгодная цена» 🟡. Он стоит на товарах EDLP (Everyday Low Pricing). Убрали его везде на листингах, кроме первых двух товаров в мобильной версии сайта. Тестировали на отдельных категориях и только в определённые дни, чтобы лишний раз не раздражать бизнес. Данных немного, но эксперимент шёл достаточно долго. Итог: разницы нет. Бейдж, который должен помогать, судя по всему, ничего не делает. Цена и так на виду. Он ничего не добавляет, только шумит. Для сравнения вот несколько правил, которым следуют крупные площадки: 💲 Один бейдж, один смысл. «Хит», «Новинка», «Выгодно», «Популярное» и «Спецпредложение» на одной карточке не работают вообще. 💲 Бейдж должен менять решение. Если всё и так видно из карточки, он лишний. 💲 Редкость и есть ценность. Когда бейдж на половине каталога, он ничего не выделяет. «Popular Picks» у Walmart работает, потому что даёт то, чего в карточке нет: чужое поведение. 💲 Бейдж не врёт и умирает вовремя. «Мало на складе» после поставки убрать. «Новинка» через три месяца уже не новинка. «Бестселлер» только по данным. Иначе ему просто перестанут верить. 💲Тестировать. Baymard говорит похожее: бейдж оправдан, если несёт значимую информацию, которой нет в карточке. Но на вашем каталоге может быть иначе. «Без бейджей лучше» тоже не закон. Схема простая: бейдж 🔻 гипотеза 🔻 тест 🔻 решение. И иногда лучший бейдж тот, который выпилили. Но наши бейджи останутся висеть дальше, так как в корпоративном мире совсем другие правила. Источники: Baymard Institute - What is a UI Badge? https://baymard.com/blog/badge-ui CleanCommit - Enhanced Product Discovery with Badges https://cleancommit.io/ab-tests/enhanced-product-discovery-with-badges Walmart / GoodUI - Popular Product Tags https://goodui.org/leaks/walmart-a-b-tests-popular-produc