ПостInterFormer: Effective Heterogeneous Interaction Learning for CTR Prediction

InterFormer: Effective Heterogeneous Interaction Learning for CTR Prediction Сегодня разбираем статью InterFormer об архитектуре под задачу CTR-prediction на гетерогенных данных: статичных признаках пользователя/айтема и поведенческих последовательностях. Авторы выделяют две проблемы существующих подходов:   1. слабое взаимодействие между sequence- и non-sequence-фичами;   2. агрессивное раннее сжатие последовательностей через pooling/summary, из-за чего теряется много информации. Ключевой вклад — модуль InterFormer, который обрабатывает разные типы признаков отдельно, но на каждом слое обменивает между ними сжатые представления: 🔴Interaction Arch — работает с non-sequence-фичами: user profile, item features, context. Ко входу добавляется summary последовательности, а в качестве бекбона можно использовать разные interaction-модули, например DCNv2 или DHEN. 🔴Sequence Arch — моделирует историю пользователя. Здесь sequence-эмбеддинги обновляются с учётом summary от non-sequence-фичей: сначала через personalized FFN, затем через multi-head attention. 🔴Cross Arch — слой обмена между двумя ветками. Non-sequence-признаки сжимаются через gated selection, а sequence-информация суммаризуется через комбинацию CLS-, PMA- и recent-tokens. Эти summary передаются в соседнюю ветку на следующем слое. Идея в том, чтобы не «схлопывать» все признаки в один вектор слишком рано, а делать «двунаправленный обмен»: sequence помогает non-sequence-части, а non-sequence-контекст помогает sequence-моделированию. Для задачи CTR используется стандартная бинарная кросс-энтропия. Из публичных: AmazonElectronics (3M), TaobaoAds (25M), KuaiVideo (137M). Также авторы используют крупный внутренний датасет Meta* на 70B семплов. На публичных датасетах InterFormer даёт лучшие результаты среди бейзлайнов. На внутреннем датасете Meta авторы показывают +0,15% NE, +24% QPS, а в pilot launch +0,6% uplift по по основным продуктовым метрикам. Ablation studies подтверждают, что: 🔴bidirectional interaction лучше однонаправленного обмена; 🔴selective aggregation лучше раннего pooling/MLP/MHA-сжатия; 🔴удаление PMA, recent tokens, gating, PFFN или MHA ухудшает качество. Главное достоинство InterFormer — имплементация идеи с двунаправленным взаимодействием между статичными признаками и последовательностями без агрессивного раннего сжатия. Однако архитектура получилась довольно сложной и тяжелой для распараллеливания, приросты на публичных датасетах небольшие, а самые интересные production-результаты получены на закрытых данных Meta. @RecSysChannel Разбор подготовил ❣ Никита Степанов ___ Компания Meta признана экстремистской; её деятельность в России запрещена.