ПостCausal Interventions Reveal Typologically Organized Syntactic Mechanisms in Multilingual Language Models

Causal Interventions Reveal Typologically Organized Syntactic Mechanisms in Multilingual Language Models Причинные интервенции выявляют типологически организованные синтаксические механизмы в многоязычных языковых моделях https://www.alphaxiv.org/abs/2608.28924 ——— LLM кластеризует языки в хабы, соответствующие их лингвистическим семьям: например, романские языки (французский, итальянский, испанский) или славянские языки (русский, болгарский, польский). Внутри хаба LLM одинаковым образом кодирует общие для группы абстрактные представления, например, «множественность». К примеру, в «остаточном потоке» можно найти направление/размерность, которая переключает множественность в английском языке, после чего в этом направлении сдвинуть скрытое состояние для предложения на немецком – воздействие будет аналогичным как в исходном языке, так как оба языка принадлежат к «хабу» индоевропейских языков.