Пост​​Что вы на самом деле покупаете, когда приобретаете детектор ИИ

​​Что вы на самом деле покупаете, когда приобретаете детектор ИИ Автор: Ань Май При покупке AI-детектора образовательная организация фактически покупает не столько «детектор ИИ», сколько систему выявления подозрительных работ — вместе с риском ошибочных обвинений. Здесь важна не только общая точность детектора, но и то, на ком именно он ошибается. Исследование  (Liang et al., Patterns, 2023)  показало резкое ухудшение результатов на текстах студентов, для которых английский не является родным языком: ложноположительные срабатывания достигали в среднем 61,3%, тогда как на текстах американских школьников детекторы работали почти идеально. Простое изменение словарного уровня текста резко меняло результат при неизменном авторстве. Это означает, что детектор может фактически принимать особенности языка и стиля письма за признаки машинной генерации. Однако, существуют и противоположные исследования с очень низким уровнем ложных срабатываний. Поэтому вопрос должен звучать не «точен ли детектор?», а: На каком корпусе, при каком пороге и для какой категории учащихся измерена его точность? Особенно важен масштаб ошибки: даже 1% ложных срабатываний при десятках тысяч студенческих работ означает сотни ошибочно подозреваемых студентов. Статья критикует подход, при котором университет покупает детектор, но не покупает одновременно процедуру апелляции и расследования. Детектор, по мнению автора, должен быть лишь сигналом для дополнительной проверки, а не доказательством нарушения. Перед покупкой нужно проверить три вещи: 1. Каков уровень ложноположительных результатов и на каком корпусе он рассчитан? 2. Сколько ошибочных срабатываний получится в масштабах именно вашего университета и сможет ли система апелляций их обработать? 3. Можно ли доказать нарушение без самого показания детектора? Предлагается перестать рассматривать AI-detector как инструмент, который «определяет, писал ли студент с помощью ИИ», и рассматривать его как вероятностный индикатор, который запускает человеческую проверку и несет вполне конкретный риск дискриминационных ошибок. Читать 4мин)