Пост Кто-то протестировал 35 AI-моделей на 172 млрд токенов реальных вопросов по документам.

Кто-то протестировал 35 AI-моделей на 172 млрд токенов реальных вопросов по документам. Цифры по галлюцинациям должны навсегда закрыть аргумент: «просто дайте модели документы». Вот что на самом деле показали данные. Лучшая модель во всём исследовании, в идеальных условиях, выдумывала ответы в 1,19% случаев. Это звучит немного — пока не понимаешь, что это потолок. Абсолютно лучший возможный результат. При оптимальных настройках, которые почти никогда не используются в реальных внедрениях. Типичные топ-модели показывают 5–7% фабрикаций в задачах document Q&A. Не на вопросах из памяти. Не на абстрактном рассуждении. А на вопросах, где ответ буквально лежит в документе перед моделью. Медианное значение среди всех 35 протестированных моделей — около 25%. То есть каждый четвёртый ответ — выдумка, даже когда исходный материал предоставлен. Затем протестировали, что происходит при увеличении окна контекста. Всем компаниям, продающим 128K и 200K context как решение проблемы галлюцинаций, стоит внимательно прочитать этот момент. При длине контекста 200K каждая модель в исследовании превысила 10% галлюцинаций. Показатель почти утроился по сравнению с оптимальными более короткими контекстами. Чем длиннее окно контекста, тем выше уровень фабрикаций. Фича, которую продают как решение проблемы, на практике заметно её усугубляет. Есть ещё одно наблюдение, о котором говорят недостаточно. Навык grounding (привязки к источнику) и способность избегать фабрикаций — это две разные способности у моделей. Модель может отлично находить релевантную информацию в документе, но при этом плохо справляться с тем, чтобы не придумывать факты. Это разные метрики, и между ними нет надёжной корреляции. Нельзя предполагать, что если модель хорошо делает retrieval, то она меньше галлюцинирует. 172 млрд токенов. 35 моделей. Вывод у всех один и тот же. Передача LLM самого документа не решает проблему галлюцинаций. Она лишь меняет форму их проявления. 👉 @PythonPortal