ПостAnthropic скоро начнут маркировать сгенерированный текст. Это довольно интересный поворот. Для картинок, музыки и видео …

Anthropic скоро начнут маркировать сгенерированный текст. Это довольно интересный поворот. Для картинок, музыки и видео невидимые водяные знаки существовали уже давно, например, SynthID от Google Deepmind, обнародованный ещё в 2023. С медиа-контентом всё относительно просто. На картинке или видео можно незаметно поменять цвет нескольких пикселей, человеческий глаз ничего не увидит, но алгоритмические детекторы сразу распознают. Аналогичным образом можно подмешивать неразличимый уху шум к аудио. С текстами ситуация принципиально другая. Незаметно подмешать к тексту лишние символы или скрытые буквы невозможно. Если быть точным, невидимые пробелы и спецсимволы существуют, но они могут теряться при копировании, к тому же очень легко написать скрипт, который удаляет весь подобный мусор, оставляя только чистые буквы и нормальные пробелы. Надежную маркировку на скрытых символах не сделаешь. Вместо этого Anthropic будут использовать статистику и особенности работы самих LLM. Например, у Claude при генерации текста на выбор есть 2 равновероятных варианта продолжения: «он произнёс» и «он сказал». В половине случаев модель выберет один вариант, а в другой половине второй. Причем снаружи вообще не видно, какой из двух вариантов был условно первым, а какой вторым. В разных участках текста они могут меняться местами. Увидеть это можно только заглянув во внутренности самого Claude. Если теперь изменить алгоритм так, чтобы он чаще отдавал предпочтение именно первому варианту, скажем, вместо 50 на 50 станет 51 на 49, снаружи ничего не изменится. И даже изнутри по одному такому выбору ничего сказать нельзя. Но на больших текстах, где подобных выборов было много, статистический сдвиг будет заметен. Чем больше было подобных близких выборов при генерации, тем меньше шансов, что их итоговая статистика случайно совпала с ожидаемой. Поскольку сам выбор слов в тексте несёт на себе отпечаток алгоритма, он не удаляется при копировании. Более того, переписывание части текста тоже не обманет детектор, максимум снизит его уверенность. Обмануть детектор можно будет только полностью переписав весь текст. Но если делать это руками, это большая работа, частично нивелирующая сам смысл использовать ИИ. Если поручить задачу другому ИИ, его литературный стиль может быть хуже чем у Claude. К тому же у другого ИИ может быть своя собственная маркировка. Почти одновременно с Claude, главный сервис для генерации ИИ музыки, Suno, тоже объявил, что будет маркировать свою музыку. Причём у Suno всё ещё строже: они будут хранить базу данных цифровых слепков сгенерированной музыки. Изменить тональность на полтона, ускорить на 5%, наложить шумы — всё это не поможет. Чтобы изменить слепок, придётся менять саму мелодию, структуру или звучание композиции. А это уже полноценная творческая работа, требующая владения соответствующими инструментами. Лично у меня зреет уверенность, что вслед за Anthropic и Suno, остальные крупные игроки тоже начнут вводить маркировку. Тем, кто этого делать не будет, начнут запрещать работу на рынках вроде ЕС. А вслед за волной маркировок, я уверен, начнется волна тотальной фильтрации ИИ контента, его будут если не вычищать, то скрывать для всех, кто не включит где-нибудь в настройках галку «я хочу видеть ИИ контент». Изменит ли всё это облик интернета? Скорее всего нет. Открытые модели никуда не денутся. Алгоритмы для обмана детекторов появятся очень быстро. Гонка вооружений будет идти какое-то время. К сожалению, фильтры ИИ ударят в основном по массовому, ленивому пользователю ИИ. Но большая часть ИИ контента пишется не людьми, копирующими из ChatGPT, а сетями ботов. Те кто могут себе позволить и умеют поднимать сети ботов, разберутся и с открытыми моделями, и с алгоритмами обмана детекторов. Поэтому, я думаю, пропорция человеческих текстов и комментариев к сгенерированным продолжит уверенно сокращаться. К сожалению, я думаю, что маркировки ИИ текстов останутся в истории довольно незаметным шагом на пути к единственному реальному решению — интернету по паспорту.