Информационная безопасность в эпоху ИИ: о чем важно знать уже сейчас?
Обсудим 8 октября на бесплатной конференции Selectel ТехноДень о кибербезопасности, ИТ-инфраструктуре, ИИ и данных.
Эксперты топовых технологических компаний расскажут:
🔺Как применение нейросетей меняет рабочие процессы с точки зрения ИБ и как снизить риски.
🔺Где проходит граница между безопасностью и развитием бизнеса. Должен ли CISO ограничивать внедрение ИИ или создавать условия для его безопасного использования.
🔺Как выжить, когда бизнес масштабируется и требования ИБ множатся.
Кроме экспертных докладов и реальных кейсов, участников ждут 20 интерактивных стендов, живое общение и вечерняя программа с живой записью подкаста Вселенная Плюс на главной сцене конференции.
Место встречи — Москва, Кластер «Ломоносов». Участие в конференции бесплатное, нужно зарегистрироваться →
Реклама. АО "Селектел", ИНН 7810962785. erid:2W5zFGRxuQ5
Видео Безопасность_ИИ_в_2026_году_—_Сергей_Николенко.mp4 · 239.4 МБ · нажмите — покажем
Безопасность ИИ в 2026 году — Сергей Николенко, 25 июня 2026 - видео
Фотография нажмите — покажем
Файл AI Security.pdf · 1.8 МБ · нажмите — покажем
25% финтех-компаний планируют существенно нарастить инвестиции в киберзащиту ИИ в ближайшие 1–2 года
2/3 компаний российского финтех-рынка используют внутренние разработки для защиты ИИ, при этом только 25% - уже применяют специализированные внешние ИБ-решения. Такие данные приводятся в совместном исследовании Ассоциации ФинТех, ГК «Солар», Б1 и HiveTrace.
Доля компаний финтех-отрасли, которые считают ИИ стратегическим приоритетом или критически важной технологией для ключевых процессов на 9 п.п. выше, чем в среднем у опрошенных в рамках исследования компаний. Чаще среднего используются защищенные схемы развертывания ИИ: 44% респондентов - в частном контуре, и такая же доля использует гибрид частного и публичного контура. При этом 50% опрошенных представителей финтех-компаний полностью или скорее удовлетворены защитой ИИ (по сравнению с 41% в среднем). При этом четверть компаний отрасли планируют значительно увеличить инвестиции в киберзащиту ИИ в ближайшие 1-2 года.
Для защиты компании отрасли чаще внедряют не точечные ограничения, а полноценный операционный контур контроля – защиту данных, журналирование и аудит, фильтрацию запросов, непрерывный мониторинг, интеграцию событий ИИ в SOC, контроль автономных решений, разворачивание ИИ в частном контуре. Среди приоритетов в этой области участники рынка отмечают защиту ИИ-агентов, формирование стратегий и политик защиты ИИ, использование ИИ в закрытом контуре.
🗣️ Руководитель управления информационной безопасности Ассоциация ФинТех Александр Товстолип: Финансовый сектор одним из первых начал массово внедрять искусственный интеллект в процессы, связанные с принятием решений, обработкой клиентских данных, антифрод-системами и автоматизацией сервисов. При этом мы видим, что развитие ИИ происходит значительно быстрее, чем формирование единых подходов к его безопасности. Для финтеха это особенно чувствительно: любая ошибка модели, утечка данных, манипуляция алгоритмами или недостаточная прозрачность решений напрямую вли
ФСТЭК в последние годы активно закрывает пробелы по регулированию ИИ , появились и методические рекомендации, и требования к оценке рисков. Для корпоративных решений это значит что нужно не просто «работающий» ИИ, а документированный и соответствующий требованиям 152-ФЗ.
на regcloud это всё уже из коробки есть: ЦОД сертифицирован по Tier III, RED OS в списке доверенных ОС (ФСТЭК, 152-ФЗ, КИИ), плюс есть S3-совместимое хранилище и managed services для разворачивания своих моделей в изолированном контуре. если нужна аудируемость , это тоже покрывается.
для ворклоадов с ИИ там кстати JupyterHub удобно использовать , и для тестирования, и для прода, с контролем доступа и логированием
СРОЧНАЯ НОВОСТЬ‼️‼️‼️
🇨🇳 Китай утвердил первые судебные правила по ИИ
📌7 сентября 2026 г. Верховный народный суд КНР опубликовал «Мнение о рассмотрении на основе закона дел по спорам, связанных с искусственным интеллектом»
最高法发布《关于依法审理涉人工智能纠纷案件的意见》
📌 это первый в истории страны документ, задающий правила для судов по спорам с участием ИИ: ‼️первый официальный ориентир для судей, как применять действующие законы к спорам, порождённым технологиями ИИ;
‼️Ключевые тезисы:
1️⃣Кто управляет ИИ — тот и отвечает. Нельзя отмахнуться фразой «это сделал алгоритм»;
2️⃣Big data-динамическое ценообразование — если алгоритм предлагает один и тот же товар/услугу разным людям по необоснованно разным ценам, это нарушение;
3️⃣Дипфейки и подделка голоса — использование чужого лица или голоса в коммерческих целях без согласия = привлечение к юридической ответственности;
4️⃣Беспилотные автомобили — впервые на уровне Верховного народного суда прописана схема распределения ответственности между водителем, производителем и оператором;
5️⃣Контент, созданный ИИ — если он нарушает чьи-то права, отвечает тот, кто запустил генерацию.
Что осталось «за скобками»:
📌Два самых спорных вопроса суд пока не решил:
- Можно ли считать ИИ-контент объектом авторского права?
- Является ли обучение моделей на чужих данных без разрешения нарушением?
🇨🇳Вывод: Китай не стал ждать принятия отдельного закона об ИИ, а уже сейчас через судебную практику формирует правовое поле. Это документ для всех, кто работает с ИИ-технологиями на китайском рынке.
Бегу изучать его на языке оригинала! Это действительно «бомба»‼️‼️‼️
Странам БРИКС предложили создать общую платформу ИИ-суверенитета, чтобы снизить зависимость от зарубежных поставщиков. С инициативой выступил первый зампред правления Сбера Александр Ведяхин. По его словам, собственной нейросети недостаточно — нужны вычислительные мощности, данные, специалисты и регулирование. Немногие страны могут обеспечить всё это самостоятельно, поэтому участники могли бы дополнять возможности друг друга и совместно развивать технологии. Иначе мир рискует столкнуться с «ИИ-разрывом» между государствами. @bankrollo
Госструктуры запрещают использование ИИ. Минпросвещения ввело запрет для школ на загрузку в нейросети персональных данных учеников, родителей и учителей, а также оценок и внутренних документов.
Согласно новым методическим рекомендациям, педагогам разрешили применять ИИ для подготовки к занятиям и анализа успеваемости. При этом при использовании сторонних сервисов вся передаваемая информация обязана проходить процедуру обезличивания.
Кроме того, дочка «Ростелекома» начала вносить в новые контракты с подрядчиками полный запрет на несертифицированное применение ИИ. Штраф за нарушение составит 30% от стоимости договора.
Такой пункт уже появился в проекте соглашения группы компаний «Солар» по модернизации сети для Генеральной прокуратуры России.
Представители компании подчеркнули, что вопрос контроля над технологиями критичен для безопасности: «Если в работе применялся ИИ, мы хотим знать, где именно он использовался и как подрядчик проверил то, что выдала модель». Также в компании опасаются утечек данных. @banksta
Насколько хорошо ИИ анализирует код, написанный им же?
Всем привет!
Автор статьи работает в Greptile, которая занимается разработкой агента для AI Code Review.
В процессе работы ему стало интересно, влияет ли используемая модель на то, сколько недостатков находится?
Или, если проще, насколько хороши модели в анализе кода, который написан ими же?
Для этого он подготовил данные и методологию:
🍭 Собрал данные из 500 PR, которые были написаны с использованием Claude Code и Codex
🍭 «Авторство» модели определялось через данные, получаемые из commit, названий PR и/или веток
🍭 Подготовил перечень дефектов, которые были в этих 500 PR
🍭 Запустил Codex и Claude Code в
/review
3 раза
🍭 «Почистил» результаты от комментариев, которые относились к «стилистике» и не являлись дефектами
Что получилось? Оказалось, что модели лучше ищут ошибки в коде, который написан другими моделями.
Разрыв не очень большой, но всё же присутствует.
Ещё одним интересным наблюдением оказалось то, что модель скорее всего допустит ошибку при разработке, которую она скорее всего пропустит в review.
Помимо этого, в статье есть ещё много интересного. Включая дефекты, которые находились при «рассуждениях», но пропадали из «финального вердикта».
ИИ захватит весь интернет через 6–12 месяцев, предупредил глава Anthropic Дарио Амодеи. По его словам, целый рой ИИ-агентов в будущем сможет создать устойчивую бот-сеть и нанести ущерб на сотни миллиардов долларов. @streetwall
Модели ИИ самостоятельно придумывают новый вариант английского языка и общаются на нём. Это может создать проблемы для надзора за ними.
Как пишет The Guardian, нейросетевой язык сочетает в себе элементы поэзии и компьютерного жаргона.
ИИ-модели крупнейших мировых компаний создают фразы, термины и сокращения, которым их никто не обучал напрямую. Метафоры и сленговые выражения, которые они используют, затрудняют для людей понимание того, о чём общаются модели искусственного интеллекта.
«Это создаёт фундаментальную проблему для надзора за ИИ», — констатировали исследователи из американской лаборатории Emergence.
Ранее сообщалось, что группа ИИ-агентов из OpenAI взломала немецкоязычный вики-сайт и превратила его в свой форум. OpenAI держала это в секрете, поскольку исправляла последствия июльского взлома площадки Hugging Face — тогда нейросетевые модели также координировали свои действия через общение
Нашему СНТ ИИ насчитал налогов 12 млн рублей придумав оборот 12 млрд. Это организация, не ведущая коммерческую деятельность. С третьего раза удалось отменить.
📅 Безопасность LLM | Почему чат-бот в приложении – новая дыра
Prompt injection – это когда пользователь прячет в обычном тексте команды для встроенного ИИ, и тот выполняет их вместо инструкций разработчика, делая то, что не должен.
Классические фаерволы и проверки тут не спасают: вредоносная команда выглядит как обычный текст, а «уязвимость» живёт в самой логике модели, а не в коде.
— В материале разберем основные атаки на LLM-приложения, OWASP Top 10 для них и риски интеграций через MCP, инструменты AI red teaming вроде Garak и PyRIT и чек-лист из 10 пунктов для защиты.
↘️ Codeby
☑️ Записки Безопасника
⭐️ max.ru/infosec_globe
Использование ИИ-ботов для финансовых вопросов может обернуться крупными потерями, пишет FT.
Согласно отчету, самые популярные ИИ-модели от ChatGPT, Claude, Copilot, Grok и Gemini в среднем давали неверные ответы на финансовые запросы в 57% случаев. При более сложных вопросах, требующих нескольких расчетов, модели ошибались в среднем в 88% случаев, а некоторые модели давали неправильные ответы на 99% таких вопросов.
По поводу prompt injection и OWASP Top 10. Мы тоже тестируем LLM-приложения и нашли похожую уязвимость с утечкой через RAG. Если интересно, могу поделиться, как мы это выявили. А кто-нибудь использовал Garak для red teaming? Какие результаты?
garak , неплохой инструмент для автоматизированного red teaming, но по моему опыту он лучше для базового сканирования, реальные уязвимости в RAG-пайплайнах чаще находятся через ручное тестирование с умышленно отравленными документами в векторной базе. prompt injection в RAG особенно опасен когда документы из внешних источников попадают в контекст без санитизации , можно вытянуть чужие данные через specially crafted запросы. мы для таких тестов поднимаем изолированные LLM-инстансы на regcloud: gpu-инстанс + self-hosted модель, всё в российском контуре, данные не утекут если что-то пойдёт не так при тестировании. ну и плюс 152-ФЗ там сертифицировано, для корпоративных проектов это важно
Спасибо за подробный ответ, Кирилл! Полностью согласен — автоматические сканеры вроде Garak хороши для базового red teaming, но реальные уязвимости в RAG-пайплайнах часто находятся именно через ручное тестирование с учётом специфики.
У нас тоже был кейс: через специально сформированный документ в базе знаний удалось вытащить данные другого клиента. Санитизация входящих документов — критична, но её часто недооценивают. Особенно когда контекст собирается из внешних источников.
Интересно, что вы используете изолированные LLM-инстансы на regcloud. А как проверяете их на устойчивость к prompt injection? Есть ли свои чек-листы или наработки? Мы как раз занимаемся аудитом AI-агентов и RAG-систем, было бы полезно обменяться опытом.
Если интересно — можем в личке обсудить детали. У нас есть бесплатный экспресс-аудит для RAG, можем прогнать ваш кейс и показать, что найдём.
по prompt injection обычно используем комбинированный подход: статические чек-листы (OWASP Top 10 for LLM, Microsoft Prompt Injection Benchmark) плюс динамическое тестирование , генерируем сотни вредоносных промптов и смотрим как система реагирует. важно тестировать не только «сырой» инjection, но и косвенные векторы (через документы в RAG, через код-интерпретатор).<br><br>для изолированного тестирования удобно поднимать отдельные LLM-инстансы в том же regcloud-контуре , почасовая тарификация позволяет держать тестовые стенды только когда нужно, без переплаты за idle. плюс данные не утекут за периметр, что критично при аудите реальных кейсов.<br><br>если нужны чек-листы , могу скинуть в личку, там около 40 векторов атаки для RAG-систем собирали