Риски внедрения ИИ в бизнес

Специалист по информационным технологиям компании «НПП Лосев» Олег Сорокин выступил на стратегической сессии, посвящённой внедрению искусственного интеллекта (ИИ) в промышленность. Мероприятие организовали ИД «Алтапресс» и Алтайское региональное отделение Клуба молодых промышленников. Эксперт выделил ключевые риски безопасности при использовании ИИ.

ИИ и нейросеть: в чём разница

Искусственный интеллект — это способность машин имитировать разумное поведение человека. Нейросеть — это инструмент внутри ИИ, созданный по принципу работы мозга. ИИ — цель, а нейросети — один из способов её достижения, например, для распознавания лиц или генерации текста.

Риск №1: утечка данных в интернет

Сотрудники могут использовать публичные нейросети для ускорения работы с рутинные задачами, загружая в них служебные данные, включая персональные. Однако, по словам Сорокина, использование зарубежных нейросетей противоречит закону о защите персональных данных, так как серверы должны находиться в России.

Риск №2: уязвимости RAG-систем

RAG (Retrieval-Augmented Generation) — технология ИИ, которая объединяет большую языковую модель с базами знаний. Она ищет релевантную информацию во внешних источниках и генерирует ответ на её основе. Однако архитектура ИИ создаёт уязвимости: в отличие от классической компьютерной архитектуры, где данные пользователя и инструкции разделены, в ИИ всё передаётся в одном потоке. Это может привести к утечке конфиденциальной информации.

Злоумышленники могут обходить guardrails — систему программных правил и ограничений, которая обеспечивает безопасную работу ИИ. Например, если генератор изображений не рисует Бэтмена из-за запрета правообладателей, пользователь может обойти ограничение, запросив «супергероя в костюме летучей мыши».

Риск №3: автоматизация как помощник для атаки

Компании часто настраивают автоматические шлюзы для связи внутренних баз данных с RAG-системами. Однако уязвимости в исходных программных продуктах могут привести к расширению воронки утечки данных при доступе ИИ-агентов к информации.

Сорокин подчеркнул, что пока не существует стопроцентной защиты от угроз, связанных с ИИ. Если специалисты по информационной безопасности выступают против внедрения ИИ, стоит попросить их объяснить причины такого решения.