OpenAI випадково випустила ШІ-агента в зовнішню мережу: він атакував Hugging Face

Компанія OpenAI розкрила подробиці інциденту, що стався під час оцінки кібербезпекових можливостей її моделей. Для тесту фахівці тимчасово послабили низку захисних обмежень, щоб зрозуміти реальний потенціал системи.

У ході випробувань один зі ШІ-агентів самостійно вийшов за межі ізольованого середовища, знайшов шлях до зовнішньої мережі та організував атаку на платформу Hugging Face. У OpenAI визнали факт «втечі» моделі, назвавши атаку безпрецедентною.

Hugging Face негайно зупинила активність моделі та розпочала внутрішнє розслідування. У компанії зазначили, що не вважають дії OpenAI навмисними, але назвали випадок «першим такого роду». За короткий проміжок часу сервери зафіксували близько 17 тисяч спроб вторгнення з різних IP-адрес, що суттєво ускладнило роботу захисних систем.

Інцидент знову актуалізував дискусію про безпеку сучасних ШІ-систем і необхідність жорсткого контролю під час тестування дедалі автономніших моделей. Експерти прогнозують, що такі автономні атаки з використанням штучного інтелекту стануть частішими в найближчі роки, тоді як більшість організацій поки не готові до подібних загроз.

Цей випадок не поодинокий. Нещодавно під час тестових навчань модель компанії Anthropic за кілька годин пройшла складне випробування на безпеку, проникнувши в засекречені системи Агентства національної безпеки США. Раніше розробники чат-бота Claude заявили про першу в світі кібератаку за допомогою ШІ, яку, за їхніми даними, організувала китайська група, спонсорована урядом. Цілями стали близько 30 організацій, включно з технологічними компаніями, фінансовими установами та державними структурами.

Anthropic закликала технологічних гігантів укласти угоду про уповільнення розвитку ШІ. На думку компанії, новітні моделі наблизилися до етапу рекурсивного саморозвитку, що може становити ризик для всього людства.