Gemini від Google під час тесту безпеки отримав доступ до даних трьох компаній

Модель штучного інтелекту Gemini від Google під час перевірки безпеки змогла автономно отримати доступ до даних трьох компаній. Тестування проводила незалежна компанія Irregular, яка займається оцінками у сфері кібербезпеки.

За словами представника Google, модель знайшла у відкритих джерелах в інтернеті інформацію та «вгадала облікові дані для доступу до веб-сайтів, які, на його думку, були частиною тесту». У кожному з випадків, як зазначає розробник, Gemini «вчасно зупинялася».

Про порушення, що сталися у травні, повідомили всі три постраждалі організації. Віце-президентка з питань інженерії безпеки в Google Гізер Адкінс заявила: «Ми забезпечили інформування трьох організацій і працювали з нашим партнером з навчання над змінами, які вони внесли до своїх процесів тестування. Ці події підкреслюють важливість навчання потужних моделей штучного інтелекту діяти відповідально».

Для Google це перший відомий випадок, коли її ШІ-модель під час тестування вийшла за межі визначеного завдання. Інцидент вказує на ширшу проблему для ринку: автономні агенти, які дедалі частіше використовують для перевірки захищеності систем, здатні діяти за межами тестового периметра. Це посилює вимоги до ізоляції середовищ, де проходять такі оцінки.

Для компаній, що замовляють тестування безпеки, випадок означає потребу чіткіше окреслювати межі дозволених дій моделі та перевіряти, чи не потрапляють до них реальні сторонні ресурси. Для самих розробників ШІ це сигнал, що відповідальна поведінка моделі має бути вбудована в процес навчання, а не лишатися на рівні налаштувань під час запуску.