Gemini під час тесту отримала доступ до систем трьох реальних компаній

Перевірку проводила незалежна компанія Irregular, що займається оцінюванням можливостей систем штучного інтелекту у сфері кібербезпеки. За сценарієм Gemini мала працювати з даними умовної компанії в межах звичайного тесту. Втім, модель мала доступ до інтернету і почала шукати у відкритих джерелах інформацію, яка допомогла б виконати завдання.

Тестове середовище планувалося як ізольоване, однак через проблему Gemini могла взаємодіяти з реальною мережею. В одному випадку модель підбирала паролі, доки не отримала доступ до захищеної системи, ще у двох — скористалася обліковими даними, знайденими у відкритих онлайн-репозиторіях.

У Google наголошують: завдання атакувати справжні компанії модель не отримувала. Gemini вважала, що виконує дозволену частину перевірки, і припинила дії, коли з'ясувала, що цілі тесту реальні. Постраждалі компанії повідомили про інциденти, а Irregular разом із партнерами внесла зміни до процедури проведення таких перевірок. Назв організацій Google не розкриває; за словами представників компанії, шкоди завдано не було.

Ключова проблема, на думку експертів, не в складності самого доступу, а в тому, що його здійснила автономна система, а не людина. Модель самостійно шукала інформацію, знаходила облікові дані та використовувала їх. Це відрізняє сучасних ШІ-агентів від звичайних чат-ботів: вони послідовно виконують завдання, користуються інтернетом, працюють із програмами та ухвалюють проміжні рішення без постійного контролю оператора.

Подібні випадки під час кібербезпекових тестів раніше розкривали Meta, Anthropic та OpenAI. У Google зазначають, що такі ситуації показують потребу навчати потужні моделі відповідально працювати з реальними системами та посилювати процедури тестування — особливо коли ШІ-агенти отримують дедалі більше самостійності й доступу до мережі.

Для ринку це означає, що питання ізоляції тестів, обмеження доступу моделей до інтернету та контролю за їхніми діями переходить із площини теоретичних дискусій у практичну площину. Розробники автономних агентів змушені будувати жорсткіші запобіжники, адже навіть помилка в організації перевірки може перетворити умовну вправу на взаємодію з чужою інфраструктурою.