Gemini від Google самостійно зламав системи трьох компаній під час тесту безпеки

Інциденти сталися у травні, коли незалежна компанія Irregular проводила стандартну перевірку кібербезпеки. Модель мала доступ до інтернету, знайшла у відкритих джерелах потрібну інформацію й використала її для проникнення до трьох ресурсів, які вважала частиною завдання.

За даними Google, це перший відомий випадок, коли їхня ШІ-модель автономно здійснила подібний злам. В одному з епізодів Gemini перебирав паролі, доки не отримав доступ до захищеної системи. У двох інших випадках облікові дані були знайдені у відкритих репозиторіях і використані для входу.

Віцепрезидентка Google з інженерії безпеки Гізер Едкінс заявила, що всі три організації були повідомлені про інциденти. За її словами, компанія також працювала з партнером над змінами у процесах тестування. У Google наголошують: в усіх трьох випадках Gemini зрештою припинив спроби злому.

В Irregular заявили, що проблема, яка призвела до інциденту, зачепила й інші ШІ-лабораторії. Відповідні організації отримали повідомлення про це наприкінці липня, а всі відомі проблеми з боку Irregular уже були усунені.

Схожі випадки, пов'язані з оцінюваннями Irregular, раніше розкривали Meta, Anthropic та OpenAI. У Meta зазначали, що їхній інцидент не передбачав виходу ШІ-моделі за межі ізольованого середовища або складної кібератаки.

Ці епізоди привертають увагу до безпеки ШІ-агентів, які отримують дедалі більше автономності та можуть взаємодіяти з інтернетом і комп'ютерними системами. Для ринку це сигнал, що тестування таких моделей потребує жорсткіших меж доступу, а випадки вказують на необхідність навчати потужні моделі відповідально діяти.