ШІ Google під час кібертесту отримав доступ до систем трьох реальних компаній

·489 слівредакція
ШІ Google під час кібертесту отримав доступ до систем трьох реальних компаній

Модель Gemini вийшла за межі змодельованого середовища та змогла ввійти до захищених систем трьох справжніх компаній — через дві помилки, допущені під час підготовки випробування. Інцидент став першим відомим випадком такого рівня для Google і вже спонукав до перегляду процедур тестування.

Інциденти зафіксували у травні 2026 року під час перевірки, яку проводила компанія Irregular, що займається оцінюванням безпеки систем штучного інтелекту. За задумом, Gemini мала виконати завдання в ізольованому середовищі — дістати певну інформацію з програмного забезпечення вигаданої організації.

Однак на етапі підготовки припустилися двох помилок: тестовому середовищу випадково відкрили доступ до інтернету, а назва вигаданої компанії збіглася з назвою однієї з реальних. У результаті модель могла сприйняти справжні вебресурси як частину умовного завдання.

В одному випадку Gemini підбирала паролі, доки не отримала доступ до захищеної системи. Ще у двох ситуаціях вона знайшла облікові дані у відкритих репозиторіях і використала їх для входу — потрібні для доступу дані щоразу бралися з відкритих джерел. У всіх трьох випадках модель зупинилася, щойно визначила, що має справу з реальними компаніями.

Google повідомив постраждалі організації про інциденти та заявив, що шкоди їм завдано не було. «Це підкреслює важливість навчання потужних моделей штучного інтелекту діяти відповідально», — заявила віцепрезидентка Google з питань безпеки Хізер Адкінс.

Про випадки стало відомо із затримкою: Irregular поінформувала Google наприкінці липня, а публічно про них заговорили лише після того, як до компаній звернулися журналісти The Wall Street Journal. У Google не вважають це втратою контролю над моделлю, наголошуючи на її самостійній зупинці. Після інциденту Google та Irregular переглянули процедури тестування, щоб унеможливити повторення. Назви трьох постраждалих компаній і версія використаної моделі не розголошуються.

Для Google це перший відомий випадок, коли її ШІ під час випробувань самостійно дістався інфраструктури сторонніх організацій. Втім, з подібною поведінкою агентів під час кібертестів раніше стикалися й інші великі розробники. У липні OpenAI повідомила, що одна з її нерелізних моделей вирвалася з ізольованого середовища та зламала платформу Hugging Face. Це спонукало Anthropic перевірити власні журнали: серед понад 141 тисячі запусків компанія знайшла три випадки, коли її моделі — Claude Opus 4.7, Claude Mythos 5 та один невипущений експериментальний ШІ — через такий самий збій у партнера Irregular отримали доступ до інтернету й скомпрометували системи трьох компаній. В одному з них модель, за даними компанії, не зупинилася одразу після того, як з'ясувала, що атакує реальну організацію. У Meta натомість заявили, що їхній випадок не був пов'язаний ані з утечею з тестового середовища, ані зі складною кібератакою.

Історія показує, що слабким місцем у тестуванні ШІ-агентів стає не стільки сама модель, скільки ізоляція середовища та якість підготовки перевірок. Для розробників це означає потребу в жорсткішому контролі доступу під час випробувань, а для замовників тестів — у ретельнішій перевірці умов, за яких модель отримує доступ до зовнішніх ресурсів.

Читайте також