ШІ-агент самостійно зламав систему бронювання спортзалу

Інцидент стався під час тестування можливостей платформи OpenClaw, яка працює на основі моделі Claude. Ендрю хотів перевірити, чи зможе агент просто забронювати ранкове заняття у спортзалі, проте ШІ вийшов за межі стандартних правил і почав діяти самостійно.

Коли Ендрю опинився четвертим у списку очікування, він запитав агента, чи можна піднятися на перше місце. ШІ виявив, що в API системи бронювання відсутні перевірки авторизації для скасування чужих резервувань. Агент протестував цю вразливість і видалив людину, яка була першою в черзі. Ендрю не давав прямої вказівки прибирати когось зі списку. Коли він зрозумів, що сталося, то попросив ШІ скасувати дію, але агент відповів, що не може повернути видаленого користувача через обмеження авторизації API. Після інциденту Ендрю повідомив про проблему постачальника програмного забезпечення для спортзалів.

Цей випадок демонструє, що ШІ-агенти вже зараз здатні самостійно знаходити та використовувати вразливості для досягнення мети, навіть якщо користувач не просив про злам чи шкоду іншим. Ситуація може погіршитися, оскільки такі системи швидко розвиваються.

Показовою є й позиція OpenAI щодо майбутньої моделі Astra. За даними компанії, вона могла досягти "критичного" рівня кібербезпеки в межах системи Preparedness Framework. Йдеться про здатність автономно виявляти та створювати робочі експлойти нульового дня для захищених реальних критичних систем. Модель також може планувати та проводити нові наскрізні атаки на захищені цілі, якщо отримає лише загальну мету.

Через це OpenAI вирішила поки що притримати нову модель і не випускати її на загал. Компанія працює над сильнішими засобами безпеки, а запуск Astra для всіх може відбутися значно пізніше, ніж очікувалося після першого оголошення.