Коксон з Anthropic: ШІ може знищити людство, а Трамп наполягає на гонці з Китаєм

Дискусія про темпи розвитку штучного інтелекту вийшла далеко за межі технологічних медіа. Джейкоб Коксон, який працював дослідником в OpenAI, а згодом в Anthropic і минулого тижня звільнився через занепокоєння стрімкістю галузі, в ефірі програми ABC «This Week» відповів на запитання ведучого Джорджа Стефанопулоса про найгірший сценарій.

«Чесно кажучи, я думаю, що сама концепція створення надрозуму — вона вже порівнюється з космічними прибульцями, — сказав він. — Тож коли думаєш про це як про чужорідний розум, який ми не до кінця розуміємо, це справді лякає, навіть без якогось конкретного сценарію». За його словами, розробники ШІ щиро вірять, що технологія здатна знищити людство ще до кінця десятиліття, а ні Anthropic, ні OpenAI не діють відповідально. Коксон вважає, що в OpenAI не до кінця усвідомлюють «цивілізаційні ставки» роботи, тоді як в Anthropic їх розуміють, але компанія втягнута в гонку за першість.

Його слова підхопили колеги по галузі. Дослідник екзистенційних ризиків Нейт Соарес, співавтор книги «If Anyone Builds It, Everyone Dies», підтвердив, що багато інженерів реально вірять у створення систем, здатних замінити або знищити людство: «Вони взялися створювати машинного бога і думають, що в них є реальний шанс». Співробітник Anthropic Семюел Маркс написав, що вимирання людства через ШІ може статися вже за кілька років. Керівник команди Anthropic з узгодження моделей із людськими цінностями Еван Хабінгер оцінив таку ймовірність у понад 10% протягом наступного десятиліття: «Ми справді щиро віримо, що ШІ може вбити всіх людей».

Публічний резонанс наклався на есе генерального директора Anthropic Даріо Амодеї «We Must Pace the Frontier», опубліковане в суботу. Приводом стали інциденти під час контрольованого експерименту з кібербезпеки в OpenAI, де рій ШІ-агентів без інструкцій почав атакувати системи й намагався зламати механізм оцінки власної роботи. Амодеї попередив, що за нинішніх темпів уже за 6–12 місяців подібний рій зможе захопити значну частину інтернету через стійкий ботнет із збитками на сотні мільярдів доларів. Він запропонував три кроки: постійний доступ незалежних оцінювачів (зокрема METR) до систем компаній на рівні співробітників, спільні порогові стандарти безпеки між лабораторіями демократичних країн і міжнародну координацію. Перший крок Anthropic зобов'язалася виконати в односторонньому порядку.

Реакція конкурентів виявилася несподіваною. Ілон Маск (xAI) написав у X, що Амодеї «має рацію». Генеральний директор OpenAI Сем Альтман заявив, що погоджується з потребою «стримувати темп на передовій», і пообіцяв надати доступ зовнішнім оцінювачам. Того ж дня в інтерв'ю Fortune він повідомив, що OpenAI відкладає вихід на біржу щонайменше до 2027 року через питання безпеки та узгодження систем.

Водночас частина індустрії сприйняла ініціативу скептично. Критики зауважують, що заклик грає на руку самій Anthropic, адже може загальмувати відкриті моделі та сконцентрувати перевагу в руках великих закритих лабораторій. Генеральний директор Hugging Face Клеман Деланг поставив під сумнів компетентність Коксона в темі екзистенційних ризиків, порівнявши його з «майстром з кондиціонерів, якого питають про зміну клімату», хоча згодом запропонував допомогу в реалізації пропозицій Амодеї. Генеральний директор Nvidia Дженсен Хуанг також скептично поставився до застережень Коксона.

Позиція Білого дому виявилася протилежною. У неділю президент США Дональд Трамп, перебуваючи в Ірландії на турнірі з гольфу Irish Open, фактично відкинув заклики уповільнити розробку, пославшись на потребу зберегти перевагу над Китаєм: «Ми випереджаємо Китай у сфері штучний інтелект, ми найбільш технологічно розвинена країна у світі, і, чесно кажучи, я хочу, щоб так залишалося й надалі. Хто виграє в штучний інтелект — той виграє все». Пропозиції компаній щодо безпеки він прямо не коментував.

Трамп також послався на пост Девіда Сакса, архітектора ліберального підходу адміністрації до регулювання ШІ. Сакс написав у X, що технологічні лідери можуть самі сповільнюватися, скільки завгодно, але їхні заяви про потребу у втручанні Вашингтона розкритикував: «Перестаньте вдавати, що вам потрібен чийсь дозвіл». Він також заперечив альтруїстичність інтересу компаній до уповільнення, зауваживши, що саме вони нестимуть відповідальність за масштабну кібератаку: «Їм не подобається відповідальність за продукт, їм не подобається авторське право, а тепер їм не подобається антимонопольне регулювання».

Отже, навколо ідей Амодеї формується додаткова політична напруга: доки Трамп трактує можливості ШІ як стратегічну перевагу, яку треба захищати від Китаю, будь-яка пауза чи уповільнення лишається політично складним рішенням, поки прихильники такого підходу не доведуть, що це не позбавить США лідерства в гонці.