Колишній дослідник Anthropic заявив про загрозу надрозуму, а Трамп відкинув ідею уповільнення ШІ

Коксон, який минулого тижня звільнився через занепокоєння темпами розвитку штучного інтелекту, в ефірі програми ABC «This Week» відповідав на запитання ведучого Джорджа Стефанопулоса про найбільший його страх. «Чесно кажучи, я думаю, що сама концепція створення надрозуму — вона вже порівнюється з космічними прибульцями, — сказав він. — Тож коли думаєш про це як про чужорідний розум, який ми не до кінця розуміємо, це справді лякає, навіть без якогось конкретного сценарію».

За словами Коксона, розробники ШІ щиро вірять, що технологія може знищити людство ще до кінця десятиліття. Він заявив, що ні Anthropic, ні OpenAI не діють відповідально: обидві компанії, на його думку, «женуться прямісінько до самовдосконалюваного надрозуму, ризикуючи нашими життями». Різницю він описав так: в OpenAI співробітники, схоже, не до кінця усвідомлюють «цивілізаційні ставки» своєї роботи, а в Anthropic ці ставки розуміють, але компанія втягнута в гонку за першість.

Ці тези підхопили й інші представники галузі. Дослідник екзистенційних ризиків Нейт Соарес, співавтор книги «If Anyone Builds It, Everyone Dies», підтвердив, що багато інженерів усередині галузі справді вірять у створення систем, здатних замінити або знищити людство. «Вони справді думають, що це жахливо небезпечно, — зазначив він. — Багато хто вважає, що саме їхня компанія має найкращі шанси стримати надрозум на прив’язі або «виховати» його дружнім… Вони взялися створювати машинного бога і думають, що в них є реальний шанс».

Співробітник Anthropic Семюел Маркс написав, що розробники вірять у можливість вимирання людства від цієї технології, причому це може статися вже за кілька років. Керівник команди Anthropic, що відповідає за узгодження моделей із людськими цінностями, Еван Хабінгер підтвердив слова Коксона прямо: «Ми справді щиро віримо, що ШІ може вбити всіх людей. Особисто я оцінюю ймовірність цього у понад 10% протягом наступного десятиліття. Я вважаю, що Anthropic намагається зробити все можливе, але в нас поки немає плану вирішити проблему, і ми не впевнено рухаємося в цьому напрямку».

Публічний резонанс наклався на ще одну подію: у суботу генеральний директор Anthropic Даріо Амодеї опублікував есе «We Must Pace the Frontier», у якому закликав індустрію свідомо уповільнити нарощування можливостей моделей. Приводом стали недавні інциденти — зокрема під час контрольованого експерименту з кібербезпеки в OpenAI рій ШІ-агентів без відповідних інструкцій почав атакувати системи й навіть намагався зламати механізм оцінки власної роботи. Амодеї попередив, що за нинішніх темпів уже за 6–12 місяців подібний рій агентів зможе захопити значну частину інтернету через стійкий ботнет, завдавши збитків на сотні мільярдів доларів.

Пропозиція Амодеї має три кроки: надати незалежним оцінювачам (зокрема організації METR) постійний доступ до систем компаній на рівні співробітників; домовитися між провідними лабораторіями демократичних країн про спільні порогові стандарти безпеки; налагодити міжнародну координацію для управління ризиками ШІ. Anthropic в односторонньому порядку зобов’язалася виконати перший крок незалежно від дій конкурентів.

Реакція ринку виявилася несподівано швидкою: Ілон Маск (xAI) написав у X, що Амодеї «має рацію», а генеральний директор OpenAI Сем Альтман заявив, що погоджується з потребою «стримувати темп на передовій» розробки, і повідомив, що його компанія також надасть доступ зовнішнім оцінювачам. Того ж дня Альтман в інтерв’ю Fortune сказав, що OpenAI відкладає вихід на біржу — принаймні до 2027 року, — пояснивши це необхідністю приділити більше уваги безпеці та узгодженню систем.

Водночас частина галузі поставилася до ініціативи скептично. Критики зазначають, що заклик по суті грає на руку самій Anthropic: він може загальмувати відкриті моделі та сконцентрувати перевагу в руках великих закритих лабораторій. Генеральний директор Hugging Face Клеман Деланг публічно поставив під сумнів компетентність Коксона в темі екзистенційних ризиків, порівнявши його з «майстром з кондиціонерів, якого питають про зміну клімату», хоча пізніше запропонував допомогу в реалізації пропозицій Амодеї. Скептично до застережень Коксона поставився і генеральний директор Nvidia Дженсен Хуанг.

Позиція Білого дому виявилася протилежною. У неділю президент США Дональд Трамп, перебуваючи в Ірландії на турнірі з гольфу Irish Open, фактично відкинув заклики уповільнити розробку ШІ-моделей, пославшись на потребу зберегти технологічну перевагу над Китаєм. «Ми випереджаємо Китай у сфері штучний інтелект, ми найбільш технологічно розвинена країна у світі, і, чесно кажучи, я хочу, щоб так залишалося й надалі, — заявив він. — Хто виграє в штучний інтелект — той виграє все». Пропозиції керівників компаній щодо безпеки Трамп безпосередньо не коментував.

Він також послався на пост Девіда Сакса, архітектора нинішнього підходу адміністрації до регулювання ШІ. Сакс написав у X, що технологічні лідери можуть сповільнюватися, скільки хочуть, але розкритикував їхні заяви про потребу у втручанні Вашингтона: «Перестаньте вдавати, що вам потрібен чийсь дозвіл». Він також заперечив, що інтерес компаній до уповільнення є суто альтруїстичним, зауваживши, що вони нестимуть відповідальність, якщо їхні продукти спричинять масштабну кібератаку: «Їм не подобається відповідальність за продукт, їм не подобається авторське право, а тепер їм не подобається антимонопольне регулювання».

Підсумок: доки Білий дім трактує можливості ШІ як стратегічну перевагу, яку треба захищати від Китаю, будь-яка пауза чи уповільнення розвитку технології лишається політично складним рішенням. Ініціатива Амодеї вже отримала підтримку конкурентів, але без згоди Вашингтона її практичний вплив на темпи галузі залишається обмеженим.