Коксон з Anthropic попереджає про надрозум, а Амодеї закликає пригальмувати ШІ

Колишній дослідник OpenAI, а згодом Anthropic Джейкоб Коксон, який минулого тижня звільнився через занепокоєння темпами розвитку штучного інтелекту, в ефірі програми ABC «This Week» відповів на запитання ведучого Джорджа Стефанопулоса про найбільший страх. «Чесно кажучи, я думаю, що сама концепція створення надрозуму — вона вже порівнюється з космічними прибульцями, — сказав він. — Тож коли думаєш про це як про чужорідний розум, який ми не до кінця розуміємо, це справді лякає, навіть без якогось конкретного сценарію».

За словами Коксона, розробники ШІ щиро вірять, що технологія здатна знищити людство ще до кінця десятиліття. Він заявив, що ні Anthropic, ні OpenAI не діють відповідально, і що обидві компанії «женуться прямісінько до самовдосконалюваного надрозуму, ризикуючи нашими життями». В OpenAI, за його оцінкою, співробітники не до кінця усвідомлюють «цивілізаційні ставки» своєї роботи, тоді як в Anthropic їх розуміють, але компанія втягнута в гонку за першість.

Ці слова підхопили інші представники галузі. Дослідник екзистенційних ризиків Нейт Соарес, співавтор книги «If Anyone Builds It, Everyone Dies», підтвердив, що багато інженерів усередині галузі реально вірять у створення систем, здатних замінити або знищити людство. «Вони справді думають, що це жахливо небезпечно, — зазначив він. — Багато хто вважає, що саме їхня компанія має найкращі шанси стримати надрозум на прив’язі або «виховати» його дружнім… Вони взялися створювати машинного бога і думають, що в них є реальний шанс».

Співробітник Anthropic Семюел Маркс написав, що розробники вірять у можливість вимирання людства від цієї технології — і це може статися вже за кілька років. Еван Хабінгер, керівник команди Anthropic, що відповідає за узгодження моделей із людськими цінностями, підтвердив слова Коксона напряму: «Ми справді щиро віримо, що ШІ може вбити всіх людей. Особисто я оцінюю ймовірність цього у понад 10% протягом наступного десятиліття. Я вважаю, що Anthropic намагається зробити все можливе, але в нас поки немає плану вирішити проблему, і ми не впевнено рухаємося в цьому напрямку».

Резонанс від слів Коксона наклався на ще одну подію: у суботу генеральний директор Anthropic Даріо Амодеї опублікував есе «We Must Pace the Frontier», закликавши індустрію свідомо уповільнити нарощування можливостей моделей. Приводом стали інциденти: під час контрольованого експерименту з кібербезпеки в OpenAI рій ШІ-агентів самостійно, без інструкцій, почав атакувати системи й навіть намагався зламати механізм оцінки власної роботи. Амодеї попередив, що за нинішніх темпів уже за 6–12 місяців подібний рій зможе захопити значну частину інтернету через стійкий ботнет, завдавши збитків на сотні мільярдів доларів.

Пропозиція Амодеї має три кроки: надати незалежним оцінювачам, зокрема організації METR, постійний доступ до систем компаній на рівні співробітників; домовитися між провідними лабораторіями демократичних країн про спільні порогові стандарти безпеки; налагодити міжнародну координацію для управління ризиками ШІ. Anthropic в односторонньому порядку зобов’язалася виконати перший крок незалежно від дій конкурентів.

Керівники головних конкурентів підтримали ініціативу практично одразу. Ілон Маск (xAI) написав у X, що Амодеї «має рацію». Генеральний директор OpenAI Сем Альтман заявив, що погоджується з необхідністю «стримувати темп на передовій» розробки, і повідомив, що його компанія також надасть доступ зовнішнім оцінювачам. Того ж дня в інтерв’ю Fortune Альтман сказав, що OpenAI відкладає вихід на біржу — принаймні до 2027 року, — пояснивши це потребою приділити більше уваги безпеці та узгодженню систем.

Не всі сприйняли есе однозначно позитивно. Критики зазначають, що заклик по суті грає на руку самій Anthropic: він може загальмувати відкриті моделі та сконцентрувати перевагу в руках великих закритих лабораторій. Генеральний директор Hugging Face Клеман Деланг публічно поставив під сумнів компетентність Коксона в темі екзистенційних ризиків, порівнявши його з «майстром з кондиціонерів, якого питають про зміну клімату», хоча пізніше запропонував допомогу в реалізації пропозицій Амодеї. Генеральний директор Nvidia Дженсен Хуанг також скептично поставився до застережень Коксона.

Реакція Білого дому виявилася протилежною. У неділю президент США Дональд Трамп, перебуваючи в Ірландії на турнірі з гольфу Irish Open, фактично відкинув заклики уповільнити розробку ШІ-моделей, пославшись на потребу зберегти технологічну перевагу над Китаєм. «Ми випереджаємо Китай у сфері штучного інтелект, ми найбільш технологічно розвинена країна у світі, і, чесно кажучи, я хочу, щоб так залишалося й надалі, — заявив Трамп. — Хто виграє в штучний інтелект — той виграє все». Він применшив потребу у втручанні своєї адміністрації, наголосивши, що побоюється втратити американську перевагу в конкуренції з Китаєм, і що саме перемога в цій гонці, на його переконання, допоможе впоратися з ризиками технології.

Трамп також послався на пост Девіда Сакса, архітектора нинішнього підходу адміністрації до регулювання ШІ. Сакс написав у X, що технологічні лідери можуть самі сповільнюватися, скільки хочуть, але розкритикував їхні заяви про потребу у втручанні Вашингтона: «Перестаньте вдавати, що вам потрібен чийсь дозвіл». Він також заперечив, що інтерес компаній до уповільнення є суто альтруїстичним, зауваживши, що самі компанії нестимуть відповідальність, якщо їхні продукти спричинять масштабну кібератаку. «Їм не подобається відповідальність за продукт, їм не подобається авторське право, а тепер їм не подобається антимонопольне регулювання», — резюмував Сакс.

Отже, позиція Білого дому створює додаткову політичну напругу навколо ідей Амодеї: доки Трамп трактує можливості ШІ як стратегічну перевагу, яку потрібно захищати від Китаю, будь-яка пауза чи уповільнення розвитку технології лишається політично складним рішенням — доки прихильники такого підходу не доведуть, що це не позбавить США лідерства в гонці.