Дослідник пішов з Anthropic: ШІ може стати смертельною загрозою до кінця десятиліття

27-річний математик Джейкоб Коксон, який до переходу в Anthropic працював в OpenAI, вирішив покинути компанію та індустрію штучного інтелекту загалом. В Anthropic він займався навчанням моделей на великих масивах даних, а одним із мотивів приходу була репутація компанії як такої, що приділяє значну увагу безпеці ШІ.

Однак навіть нетривалої роботи там вистачило, щоб його оцінка ситуації змінилася. Дослідник вважає, що провідні розробники фактично наближають людство до критичної межі. За його словами, частина керівників технологічних компаній це усвідомлює і допускає сценарій, у якому надпотужні системи можуть становити смертельну загрозу для людства вже до кінця поточного десятиліття.

Коксон каже, що не хоче "гратися людськими життями", тобто бути причетним до процесу, де ризики можуть переважити потенційні вигоди. Особливе занепокоєння в нього викликає перспектива надати ШІ доступ до власного програмного коду: якщо алгоритми зможуть самостійно переписувати й оптимізувати свої системи без постійного втручання людини, швидкість розвитку різко зросте, а передбачати поведінку моделей і контролювати їх стане значно складніше.

Це не поодиноке застереження. Раніше на ризики рекурсивного самовдосконалення вказував співзасновник Anthropic Джек Кларк: він припускав, що сучасні системи поступово наближаються до здатності покращувати власні характеристики практично без участі людини. Оскільки чіткого розуміння наслідків появи такого ШІ немає, Кларк закликає найбільші технологічні компанії домовитися про стримування темпів розробки та спільні правила безпеки.

Іншу позицію має глава OpenAI Сем Альтман, який неодноразово говорив про наближення епохи цифрового надрозуму і вважає появу таких систем фактично неминучою. За його прогнозами, вже в найближчі роки ШІ зможе робити наукові відкриття, недоступні людині без допомоги таких технологій.

Тим часом індустрія продовжує нарощувати можливості моделей. Цього місяця OpenAI представила GPT-6 Astra як черговий крок до систем, здатних працювати на рівні людини у широкому спектрі комп'ютерних завдань. Після презентації про початок нової ери розвитку ШІ заявив генеральний директор Nvidia Дженсен Хуанг: на його думку, нова модель демонструє перехід від звичайних чат-ботів до систем, які самостійно розв'язують складні багатокрокові завдання.

Отже, галузь рухається у двох протилежних напрямах одночасно: компанії дедалі активніше наближають створення надпотужних систем, а частина дослідників закликає пригальмувати, поки людство не навчилося належно контролювати наслідки. Раніше занепокоєння стрімким і майже безконтрольним розвитком ШІ висловлювали і в ООН.