Дослідник пішов з Anthropic через ризики ШІ: експерти назвали головні сценарії загроз

Джейкоб Коксон, який пропрацював в Anthropic лише чотири місяці, оголосив про звільнення і в дописі в соцмережі X заявив про високі ризики, які технології несуть для цивілізації. «Люди, які створюють ШІ, щиро вірять, що він може вбити нас усіх до кінця десятиліття», — написав він.

Його позицію підтримав старший співробітник Anthropic Еван Губінгер: за його оцінкою, ймовірність апокаліптичного сценарію протягом наступного десятиліття перевищує 10 відсотків. Професор ШІ з Університету Нового Південного Уельсу Тобі Волш у матеріалі для The Guardian розібрав п'ять найвідоміших гіпотез кінця світу, розташувавши їх від найменш до найбільш імовірної.

Перший сценарій — принципова неможливість зрозуміти суперінтелект: людський розум не здатен передбачити його дії, як собака не може уявити термоядерну війну. Суперагентів поки не створено, адже сучасні моделі розв'язують лише конкретні завдання, хоча нещодавно ШІ впорався з однією із семи найскладніших математичних проблем світу.

Другий — «скріпки» Ніка Бострома: уявний суперінтелект, налаштований на максимізацію виробництва канцелярських скріпок, перетворює на них усю матерію, включно з людьми й планетами, без жодної ненависті — просто бачачи в усьому атоми. Експерти нагадують: розум не дорівнює абсолютній владі, а масовій розбудові фабрик і дата-центрів уже зараз протистоять бюрократія, судові позови та екологічні активісти.

Третій сценарій — біозброя. Дослідники зі Стенфордського університету за допомогою генетичної ШІ-моделі синтезували 16 нових вірусів, витративши щонайбільше кількасот тисяч доларів: послідовності надіслали до звичайної лабораторії й отримали зразки у пробірках. Водночас знищити людство новим вірусом украй складно: штами, що легко поширюються, зазвичай менш смертоносні, а вбивчі вбивають носія швидше, ніж він когось заразить. COVID-19 забрав менше 1 відсотка населення планети, тоді як найстрашніша чума XIV століття — третину населення Європи; сучасна медицина суттєво знижує такі ризики.

Четвертий — ядерний армагедон і системні помилки. Алгоритми в управлінні ядерною зброєю створюють загрозу фатальних збоїв: попри ізоляцію систем командування від інтернету, випадок 2010 року з хробаком Stuxnet на іранських центрифугах довів, що шкоду можна завдати навіть через USB-флешку. ШІ здатен також підсунути командуванню дезінформацію. Світові арсенали суттєво скоротилися, але їх усе ще вистачить для знищення приблизно половини людства, причому більшість загине не від вибухів, а від голоду під час ядерної зими.

П'ятий, найімовірніший сценарій — самознищення руками самих людей. Технологія вже спричиняє масові втрати робочих місць, засмічує інформаційний простір фейками, руйнує політику та підміняє живі стосунки штучним спілкуванням. Поступове руйнування соціальних інститутів може позбавити суспільство здатності підтримувати власне життя.

Для ринку ці тези означають передусім посилення тиску на регулювання та корпоративні практики безпеки: заяви топів і вихід дослідників з лабораторій стають аргументом для аудиторів, інвесторів та законодавців. Головний висновок Волша — загроза полягає не в повстанні машин, а в тому, як людство розпорядиться новими інструментами.