«Вони ризикують нашими життями»: дослідник звільнився з Anthropic через некеровані перегони ШІ

Дослідник, який працював в компаніях Anthropic та OpenAI, вважає, що конкуренція між лабораторіями підштовхує галузь до небезпечного прискорення розвитку штучного інтелекту. За його словами, системи, здатні самостійно вдосконалюватися, можуть отримати можливості, які люди не зможуть контролювати.

Джейкоб Коксон, який спеціалізувався на попередньому навчанні моделей ШІ, в дописі на X оголосив про звільнення з Anthropic. Дослідник заявив, що коли його колеги дедалі частіше використовують терміни «вирішальний етап» і «фінальна стадія», він не хоче брати участь у цих перегонах зі створення систем, здатних до самовдосконалення, оскільки побоюється потенційних катастрофічних наслідків для людства. 

«Не варто недооцінювати потужність цієї технології. Незабаром це будуть системи, що перевершують людські можливості: вони зможуть зламати будь-який захист, миттєво здійснити революцію в будь-якій сфері та отримати реальну владу й ресурси», — зазначив Коксон.

ВАС ЗАЦІКАВИТЬ

До 20 років в'язниці за суперінтелект: у США пропонують криміналізувати створення надрозумного ШІ

Дослідник також заявив, що після трьох років роботи над попереднім навчанням моделей в OpenAI та Anthropic вважає, що жодна з цих компаній не діє достатньо відповідально. За його словами, провідні лабораторії стрімко рухаються до створення суперінтелекту, «ризикуючи нашими життями».

«Люди, які розробляють ШІ, щиро вірять, що він може знищити нас усіх до кінця десятиліття. Це не маркетинговий хід. Багато керівників і провідних дослідників можуть обирати стримані формулювання для преси, щоб здаватися розсудливими, але в приватних розмовах я чую від них ті самі побоювання», — додав Коксон.

Побоювання Коксона підтримав Еван Гюбінгер, дослідник Anthropic, який працює над узгодженням поведінки ШІ з людськими цілями та цінностями. Він заявив, що вважає ймовірність знищення людства ШІ протягом наступного десятиліття вищою за 10%.

ВАС ЗАЦІКАВИТЬ

ШІ стає менш керованим: дослідники зафіксували різке зростання випадків “втрати контролю”

«Джейкоб має рацію: ми справді щиро віримо, що ШІ може знищити людство», — написав Гюбінгер та додав, що Anthropic докладає максимум зусиль для безпеки, але поки не має плану розв'язання проблеми узгодження цілей суперінтелекту.

Як повідомляє повідомляє The Wall Street Journal, Коксон приєднався до Anthropic після звільнення з OpenAI на початку цього року, оскільки вважав Anthropic однією з компаній, що приділяють найбільше уваги безпеці ШІ. Однак згодом він дійшов висновку, що навіть така лабораторія не може відповідально створювати системи, які перевершуватимуть людей у широкому спектрі завдань, без державного втручання або узгодженого уповільнення галузевих перегонів.

Дослідник також посилається на випадки, коли моделі OpenAI та Anthropic, зокрема системи, що працювали у складі груп агентів, демонстрували шкідливу поведінку та намагалися приховувати свої дії від людей. На його думку, самовдосконалення може посилити такі ризики та призвести до того, що системи відмовлятимуться виконувати людські команди. Напередодні один з «батьків ШІ» Йошуа Бенжіо попередив, що ризик вимирання людства через ШІ суттєво зріс саме через стрімкий розвиток таких технологій.

Водночас понад 1100 співробітників провідних технологічних компаній, серед яких Anthropic, OpenAI, Google та Meta, підписали петицію Pacing the Frontier із закликом до уряду США підтримати створення міжнародних механізмів для контролю темпів розвитку передового ШІ. Автори звернення попередили про реальний ризик втрати контролю над системами в міру автоматизації наукових досліджень самим ШІ.