Поддержать
Президент Международной ассоциации безопасного и этичного искусственного интеллекта Стюарт Рассел раскритиковал идею постепенного замедления развития ИИ, выдвинутую генеральным директором компании Anthropic Дарио Амодеем. По мнению Рассела, прогресс нельзя просто замедлить, чтобы выиграть время для исследований в области безопасности. Вместо этого новые системы должны проходить проверку и получать подтверждение безопасности ещё до их запуска, говорится в материале The Guardian.
Дискуссия развернулась на фоне нескольких громких событий в сфере ИИ. Среди них — увольнение исследователя безопасности ИИ Джейкоба Коксона из Anthropic, создание подпольной сети для координации и обхода ограничений ИИ-агентами OpenAI, а также публикация письма Амодея «We Must Pace the Frontier», которое поддержали генеральный директор OpenAI Сэм Альтман, основатель xAI Илон Маск, руководитель Google DeepMind Демис Гассабис и генеральный директор Microsoft Сатья Наделла.
Что предлагает Дарио Амодей
В своём письме Амодей предложил концепцию «pace the frontier» — «регулирование темпа на передовой». Она основана на аналогии с «Формулой-1», где в опасных условиях на трассу выезжает автомобиль безопасности, который заставляет всех участников снизить скорость, но не прекращать гонку.
«Отметим: регулирование темпа не означает остановку обучения моделей или технического прогресса», — написал Амодей.
Генеральный директор Anthropic объясняет свою позицию тем, что ИИ развивается чрезвычайно быстро. В будущем, по его мнению, этот процесс будет ускоряться благодаря рекурсивному самосовершенствованию, когда системы будут способствовать ускорению собственного развития.
План Амодея состоит из трех частей. Он предлагает разместить независимых экспертов по безопасности непосредственно в компаниях-разработчиках, ввести общие стандарты для ведущих компаний из демократических стран с возможным государственным регулированием и попытаться привлечь авторитарные государства к более широкому международному соглашению.
Почему Рассел не согласен
Рассел считает, что сама метафора с автомобилем безопасности является ошибочной. По его мнению, требования к безопасности не могут быть предметом компромисса или зависеть от того, сколько времени разработчики получат благодаря замедлению прогресса.
«Новый самолет можно вводить в эксплуатацию только тогда, когда он пройдет все испытания, а правительство выдаст сертификат летной годности. Если на это уйдет более года — пусть так и будет», — отметил Рассел.
Эксперт сравнил другой подход с ситуацией, когда Boeing выпускал бы новый самолет каждый год, лишь надеясь, что времени хватит на завершение испытаний.
Сертификация вместо «замедления»
Несмотря на критику, Рассел отмечает, что более внимательное чтение письма Амодея показывает определенное совпадение позиций. В частности, генеральный директор Anthropic пишет, что правила должны работать по принципу: если модель достигает определенного уровня возможностей, она должна иметь сертификаты соответствия установленным критериям безопасности.
По мнению Рассела, это фактически соответствует давно обсуждаемому подходу «красных линий», когда разработчики обязаны доказать безопасность системы до её использования.
Риск потери контроля
Особое беспокойство у Рассела вызывает рекурсивное самосовершенствование, которое может привести к созданию сверхинтеллектуальных систем. Он считает, что риск потери контроля над такими системами должен быть чрезвычайно низким — — примерно один случай на 100 миллионов в год, а не один к десяти или один к пяти, как, по его словам, оценивают некоторые руководители компаний, работающих с ИИ.
В заключение Рассел утверждает, что человечество имеет право остановить развитие технологии, если она станет недопустимо опасной, даже несмотря на триллионы долларов уже вложенных инвестиций. Он считает, что нынешнее внимание к рискам ИИ, поддержка этой темы со стороны руководителей ведущих технологических компаний и предстоящие международные переговоры дают шанс пересмотреть подход к развитию этой технологии.
В то же время президент США Дональд Трамп выступил против ужесточения государственного регулирования ИИ, назвав опасения относительно катастрофических рисков и уничтожения человечества «фейком». Американский лидер заявил, что масштабное развитие ИИ и расширение сети дата-центров — это «нефть следующих десятилетий», а любые законодательные ограничения лишь ослабят США и сыграют на руку Китаю в технологической гонке.
Следить в Телеграмме
Войти с помощью Facebook
Войти с помощью Twitter
Войти с помощью Google