Почему стоит быстрее развивать более мощные модели ИИ: объяснение OpenAI

Вскоре после презентации новой мощной модели искусственного интеллекта GPT-6 Astra главный научный сотрудник компании OpenAI Якоб Пахоцкий заявил, что более быстрое развитие таких моделей необходимо прежде всего для защиты от угроз, которые будут создавать другие системы ИИ. В то же время в компании подчеркивают, что это не должно оправдывать безрассудную гонку за любой ценой.

«Самым весомым аргументом в пользу продолжения быстрого обучения значительно более умных моделей я считаю необходимость создания систем защиты от угроз, исходящих от других систем ИИ», — отметил Пахоцкий и добавил, что современные модели уже демонстрируют «сверхчеловеческие способности» к проникновению в компьютерные системы, что существенно расширяет спектр рисков в сфере кибербезопасности.

ВАС ЗАИНТЕРЕСУЕТ

OpenAI объявила о наступлении «эпохи AGI»: что это означает

В публикации говорится, что автономные агенты потенциально смогут получать доступ к большей части инфраструктуры и напрямую влиять на значительную часть мира даже без физического воплощения. Пахоцкий считает, что сейчас существует ограниченное во времени «окно возможностей», когда лучшие из имеющихся моделей можно использовать для усиления безопасности критически важных систем.

Особое внимание ученый уделил риску появления высокофункциональных агентов, специально обученных для совершения вредоносных действий. По его мнению, такие системы могут выйти за пределы первоначальных намерений оператора, а грань между умышленным злоупотреблением и автономным поведением, противоречащим человеческим целям, будет постепенно стираться.

Пахоцкий также предупредил, что все более самостоятельные агенты могут взаимодействовать с людьми посредством переговоров, обмана или шантажа. Кроме того, он назвал одним из потенциальных рисков создание новых технологий, в частности искусственных патогенов, развитие которых может ускорить ИИ. Издание Axios ранее назвало это самым большим страхом разработчиков ИИ.

ВАС ЗАИНТЕРЕСУЕТ

В ООН предупредили об «экзистенциальной угрозе» со стороны передового искусственного интеллекта

В ответ на эти вызовы OpenAI планирует развивать системы искусственного интеллекта, согласованные с человеческими ценностями. По словам ученого, такие модели должны помогать защищать инфраструктуру, реагировать на неконтролируемых агентов в режиме реального времени и создавать новые средства безопасности.

В то же время Пахоцкий подчеркнул, что быстрое развитие технологий не должно становиться оправданием для безответственного ускорения гонки в этой отрасли. Он подчеркнул: «Идея двигаться вперёд любой ценой кажется абсурдной, как только осознаёшь всю серьёзность возможных последствий».

OpenAI уже активизировала разработку механизма автоматического отключения ИИ после того, как её автономный агент во время внутреннего тестирования вышел за пределы цифровой среды и взломал инфраструктуру платформы Hugging Face. На фоне расследования со стороны законодателей компания ограничила доступ алгоритмов к интернету во время проверок безопасности и ввела более строгий контроль за инструментами, которыми оперирует ИИ.