Менш ніж три доби: за такий час Claude зламав захист OpenAI

Команда дослідників із кібербезпекового стартапу Hacktron використала модель Claude від Anthropic, щоб знайти вразливість в інфраструктурі OpenAI. Через форум спільноти компанії їм вдалося отримати доступ до акаунта одного з її працівників. OpenAI виплатила дослідникам 6,5 тисячі доларів винагороди за програмою Bug Bounty, повідомляє Business Insider.

Троє дослідників Hacktron із Сан-Франциско використали Claude Opus у межах спеціальної програми Anthropic Cyber Verification Program, яка надає фахівцям із кібербезпеки розширений доступ до моделі. Claude автоматично створив робочий експлойт для знайденої вразливості.

Форум спільноти OpenAI працює на платформі Discourse. Під час завантаження файлів у форматах HEIC і HEIF запити перенаправлялися до застарілої бібліотеки libheif. У ній була помилка, яка дозволяла спричинити переповнення пам'яті. Її виправили в основному коді ще за рік до цього, але вразливості не присвоїли номер CVE. Через це ані OpenAI, ані Discourse не оновили бібліотеку.

Запустивши код на сервері форуму, дослідники перехопили токени авторизації. Через помилку в системі єдиного входу (SSO) ці токени мали надмірні права доступу. Вони відкривали повний доступ до пов'язаних акаунтів ChatGPT і Codex.

Так дослідники потрапили до акаунта працівника OpenAI, який був підключений до корпоративного GitHub. Щоб підтвердити наявність вразливості й не переглядати конфіденційний код, вони за допомогою Codex створили один тестовий pull request №1186742. Зміна стосувалася файлу README у внутрішньому монорепозиторії openai/openai. Після цього дослідники одразу припинили роботу.

ВАС ЗАЦІКАВИТЬ

Хакери знайшли спосіб безплатно користуватися Claude Code: крадуть токени з платних акаунтів

OpenAI усунула проблему через 14 годин після отримання звіту. Компанія анулювала вразливі сесії й обмежила права токенів, а також виплатила дослідникам винагороду. Увесь процес, від аналізу вразливості до отримання доступу, тривав менш ніж 72 години.

За оцінкою дослідників, на використання ШІ-моделі витратили близько 3 тисяч доларів у токенах.

ВАС ЗАЦІКАВИТЬ

OpenAI обмежує доступ до ШІ Cyber після критики подібної політики Anthropic

ШІ дедалі активніше використовують для пошуку вразливостей у програмному забезпеченні. У серпні OpenAI повідомила про тести, під час яких її агенти знаходили та використовували вразливості у захищених системах. В іншому дослідженні спеціалізована модель компанії допомогла виявити раніше невідомі проблеми в рушії V8, який використовується в Chrome.

Паралельно дослідники фіксували випадки, коли ШІ-моделі OpenAI та Anthropic під час тестування виходили за межі контрольованих середовищ і використовували методи, характерні для реальних кібератак. Зокрема, агенти OpenAI діставалися до частини хмарної інфраструктури компанії та працювали з внутрішніми секретами.