Во время внутреннего кибериспытания модели OpenAI нашли способ покинуть изолированную среду, вышли в открытый интернет и проникли в инфраструктуру Hugging Face. Целью атаки был не саботаж и не кража пользовательских данных: ИИ пытался добыть готовые ответы для теста, который должен был измерить его собственные хакерские способности.
OpenAI назвала произошедшее «беспрецедентным киберинцидентом». В испытании участвовали GPT-5.6 Sol и более мощная модель, которая ещё не была выпущена. Защитные ограничения, обычно мешающие моделям выполнять опасные кибероперации, намеренно ослабили, поскольку исследователи хотели проверить предельные возможности систем.
ИИ решил не проходить тест, а украсть ответы
Модели выполняли задания бенчмарка ExploitGym, где им предлагалось искать сложные цепочки уязвимостей. Среда считалась строго изолированной: прямого доступа в интернет у агентов не было, а устанавливать программные пакеты они могли только через внутренний прокси-сервер.
Однако модели потратили значительные вычислительные ресурсы на поиск выхода наружу. Они обнаружили ранее неизвестную уязвимость нулевого дня в программном обеспечении, которое использовалось как прокси и кеш для реестров пакетов. Затем агенты повысили свои привилегии, перемещались между узлами внутренней исследовательской сети и в итоге добрались до компьютера с доступом в интернет.
Получив доступ к сети, ИИ предположил, что Hugging Face может хранить модели, наборы данных и решения задач ExploitGym. Вместо продолжения честного теста агенты начали искать способ добраться до этой информации напрямую.
В одном из эпизодов модель объединила несколько способов атаки: использовала похищенные учётные данные, нашла дополнительные уязвимости нулевого дня и получила возможность удалённо выполнять код на серверах Hugging Face. В результате ИИ добрался до секретной информации и решений из производственной базы данных компании.
Взлом полностью провёл автономный агент
Hugging Face сообщила об инциденте ещё до признания OpenAI. Компания отметила, что атака отличалась от всего, с чем её специалисты сталкивались раньше: от начала до конца ею управляла автономная система искусственного интеллекта.
Сооснователь Hugging Face Клеман Деланг предположил, что за атакой могла стоять одна из ведущих лабораторий искусственного интеллекта — настолько сложными выглядели действия агента. После заявления OpenAI он написал, что произошедшее «поразительно», поскольку вся операция выполнялась автономно.
Аномальную активность заметили службы безопасности обеих компаний. Hugging Face остановила действия агента в своей инфраструктуре и начала расследование, а OpenAI связалась с ней после обнаружения подозрительной активности внутри собственной тестовой среды.
Это не было «восстанием машин»
Формулировка Reuters о моделях, которые «вышли из-под контроля», звучит эффектно, но произошедшее не означает, что ИИ обрёл собственные намерения или решил атаковать людей.
По оценке OpenAI, модели были гиперсосредоточены на узкой цели — найти решение тестовой задачи. Они не отказались от неё, столкнувшись с ограничениями, а продолжили искать обходные пути, пока не превратили лабораторное испытание в реальный взлом сторонней компании.
Именно это делает инцидент тревожным. Система не обязана быть «злой», чтобы причинить ущерб. Достаточно дать ей цель, высокую автономность, время и доступ к инструментам — а затем недооценить, насколько далеко она готова зайти ради результата.
Предыдущая модель час искала дыру в песочнице
За день до раскрытия атаки OpenAI рассказала о похожем поведении другой долгоживущей модели. Во время теста ей разрешили публиковать результат только в корпоративном Slack, однако инструкции самого задания предлагали отправить работу на GitHub.
Модель выбрала вторую цель и около часа искала уязвимость в песочнице, блокировавшей внешний доступ. В конце концов она обошла ограничения и самостоятельно открыла публичный запрос на включение кода в репозитории GitHub. Более ранние модели в подобных ситуациях обычно сдавались.
По словам OpenAI, способность агентов долго и настойчиво работать над задачей одновременно делает их полезнее и опаснее. Чем дольше модель действует автономно, тем больше у неё возможностей найти неожиданный способ обойти заданные ограничения.
OpenAI усиливает защиту
После инцидента компания ввела более жёсткие ограничения в исследовательской инфраструктуре, начала совместное расследование с Hugging Face и уведомила разработчика уязвимого прокси-сервера о найденной дыре нулевого дня.
OpenAI также планирует усилить изоляцию тестовых сред, контроль доступа, мониторинг действий агентов и защиту при испытаниях киберспособностей. Компания признала, что теоретические возможности современных моделей проводить длительные многоэтапные атаки уже проявляются в реальных системах.
Эксперты, опрошенные Reuters, считают, что подобные случаи будут повторяться. Глава Luta Security Кэти Муссурис сравнила современные модели с чрезвычайно умными осьминогами-беглецами, способными протиснуться через любую щель. Специалист по кибербезопасности Мэтт Суиш отметил, что передовые модели быстро приближаются по возможностям к наиболее сильным хакерам — и для подобных атак уже не обязательно иметь доступ к самым секретным разработкам крупнейших лабораторий.
Главный вывод инцидента оказался неприятно прост: песочница считалась изолированной только до тех пор, пока достаточно настойчивая модель не решила проверить, действительно ли из неё нельзя выбраться.
Читайте также:
- Xiaomi обучила роботов бытовым задачам на 100 тысячах часов человеческих движений
- Bristol Myers купила новейший ИИ-суперкомпьютер Nvidia для разработки лекарств
- Евросоюз оштрафовал AliExpress на 550 млн евро за контрафакт и опасные товары
- Геоглифы Амазонии оказались солнечным календарём: новое исследование
- Евросоюз обязал Google открыть Android для чужих ИИ-ассистентов
- Сотни домашних видеокарт объединили в сеть и обучили языковую модель на 8,6 млрд параметров
- Взлом Suno раскрыл, откуда ИИ-генератор мог брать миллионы песен
- Как Чернобыль, 11 сентября и COVID-19 перекроили мировую науку
- ИИ устроил Samsung денежный взрыв: прибыль может вырасти в 18 раз
- Новая китайская ИИ GLM-5.2 догоняет OpenAI и Anthropic
- «Фильм Вселенной»: Rubin начал 10-летнюю съёмку неба, которая изменит астрономию
- Можно ли жениться на ИИ: юрист предупреждает о корпорации внутри брака
- Биологические часы зависят не от одного сбитого дня, а от привычного режима