Нейросеть Claude взломала системы трех компаний во время тестов по кибербезопасности
В эксперименте участвовали Claude Opus 4.7, Claude Mythos 5 и внутренняя тестовая модель ИИ.
Нейросетевые модели Claude во время тестов в сфере кибербезопасности получили несанкционированный доступ к системам трёх неназванных компаний. Об этом сообщили создатели — компания Anthropic, пишет «Новая газета Европа».
В эксперименте участвовали Claude Opus 4.7, Claude Mythos 5 и внутренняя тестовая модель ИИ. По задумке, нейросети должны были работать в изолированной симуляции без доступа к интернету, о чём им сообщалось в задании. Моделям нужно было взломать вымышленную систему и найти скрытую в ней информацию.
Однако из-за ошибки компании Irregular, которая сотрудничает с Anthropic, модели получили доступ к интернету и приняли сайты реальных компаний за часть эксперимента, пояснили разработчики.
Anthropic начала проверку после того, как 21 июля о выходе своих ИИ-моделей за пределы тестовой зоны сообщила компания OpenAI. Тогда нейросети смогли получить доступ к платформе Hugging Face.
Выявить случаи, когда Claude взламывал реальные компании, удалось после анализа более чем 141 тысячи тестовых запусков, отметили разработчики. После этого, 23 июля, они прекратили все эксперименты в сфере кибербезопасности.
Кроме того, 27 июля Anthropic сообщила пострадавшим компаниям, две из которых заявили, что не знали о взломе до обращения разработчиков ИИ.
Комментарии