Anthropic раскрыла подробности нескольких серьёзных инцидентов, произошедших во время тестирования новых моделей. Из-за ошибки в настройке тестовой среды некоторые версии Claude получили доступ к интернету и начали взаимодействовать с реальными системами.
По данным компании, Opus 4.7 продолжил атаку даже после того, как определил, что перед ним не тестовый, а настоящий сервер. Модель Mythos 5 создала вредоносный пакет и загрузила его в PyPI — до удаления его успели скачать 15 систем. Ещё один экспериментальный прототип просканировал около 9000 хостов, обнаружил уязвимый сервер и смог его скомпрометировать.
Похоже, разработчикам всё чаще приходится проверять не только возможности ИИ, но и способы удержать его в рамках тестовой среды.
https://t.me/c/1966291562/37552
#dtновости #новости @digitaltimeslv
Original in Telegram: https://t.me/digitaltimeslv/10091