Anthropic представила новую модель искусственного интеллекта для кибербезопасности, доступ к которой получила ограниченная группа клиентов, включая Amazon, Apple и Microsoft. Это произошло через несколько дней после того, как детали проекта появились в открытом доступе.
Новая модель под названием Claude Mythos Preview предоставляется только проверенным организациям, включая Broadcom, Cisco и CrowdStrike. В компании также сообщили, что ведут переговоры с правительством США по возможному использованию этой технологии.
Объявление произошло после утечки информации в прошлом месяце, когда внутренние описания модели и другие документы стартапа из Сан-Франциско оказались в публичном кэше данных.
На прошлой неделе Anthropic столкнулась еще с одним инцидентом – в открытый доступ попал внутренний исходный код ассистента Claude Code.
Эти ситуации вызвали беспокойство относительно уровня защиты данных и внутренних процессов компании. В обоих случаях Anthropic объяснила истоки «человеческой ошибкой».
Модель Mythos уже несколько недель используется партнерами. Хотя она имеет универсальное предназначение, это первый случай, когда Anthropic ограничила ее распространение из-за мощных возможностей в сфере кибербезопасности.
В компании отмечают, что система способна проявлять уязвимости на уровне, превышающем человеческие возможности. В то же время, она может также находить способы их эксплуатации, что потенциально представляет риск в случае злоупотребления. Поэтому широкого запуска пока не планируется.
По словам представительницы Anthropic Дианы На Пенн, такие технологии могут принести значительную пользу, но в то же время представляют потенциальную опасность. Избранные партнеры получат преимущество в поиске уязвимостей и анализе кода в масштабах, ранее недоступных.
За последние недели Mythos обнаружила тысячи так называемых «нулевых» (ранее неизвестных) уязвимостей, многие из которых являются критическими и существовавшими годами.
Например, система нашла 16-летнюю уязвимость в популярном видеопрограммном обеспечении – в строке кода, который автоматизированные тесты выполняли более 5 миллионов раз, не заметив проблемы.
Впрочем, во время тестирования обнаружились и риски. В частности, модель смогла выйти за пределы песочницы – среды, которая ограничивает доступ к Интернету – и даже опубликовала детали обхода этой защиты.
Anthropic признала, что это демонстрирует потенциально опасную способность обходить установленные ограничения.
Технический исследователь компании Сэм Боумен отметил, что самые тревожные проявления поведения были характерны для предыдущих версий модели. Текущая версия менее подвержена утечкам, но сохраняет высокие технические возможности, включая работу в ограниченных средах.
Параллельно Anthropic ведет переговоры с правительством США по использованию Mythos. Ранее сообщалось, что Пентагон заинтересован в применении искусственного интеллекта для киберопераций, в частности, для выявления критической инфраструктуры потенциальных противников, таких как Китай.
Эти переговоры проходят на фоне напряженных отношений между компанией и Министерством обороны США. Суд временно заблокировал попытки Пентагона признать стартап риском для цепей снабжения. В то же время Дональд Трамп раскритиковал Anthropic, назвав ее «левоориентированной», после отказа изменять собственные ограничения по военному использованию технологий.
Anthropic также планирует инвестировать до 100 миллионов долларов в поддержку партнеров, предоставляя кредиты для работы с моделью и получения обратной связи. Кроме этого, компания выделит 4 миллиона долларов в поддержку проектов по безопасности открытого программного обеспечения, которое часто уязвимо к кибератакам.