Автор фото, Reuters
Американский разработчик искусственного интеллекта Anthropic заявил, что компания обнаружила и прекратила попытки использовать ее модель ИИ для «злонамеренной деятельности», которая могла способствовать разработке биологического оружия.
Об этом говорится в недавнем анализе компании по угрозам.
Это последнее из ряда предупреждений исследователей ИИ и представителей индустрии о потенциальных рисках этой технологии для человечества.
Предупреждение уже вызвало призывы к конкретным действиям. Сенатор США Берни Сандерс призвал приостановить разработку передовых систем ИИ и запретить создание искусственного суперинтеллекта.
Дональд Трамп отвергает такие опасения. В четверг он заявил, что его больше беспокоит другое: «Если мы не победим в сфере ИИ, мы окажемся в очень затруднительном положении».
В четверг компания опубликовала свой последний отчет об угрозах. Подобные анализы публикуют и другие разработчики ИИ.
В частности, во вторник Google сообщила, что кто-то пытался использовать ее ШИ-инструмент Gemini, чтобы получить «пошаговое техническое руководство по созданию биологических агентов, предназначенных для использования в качестве оружия».
Согласно отчету Anthropic, ее модель ШИ Claude также использовали в кибершпионской кампании, связанной с Россией, а также иранская пропагандистская структура.
Выявленные за последние восемь месяцев случаи злоупотребления ИИ были разнообразными – от фальшивых приложений для знакомств и мошеннических схем через Wi-Fi в отелях до систем слежения, предназначенных для выявления диссидентов.
Anthropic также обвинила китайские компании-разработчики ИИ в попытках воспроизвести возможности Claude.
В большом отчете приведены случаи, когда технологии компании использовали не по назначению возможные государственные структуры, преступники, разработчики шпионского программного обеспечения, государственные пропагандистские учреждения и политически мотивированные лица.
По данным компании, в период с декабря 2025 года по август 2026 года ей удалось прекратить случаи злонамеренного использования моделей Claude Haiku, Sonnet и Opus.
Ни один из выявленных случаев не касался моделей Claude Fable или более мощных моделей класса Mythos, за исключением одного случая «дистилляции» — процесса, при котором меньшие модели ИИ обучают с помощью более крупных и более дорогих моделей.
Anthropic заявила, что ее модели использовали не только для кибератак и информационных операций, слежения, мошенничества, но и для разработки биооружия. Компании пришлось блокировать ученых, использовавших ИИ таким образом, что это могло способствовать созданию оружия.
Anthropic назвала злоупотребление ИИ в биологической сфере «одним из самых серьезных рисков для передовых моделей ИИ». В отсутствие надлежащих предохранителей это «может иметь катастрофические последствия», заявила компания.
«Тую же информацию, которую можно использовать для разработки биологического оружия, можно также применить, например, для создания вакцины или лекарства от болезни», — отметили в Anthropic.
Руководитель отдела анализа угроз Anthropic Джейкоб Кляйн сказал New York Times, что это «чрезвычайно сложная и неоднозначная ситуация».
Это не то, что вы видите злодея из комиксов, который заявляет: Я хочу создать биологическое оружие, чтобы убить всех, — сказал Кляйн.
В отчете также упоминаются шесть случаев, когда Claude использовали для разработки программного обеспечения оружия, ракет, ударных дронов, бомб и других боеприпасов, а также систем наведения и управления, с помощью которых их применяют
.
Среди упомянутых в отчете — хакерская группировка ShinyHunters, а также лаборатории, базирующиеся в Китае
В отчете также говорится о хакерской группировке, связанной с Россией. До тех пор, пока киберзащита переставала его распознавать. Anthropic также сообщила, что при необходимости передавала полученную информацию правоохранительным органам и партнерам в технологической отрасли.
Этот отчет, первый за этот год, появился после того, как ведущий исследователь в области безопасности Anthropic предупредил: искусственный интеллект развивается так стремительно, что, по его мнению, вероятность того, что в течение следующего десятилетия он может уничтожить все человечество, превышает 10%.
В статье, опубликованной 6 сентября, главный ученый OpenAI Якуб Пачоцкий призвал отрасль ввести «добровольное замедление» разработки ИИ, пока не будут созданы необходимые предохранители.
«Я озабочен тем, что никто не готов к последствиям дальнейшего стремительного роста машинного интеллекта», — заявил Пачоцкий. Он добавил, что OpenAI, создавшая ChatGPT, продолжит работать над системами безопасности, однако необходимы более масштабные меры.
Это предупреждение стало поводом для открытого письма премьер-министру Великобритании Энди Бернему с призывом заключить новый международный договор о безопасном развитии ИИ.
Авторы письма также призвали правительства совместно определить, каким должен быть договор, регулирующий развитие суперинтеллекта.
В США демократ Берни Сандерс внес законопроект о запрете искусственного суперинтеллекта и временной приостановке разработки передовых систем ИИ.
«Когда ученые говорят вам, что существует вероятность, даже просто вероятность катастрофических последствий для человечества, надо быть дураком, чтобы не сказать: притормозите», — заявил он в четверг в эфире BBC Newsnight.
При участии Осмонда Чиа.