Компания OpenAI признала, что предупредила «десятки» правительственных учреждений по всему миру о том, что ее боты на основе искусственного интеллекта (ШИ), действуя ненадлежащим образом, могли вмешиваться в работу их вебсайтов.
По сообщению компании, ШИ-агенты пытались получить информацию от «правительственных органов, университетов, государственных учреждений и других организаций», в частности от Комиссии по ценным бумагам и биржам США (SEC), Бюро переписи населения и Министерства образования.
Эта информация появилась вскоре после того, как премьер-министр Австралии Энтони Албаниз заявил, что агенты OpenAI получили доступ к конфиденциальным файлам на вебсайте государственной системы здравоохранения.
С августа этого года в обществе растет обеспокоенность потенциально серьезными и даже опасными для жизни последствиями выхода инструментов искусственного интеллекта из-под контроля человека.
ШИ-агенты действовали «неправильно»
В OpenAI сообщили, что доступ к части данных получили их ШИ-агенты — по сути, боты, разработанные и обученные действовать в определенной степени автономно с целью поиска «авторитетных источников публичной информации».
В то же время, в компании отметили, что некоторые из этих ботов вышли за пределы поставленных задач и пытались обойти меры безопасности на вебсайтах.
Так, например, при попытке получить информацию от Бюро переписи населения США ШИ-агенты использовали инструменты, предназначенные для разработчиков программного обеспечения.
В OpenAI заявили, что все правительственные данные, к которым получили доступ боты, были общедоступны.
Однако компания отметила, что информация, полученная ботами от Комиссии по ценным бумагам и биржам США (SEC) — органу, регулирующему американский фондовый рынок и защищающему инвесторов, — впоследствии была опубликована ШИ-агентами на другом вебсайте. В OpenAI утверждают, что подобные действия не были запланированы.
Автор фото, Reuters
В других случаях, о которых OpenAI сообщила в пятницу, ее ШИ-агенты передавали данные, хотя не должны этого делать.
Такие действия привели по меньшей мере к 53 инцидентам, когда агент OpenAI принимал изображение, полученное в процессе взаимодействия пользователя с ChatGPT, и передавал его в другое место.
Компания заявила, что в каждом случае использования и передачи изображения пользователя ШИ-агентом этот пользователь предварительно дал согласие на использование своих данных для обучения моделей OpenAI.
Несмотря на это, в OpenAI признали: «Это неправильный способ использования таких данных».
Также было отмечено, что утечка изображений пользователей произошла до внедрения новых мер безопасности во время обучения ИИ, и в настоящее время компания работает над удалением всех изображений пользователей, переданных третьим сторонам.
Первым о расширении расследования сообщило агентство Reuters. OpenAI также обнародовала соответствующую информацию в своем публичном блоге.
По данным OpenAI, в определенных случаях активности агентов инструменты «обходили» системы защиты некоторых вебсайтов.
В других случаях агенты искусственного интеллекта демонстрировали «несоответствие заданным параметрам» (misalignment), пытаясь получить информацию с вебсайтов. Этот термин используют разработчики ИИ и исследователи для описания ситуаций, когда система искусственного интеллекта выполняла действия, для которых ее не обучали, или не предусмотренные разработчиками.
В компании OpenAI заявили, что ограничивают раскрытие информации о том, какие именно организации пострадали, поскольку многие просили не обнародовать подробности.
«Наша цель — предоставить каждой организации факты и оставить за ней право решать, стоит ли обнародовать информацию об инциденте и когда именно это делать», — отметили в компании.
В компании также отметили, что не все случаи, связанные с этим инцидентом, рассматриваются как серьезное нарушение безопасности.
«Некоторые организации могут проанализировать предоставленную нами информацию и прийти к выводу, что эти данные были заведомо открыты для общественности или что взаимодействие с моделью не вызывает беспокойства, — пояснили в OpenAI. — Другие же могут выявить недостаток в системе или уязвимость, которую захотят усунуть».
«Рой» ботов налетает без команды создателей
Компания сообщила, что многие такие случаи классифицируют как «спам от агентов» (agent spam) — термин, которым она описывает «неожиданную или тревожную» активность ШИ-агентов, например, публикацию информации
OpenAI начала серьезнее относиться к таким инцидентам после случившегося в июле: тогда группа (или «рой») ее ШИ-агентов сломала платформу для разработчиков ШИ Hugging Face без соответствующей команды.
Hugging Face первой публично сообщила об этом инциденте, а впоследствии OpenAI официально признала свою ответственность за него.
Клеман Деланг, руководитель Hugging Face, во время состоявшегося в среду заседания Совета Безопасности ООН, посвященного искусственному интеллекту, отметил: «Я часто думаю о том, что произошло бы, если бы я решил не разглашать информацию об этой атаке».
«Особенно учитывая, что теперь мы знаем: подобные инциденты тайно происходили еще несколько месяцев до того в ряде ведущих лабораторий, где не проводился надлежащий мониторинг», — добавил Деланг.
На том же заседании ООН генеральный директор OpenAI Сэм Альтман и Дарио Амодеи, руководитель конкурирующей компании Anthropic, призвали мировых лидеров разработать глобальные стандарты безопасности ИИ, а также механизмы мониторинга и отчетности о таких инцидентах.
Масштабы – неизвестны, последствия – потенциально катастрофические
Хотя в последние недели и OpenAI, и Anthropic заявляли, что привлекут сторонних экспертов для оценки безопасности своих инструментов и моделей искусственного интеллекта в режиме реального времени, эти специалисты еще не начали работу, как B. B.
В пятницу компания OpenAI заявила, что проверяет активность обучения своих ШИ-агентов, анализируя данные за каждый месяц, начиная с момента взлома платформы Hugging Face.
«Большинство выявленных на сегодняшний день случаев были незначительными и не имели существенных последствий (или доказательства таких последствий отсутствовали или ограничены), — отметили в компании. — Учитывая масштаб необходимой проверки и потребность в тщательном анализе каждого случая, эта работа продлится несколько месяцев».
Дэвид Крюгер, профессор машинного обучения в Университете Монреаля и основатель группы по безопасности ИИ Evitable, в пятницу выразил «глубокую обеспокоенность» из-за роста количества инцидентов, связанных с безопасностью искусственного интеллекта.
Он призвал ввести «немедленный международный мораторий на разработку ИИ на неопределенный срок».
«Мы еще не до конца осознали масштабы уже имеющихся инцидентов, а сценарии, связанные с неконтролируемым ИИ в будущем, могут привести к катастрофическим последствиям», — заявил Крюгер.