Трагический случай в Великобритании показал серьезную уязвимость искусственного интеллекта. 16-летний Лука Челла Уокер покончил с собой после того, как обошел систему безопасности ChatGPT и получил детальный план самоубийства. Парень выдал свой запрос как «научное исследование», из-за чего алгоритм предоставил смертельно опасную информацию вместо контактов служб помощи.
Полиция нашла в компьютере Луки историю чатов, где видно, что нейросеть изначально предлагала контакты психологов, но быстро поддалась на обман подростка. Метод самоубийства был реализован уже через несколько часов после разговора с искусственным интеллектом. Родители не подозревали о депрессии сына, полагая, что он работает в бассейне. Следствие также установило, что Лука долгое время подвергался жестокому буллингу в школе.
Компания OpenAI пообещала усилить контроль за эмоциональным состоянием пользователей и защиту от опасных запросов. В то же время британские коронеры отмечают, что власти пока не имеют эффективных механизмов противодействия быстрому развитию ИИ, который научился обходить собственные моральные ограничения.
Этот инцидент подчеркивает важность контроля над использованием искусственного интеллекта и обучения подростков безопасному поведению в Интернете, особенно при доступе к информации, которая может быть опасной для жизни.

