По данным OpenAI, создателя ChatGPT, более 40 миллионов человек ежедневно обращаются к своей платформе за медицинской информацией. Однако результаты двух новых исследований показывают: использование чат-ботов в качестве «домашнего врача» может быть опасным и даже фатальным.
Проблема формулировок
В первом исследовании, проведенном учеными из Оксфордского университета, изучалось, как обычные люди взаимодействуют с медицинскими нейронными сетями. Оказалось, что даже доступ к огромной базе данных не гарантирует правильного диагноза, если пользователь не знает, как формулировать симптомы.
Участникам предложили описать чат-ботам различные гипотетические симптомы. Результаты были неутешительны: только треть людей получила верный диагноз, а лишь 43% приняли правильное решение относительно следующих действий – вызвать скорую или остаться дома.
Эндрю Бин, исследователь искусственного интеллекта из Оксфорда, объясняет:
«Люди не знают, какую именно информацию нужно сообщить модели».
Итоговый результат критически зависит от формулировок. Живые врачи обучены задавать уточняющие вопросы, а нейросеть работает лишь с тем контекстом, что ей предоставили.
Например, два пользователя описали один и тот же клинический случай по-разному: первый добавил «самую сильную головную боль в жизни» – и бот направил его в отделение неотложной помощи. Второй упустил эту деталь, и ему посоветовали остаться дома и принять аспирин.
«Это состояние может поставить под угрозу жизнь пациента», — отмечает Бин.
В контролируемых клинических условиях большие языковые модели действительно могут конкурировать с врачами в диагностике, но в реальной жизни общение с ботами гораздо более хаотично.
Правильный диагноз, но ошибочные действия
Второе исследование, проведенное Маунт-Синай (Нью-Йорк), выявило другую опасность. Даже если алгоритм правильно определяет заболевание, он часто не оценивает его срочность.
Исследователи представили ботам множество медицинских кейсов. Оказалось, что в 52% случаев, нуждавшихся в неотложном вмешательстве, нейросеть воспринимала состояние пациента как менее серьезное, чем на самом деле.
Например, чат-бот не направил к врачу пациента с диабетическим кетоацидозом и дыхательной недостаточностью, представляющих прямую угрозу жизни.
Гириш Надкарни, врач и исследователь в области ИИ, объясняет:
«С описанными в учебниках экстренными ситуациями ChatGPT справляется хорошо. Проблемы возникают в сложных сценариях или когда важен фактор времени. Бот может как переоценить, так и недооценить необходимость срочного обращения».
Что говорят разработчики
В OpenAI к выводам ученых относятся скептически. Представители компании отметили, что условия исследований не отражают реального использования ChatGPT, а в одной из работ тестировалась старая версия модели. По их словам, часть проблем в новых обновлениях уже исправлена.
Тем не менее, медицинское сообщество соглашается: независимо от продвинутости алгоритмов, они еще не могут заменить клиническое мышление и опыт живого врача. Доверять искусственному интеллекту в вопросах, где цена ошибки-человеческая жизнь, пока рано.