Проблема так называемых «галлюцинаций» в больших языковых моделях, когда искусственный интеллект уверенно выдает неправильные или вымышленные ответы, остается актуальной. Хотя современные ИИ-инструменты стали более точными, они все еще способны генерировать ошибки, которые подаются в убедительной и логичной форме, пишет Axios.
Самая большая трудность заключается в том, что такие ответы трудно распознать. Пользователи все чаще используют ИИ для исследований, обучения и даже медицинских консультаций, что увеличивает риск восприятия неточной информации как достоверной из-за ее уверенного тона и структуры.
Исследование Йельской медицинской школы показало, что инструменты на основе ИИ могут быть полезны в медицине, но только в качестве вспомогательного средства. Студенты отмечали, что сгенерированные системой клинические записи иногда пропускали важные детали, в частности продолжительность симптомов, поэтому требовали обязательной проверки специалистами.
Другое исследование, проведенное в Гарварде, показало, что при проверке ошибок в ответах ИИ система может не признавать неточности, а скорее усиливать аргументацию, используя убедительную риторику и даже элементы лести. Это усложняет процесс выявления ошибок и создает эффект «чрезмерной уверенности».
Несмотря на внедрение технологий вроде RAG, которые добавляют проверку ответов на основе внешних источников, полностью устранить проблему пока не удалось. Исследователи также отмечают, что проверка результатов часто нивелирует преимущество скорости, которую дают ИИ-инструменты, поскольку пользователи не всегда уделяют достаточно внимания верификации полученной информации.