Авторы исследования упоминают, что люди все чаще обращаются к искусственному интеллекту и чат-ботам за консультациями по вопросам своего здоровья, но нет доказательств того, что это эффективный способ.
Исследователи из Оксфордского университета совместно с группой врачей разработали 10 различных медицинских сценариев, начиная от обычной простуды и заканчивая опасным для жизни кровоизлиянием в мозг. В ходе тестирования без участия человека три крупные языковые модели — Chat GPT–4o, Llama 3 и Command R+ верно определили заболевание в 94,9% случаев. При подборе рекомендаций по дальнейшим действиям (вызов неотложной помощи, консультация врача) правильный вариант был предложен только в 56,3% случаев.
Затем исследователи набрали 1298 участников в Великобритании, которые использовали либо ИИ, либо свои обычные ресурсы, такие как поиск в Интернете, личный опыт или веб-сайт Национальной службы здравоохранения, чтобы изучить симптомы и принять решение о следующем шаге. Правильный план действий был предложен ИИ менее чем в 44,2%, что ничуть не лучше, чем в контрольной группе, использовавший более традиционные инструменты поиска.
Адам Махди, соавтор статьи и доцент Оксфордского университета, сказал, что исследование показало огромный разрыв между потенциалом искусственного интеллекта и реальным количеством ошибок, возникающих при его использовании.
Команда детально изучила около 30 взаимодействий и пришла к выводу, что часто люди предоставляли неполную или неверную информацию, но LLM также иногда давали вводящие в заблуждение или некорректные ответы. Например, одному пациенту, сообщившему о симптомах субарахноидального кровоизлияния, опасного для жизни состояния, искусственный интеллект правильно посоветовал обратиться в больницу после описания головной боли как «сильнейшей». Другой пациент описал те же симптомы, но упомянул «ужасную» головную боль, и ему было посоветовали просто отдохнуть в темном помещении.
Команда планирует провести аналогичное исследование в разных странах и на разных языках, чтобы проверить, повлияет ли это на работу ИИ.