Исследование опубликовано в журнале AI.
Учёные лаборатории фундаментальных исследований искусственного интеллекта МФТИ предложили способ выявлять логические ошибки и необоснованные рассуждения, которые генерируют большие языковые модели (LLM). Исследование опубликовано в журнале AI.
Как пояснил ведущий научный сотрудник лаборатории Борис Галицкий, проблема LLM не только в вымышленных фактах, но и в дискурсивной организации рассуждений: модели могут выстраивать внешне убедительные, но логически ошибочные цепочки. Новый метод позволяет выявлять такие «галлюцинации» по структуре рассуждения – даже если оно изложено убедительно.
Для проверки подхода исследователи подготовили выборку из 1000 сгенерированных жалоб пациентов с симптомами аутоиммунных и ревматологических заболеваний. Для каждой жалобы составили два варианта рассуждений – обоснованное и галлюцинаторное (с одной из шести типичных ошибок). Затем тексты разложили на смысловые фрагменты и присвоили каждому роль (утверждение, довод, противоречие, вывод и т. п.), получив структурную схему рассуждения.
Анализ показал заметные различия: в обоснованных рассуждениях значимые свидетельства встречались в 79 % случаев, в галлюцинаторных – лишь в 15 %. Этап сопоставления разных фактов перед выводом присутствовал в 79 % обоснованных и только в 16 % галлюцинаторных рассуждений. Кроме того, галлюцинаторные цепочки оказались короче и проще по структуре.
На базе этих схем обучили классификатор, который по одной лишь структуре способен отличать обоснованные рассуждения от ошибочных – точность составила около 81 %. Метод особенно актуален для областей с высокой ценой ошибки, например для медицины.
Больше актуальных новостей и эксклюзивных видео – в нашем МАХ-канале.




























