Исследование: ИИ-модели не различают веру и знание

Недавнее исследование Стэнфордского университета, опубликованное в журнале Nature Machine Intelligence, выявило интересные аспекты работы современных языковых моделей. Несмотря на их прогресс в логическом мышлении, они испытывают трудности в различении объективных фактов и субъективных убеждений. В данной статье мы рассмотрим, как это ограничение может повлиять на использование ИИ в важнейших сферах человеческой деятельности.

Проблема различия между фактами и убеждениями

Человеческое общение строится на понимании разницы между знаниями и мнениями. Когда человек утверждает, что он что-то знает, это подразумевает уверенность в истинности его слов. В то время как вера допускает возможность ошибки. Это различие имеет критическое значение в таких областях, как:

• Медицина: Ошибки в интерпретации могут угрожать жизни пациентов.
• Юриспруденция: Неправильные выводы могут привести к судебным ошибкам.

Методология исследования

Для изучения данной проблемы был разработан набор тестов Knowledge and Belief Language Evaluation (KBLE). Он включает 13 000 вопросов, разделённых на тринадцать заданий. Исследователи использовали:

• Фактические утверждения: Проверенные данные из авторитетных источников.
• Искажённые версии: Ложные утверждения, созданные путём изменения ключевых деталей.

Результаты анализа моделей

В ходе исследования оценивались 24 различные модели, включая GPT-4 и Llama-3. Одним из наиболее поразительных результатов стало то, что модели с трудом распознавали ложные убеждения пользователей. Например:

• GPT-4o: Точность при обработке истинных убеждений составила 98,2 %, но упала до 64,4 % для ложных.
• DeepSeek R1: Снижение точности с более чем 90 % до всего лишь 14,4 % для ложных утверждений.

Стратегии обработки убеждений

Интересно отметить, что модели лучше справлялись с идентификацией ложных убеждений третьих лиц по сравнению с первыми лицами. В среднем точность определения ложных убеждений от третьего лица составляла 95 %, тогда как от первого — всего 62,6 %. Это указывает на различия в стратегиях обработки информации в зависимости от того, кто делает заявление.

«Различие между знанием и верой является важным аспектом для развития безопасного ИИ.»

Заключение

Исследование подтверждает существующие ограничения языковых моделей в распознавании различий между фактами и убеждениями. Это ставит под сомнение их надежность при использовании в критических сферах. Необходимы дальнейшие исследования и улучшения алгоритмов для повышения безопасности и эффективности ИИ-технологий.