Google DeepMind разработала ИИ-систему SAFE, предназначенную для фактчекинга результатов больших языковых моделей (LLM), подобных ChatGPT. Об этом пишет SecurityLab.
Основной метод фактчекинга результатов LLM заключается в поиске подтверждающих источников в Google. Команда DeepMind применила аналогичный подход: специалисты разработали LLM-модель, которая анализирует утверждения в ответах ИИ, а затем ищет в Google сайты, которые могут быть использованы для верификации, после чего сравнивает два ответа для определения точности. Новая система получила название Search-Augmented Factuality Evaluator (SAFE).
В ходе тестирования системы исследовательская группа проверила примерно 16 000 фактов из ответов нескольких LLM, в том числе ChatGPT, Gemini, PaLM. Результаты сравнивались с выводами людей, занимающихся фактчекингом. Выяснилось, что SAFE совпала с находками людей в 72% случаев. При анализе разногласий между SAFE и людьми исследователи обнаружили, что в 76% случаев права оказывалась система SAFE.
Команда DeepMind опубликовала код SAFE в GitHub, предоставив возможность использовать систему всем желающим для повышения точности и надёжности ответов LLM-моделей.
Контекст
- В 2023 году Кевин Матте Карамансион, исследователь из Университета Висконсина-Стут, провел исследование, оценивающее способность самых известных больших языковых моделей определять, является ли новость правдивой или фальшивой. Тогда GPT-4.0 от компании-разработчика OpenAI превзошел другие языковые модели, но все модели отставали от людей-фактчекеров.
