Кевин Матте Карамансион, исследователь из Университета Висконсина-Стут, недавно провел исследование, оценивающее способность самых известных больших языковых моделей (БЯМ) определять, является ли новость правдивой или фальшивой. Результаты, опубликованные в статье на сервере для препринтов arXiv, предоставляют ценную информацию, которая может способствовать будущему использованию БЯМ для противодействия дезинформации в Сети. Об этом пишет SecurityLab.
«Мы оценили производительность этих больших языковых моделей, используя тестовый набор из 100 проверенных новостей от независимых фактчекерских агентств. Мы представляли каждую из этих новостей моделям в контролируемых условиях, а затем классифицировали их ответы в одну из трех категорий: “Правда”, “Ложь” и “Частично Правда/Ложь”. Эффективность моделей измерялась на основе того, насколько точно они классифицировали эти элементы по сравнению с подтвержденными фактами, предоставленными независимыми агентствами», — говорит исследователь.
По словам Карамансиона, GPT-4.0 от компании-разработчика OpenAI превзошел другие языковые модели.
«Однако все модели отставали от людей, проверяющих факты, подчёркивая огромную ценность человеческого познания. Эти результаты могут привести к увеличению внимания к развитию искусственного интеллекта в области проверки фактов при обеспечении сбалансированной, симбиотической интеграции с человеческими навыками», — добавил автор исследования.
Контекст
- Технологии искусственного интеллекта помогли фактчекерам повысить эффективность работы в Нигерии перед президентскими выборами. Технологии позволили сократить время людей на ручной мониторинг.
