Согласно тестированию, проведенному исследователями Колумбийского центра цифровой журналистики (Columbia’s Tow Center for Digital Journalism), поисковый инструмент ChatGPT OpenAI имеет некоторые проблемы с предоставлением правдивых ответов. Об этом пишут издания The Verge и Futurism.
OpenAI запустила инструмент поиска для подписчиков в октябре, заявив, что он может давать «быстрые и своевременные ответы со ссылками на соответствующие веб-источники». Как отмечает со ссылкой на исследователей издание Futurism, поиск ChatGPT с трудом распознавал цитаты из статей, даже если они были от издателей, договорившихся делиться данными с OpenAI.
Авторы попросили ChatGPT указать источник 200 цитат из 20 публикаций. Каждая пятая цитата была взята у издателей, которые запретили поисковому роботу OpenAI доступ к их сайтам. В ряде случаев сервис уверенно, но недостоверно отвечал, редко уведомляя, что в деталях могут быть сомнения. В общей сложности ChatGPT представил частично или полностью неправильные ответы в 153 случаях, при этом лишь семь раз признал неспособность точно ответить на запрос.
Авторы теста приводят интересный пример, когда систему попросили указать источник цитаты из статьи New York Times о находящихся под угрозой исчезновения китах, а получили ссылку на другой сайт, который полностью заимствовал текст.
«С неправильной атрибуцией трудно справиться без данных и методологии, которые Tow Center скрыл, и исследование представляет собой нетипичное испытание нашего продукта», — приводит комментарий представителя OpenAI Columbia Journalism Review. Компания пообещала «продолжать улучшать результаты поиска».
Контекст
- Недавно The Wall Street Journal писал: молодёжь всё чаще ищет информацию в Сети не с помощью Google, в том числе из-за использования чат-ботов.
