Различные компании всё чаще используют инструменты искусственного интеллекта (ИИ) для важных процессов и задач, и их галлюцинации становятся все более серьёзной проблемой. Как пишет TechRadar, первые шаги по преодолению проблемы уже делаются. Amazon Web Services (AWS) анонсировала новый инструмент для борьбы с галлюцинациями.
Новая система проверок Automated Reasoning, на днях представленная на конференции AWS re:Invent 2024, призвана сократить количество потенциально опасных ошибок, вызванных галлюцинациями, из-за которых предприятия могут столкнуться с рисками для безопасности или финансовыми потерями.
«Проверки автоматического рассуждения» AWS призваны решить проблему путем перекрёстной проверки ответов, сгенерированных моделью, с информацией, предоставленной клиентом. Если достоверность ответа не определяется сразу, он направляется обратно в модель для дальнейшей проверки.
Как пишет Gadgets360, по словам компании-разработчика, для проверки информации, генерируемой LLM, используются «математические, логические алгоритмические процессы проверки и рассуждения».
Контекст
- В феврале 2023 года один из руководителей Google предупредил о «галлюцинациях» искусственного интеллекта, с которыми можно столкнуться при использовании набирающих популярность чат-ботов. По его словам, «это выражается в том, что машина дает убедительный, но полностью выдуманный ответ».
- В прошлом месяце генеральный директор Nvidia Дженсен Хуанг во время интервью в Гонконгском университете науки и технологий высказал мнение, что разработчики чат-ботов не смогут решить проблему галлюцинаций ИИ как минимум в течение ещё нескольких лет.
