Как пишет издание TechCrunch со ссылкой на исследователей, искусственный интеллект может попасть в ловушку, которая заставит его генерировать искажённые данные. Они называют это «коллапсом модели».
В статье, опубликованной в журнале Nature, британские и канадские исследователи под руководством Ильи Шумайлова из Оксфорда показывают, что современные модели машинного обучения фундаментально уязвимы к синдрому, который они называют «коллапсом модели».
«Мы обнаруживаем, что неразборчивое обучение на данных, полученных другими моделями, приводит к “коллапсу модели” — дегенеративному процессу, в результате которого со временем модели забывают истинное базовое распределение данных…» — пишут учёные.
Суть явления такова: модели ИИ по сути являются системами сопоставления шаблонов; они изучают шаблоны в своих обучающих данных, затем сопоставляют подсказки с этими шаблонами, заполняя наиболее вероятные следующие точки в строке. При этом, эти модели тяготеют к наиболее распространенному результату. К примеру, при запросе рецепта у чат-бота вы получите самый распространённый, а запросив изображение собаки, скорее всего, получите популярного лабрадора.
Проблема же заключается в том, что уже сейчас Сеть наводнена искусственно сгенерированным контентом, а это значит, что новые модели с большей вероятностью будут обучаться на нём — получается, ИИ будет обучаться на продуктах ИИ. И если модели продолжат поглощать данные друг друга, результаты могут со временем становиться всё более странными и нереальными, пока не произойдёт коллапс. Теоретически, крах неизбежен.
Для наглядности автор TechCrunch сравнивает проблему с Уроборосом — мифическим змеем, который проглатывает свой хвост.
И выход из ситуации, опять же в теории, есть. Например, повсеместное и стандартизированное распространение специальных «водяных знаков» на сгенерированном контенте, которые распознавались бы другими моделями ИИ.
Контекст
- В феврале прошлого года один из руководителей Google предупредил о «галлюцинациях» искусственного интеллекта, с которыми можно столкнуться при использовании набирающих популярность чат-ботов. По его словам, «это выражается в том, что машина дает убедительный, но полностью выдуманный ответ».
