Российские учёные научились читать мысли

Учёные из компании «Нейроботикс» («Нейроассистивные технологии») и Лаборатории нейроробототехники Московского физико-технического института (МФТИ) научились использовать электрическую активность мозга для воссоздания изображений, которые видит человек. О научном достижении рассказывает «Популярная механика»

«Энцефалограмма — следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по ЭЭГ — это все равно, что пытаться узнать устройство двигателя паровоза по его дыму. Мы не предполагали, что в ней содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек. Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты», — пояснил один из авторов работы, младший научный сотрудник МФТИ и программист-математик компании «Нейроботикс» Григорий Рашков. 

По его словам, на основе существующих наработок можно создать в будущем работающий в реальном времени интерфейс «мозг-компьютер».  Создатели новой системы надеются, что в будущем смогут сделать доступные нейроинтерфейсы, которые не требуют сложной имплантации. 

Существующие решения по распознаванию изображений с помощью сигналов мозга используют функциональную магнитно-резонансную томографию (фМРТ) или анализ получаемого непосредственно с нейронов сигнала. А разработка учёных из МФТИ и «Нейроботикс» использует электроэнцефалограмму (ЭЭГ), снимаемую с поверхности головы, и нейросети, которые в реальном времени реконструируют просматриваемое человеком видео.

В первой части эксперимента испытуемым показали 10-секундные видеоролики, снимая при этом показатели ЭЭГ общей продолжительностью 20 минут. Собранные данные позволили доказать, что частотные характеристики волновой активности (спектры) ЭЭГ для разных категорий видеороликов достоверно различаются и позволяют в реальном времени анализировать реакцию мозга на видео.

Во второй части эксперимента на основе трёх произвольно выбранных роликов были созданы две нейросети: первая генерировала произвольные изображения этих же категорий из «шума», вторая — создавала похожий «шум» из ЭЭГ. После того учёным удалось научить работать нейросети совместно, что позволило по записанному сигналу ЭЭГ воспроизводить кадры, похожие на те, которые видели люди в момент записи. В итоге в 90% случаев удалось получить кадры, которые совпадали с изначальным видеороликом.

Два месяца назад Facebook в своем блоге рассказал о результатах тестирования устройства, которое позволяет транслировать мысли человека в текст. Работа и опыты, которые велись с 2017 года, показали, что система может декодировать мысли человека и переводить их в текст.

А в прошлом месяце стало известно, что Facebook приобретет базирующийся в Нью-Йорке стартап CTRL-Labs, разрабатывающий программное обеспечение, которое позволяет людям управлять компьютерами с помощью разума.