В России создали технологию дистанционного мониторинга эмоций человека. Создатели использовали нейросети: алгоритмы смогли определить и проанализировать эмоции, пульс, частоту дыхательных движений и жестикуляцию людей, сообщают «Известия».
Российские учёные и программисты компании «Нейродата Лаб» создали новую технологию с нуля. Для того, чтобы обучить нейросети, нужно было сначала собрать базу данных, в данном исследовании это — большое количество видео. Специалисты в подобной работе часто используют общемировые открытые базы, но в этом случае каталоги видео (датасеты) были созданы конкретно под проект.
Первый лабораторный датасет собрали из видеофрагментов, в которых были задействованы десять профессиональных актеров. Процесс контролировал профессиональный преподаватель из ВГИКа. Актеры вживались в различные ситуации, которые снимались на видео, с одновременной записью физиологических показателей — дыхания и пульса.
Шесть часов видео в дальнейшем были размечены профессиональными аннотаторами — людьми, которые просматривают кадр за кадром и подписывают те эмоции, которые они наблюдают.
Использовался не только «постановочный» датасет. Ещё один каталог был собран из интернет-видеозаписей.
Для этого специалисты компании выбирали фрагменты видео, где люди общаются друг с другом в разной обстановке: на политических дебатах, во время выступлений или на ток-шоу. Чтобы разметить эти видео, были привлечены тысячи людей по всему миру. В результате удалось получить 160 часов видеозаписей, предназначенных для обучения различных нейросетей.
Метка, определяющая ту или иную эмоцию, ставилась только тогда, когда более 80% людей определяли ее одинаково. Таким образом было размечено 20 различных эмоций: не только грусть или радость, но также более сложные состояния — например, вовлеченность, дружелюбие, презрение, стыд, восхищение и открытость. Также анализировалась и когнитивная нагрузка — наличие умственных усилий, сопровождающих ту или иную задачу.
В результате ученые смогли получить специально обученную программу, разбирающуюся в эмоциях лучше человека, который не всегда верно понимает своих собратьев.
Где пригодится эта разработка? Спектр применения большой. Например, она может заинтересовать рекламодателей, которым важно понимать, как воздействует их продукт на аудиторию. Или предпринимателей — бизнес-процессы, замкнутые на клиента, также нередко нуждаются в корректировке, которую могут помочь осуществить нейросети.
Технология может пригодиться на собеседованиях перед приемом на работу, мониторинге состояния водителей и пилотов, а также решении бизнес-задач, где важно понять мнение клиента.
В мае стало известно, что журналисты исказили новость об учёных, которые якобы связали склонность к изменам мужчины с чертами его лица. Результат исследований был сильно преувеличен.
