Ученые из Группы Компьютерного Зрения Сколтеха под руководством профессора Виктора Лемпицкого разработали алгоритм, позволяющий изменять направление взгляда человека на изображениях и видео, в том числе и в режиме реального времени.

Во время видеоконференций (например, по Skype) собеседники обычно смотрят на экран, но не в камеру, из-за чего взгляд оказывается направлен немного вниз, и теряется ощущение реального разговора. С похожей проблемой сталкиваются и телевизионные дикторы, которым необходимо одновременно читать текст и смотреть на зрителей. Для решения этой задачи (в литературе она носит название «коррекция взгляда» или «gaze correction») прибегают к помощи специальных, часто дорогостоящих технических средств.

Система, созданная учеными из Сколтеха, использует лишь обыкновенную цифровую камеру ноутбука или смартфона и не требует никаких дополнительных устройств. В основе подхода лежит использование глубоких нейронных сетей (deep learning), метода машинного обучения, позволившего за последние несколько лет добиться выдающихся результатов в таких сферах, как обработка текстовых данных, распознавание речи и компьютерное зрение.

DeepWarp ー один из нескольких проектов, разработанных в группе Виктора Лемпицкого и посвященных синтезу изображений с помощью нейронных сетей. Исследователи отмечают большой практический потенциал этого направления. Так проект по манипуляции взглядом может быть востребован не только для видеоконференций, как отмечалось выше, но и в фото- и киноиндустрии как средство для пост-обработки.

В октябре результаты исследования будут представлены в Амстердаме на 14ой Европейской Конференции по Компьютерному Зрению.