Леванов Алексей Александрович

Используя прибор BioPlux, можно создать систему, способную распознавать пользовательские жесты и их комбинации и, основываясь на них, разработать мультимодальный интерфейс. Жесты подобраны таким образом, что они не зависят друг от друга. Основная цель разработки – создать простое игровое приложение, управление в котором осуществляется за счет движения рукой. Актуальность работы с практической точки зрения обеспечена необходимостью создания системы, способной работать с языком глухонемых в реальном времени. 

Исследование и разработка человеко-машинных интерфейсов, основанных на распознавании и визуализации мультимедийной информации, становится передним краем в развитии современного математического и программного обеспечения. Перед разработчиками подобных интерфейсов ставится задача использования естественных для человека способов общения с компьютерами с помощью различных модальностей. Жесты рук пользователя являются особенно перспективными для построения подобных интерфейсов. В работе представлена программно-аппаратная система, использующая пикопроектор и видеокамеру для создания интерактивной сенсорной панели на горизонтальной поверхности. Система позволяет значительно упростить диалог человека и машины, создав дополнительный способ взаимодействия посредством проецирования элементов графических пользовательских интерфейсов. Предложены оригинальные, вычислительно эффективные алгоритмы распознавания и отслеживания объектов, обеспечивающих интерактивность. Описаны результаты экспериментов и макет системы.