USO DE TRANSFER LEARNING PARA O RECONHECIMENTO DE GESTOS DINÂMICOS

Abstract

Gestos estáticos e dinâmicos são considerados ferramentas importantes para a interação homem máquina. Mesmo sendo mais complexos, gestos dinâmicos são preferidos por serem considerados mais naturais. Muitos trabalhos buscam reconhecer gestos dinâmicos utilizando informações multimodais, capturadas com mais de um tipo de sensor. Entretanto, a maioria dos locais possuem apenas câmeras instaladas (para vigilância e monitoramento), já que outros sensores normalmente têm alcance limitado. Assim, reconhecer gestos usando apenas informações visuais pode ser uma alternativa muito interessante, permitindo-se usar tal abordagem em ambientes menos sofisticados e mais comuns. Por isso, neste trabalho é proposto um reconhecedor de gestos dinâmicos baseado apenas em cor, onde a técnica aplicada representa informações temporais como informações espaciais. Usa-se ainda o método de trasfer learning a Fim de se acelerar a convergência do modelo e se obter melhores resultados. A avaliação do método foi feita usando 3579 gestos, retirados do banco de dados Montalbano gesture dataset, e distribuídos em 20 classes distintas. Como resultado, obteve-se uma acurácia de 83; 10%, sendo que 65% dos gestos alcançaram mais de 80% de acurácia. Isso mostra que a abordagem proposta tem desempenho adequado, podendo ainda ser melhorada, para um uso futuro em tarefas de interação homem-máquina.