Volume 11 number 2
Pages: 187-204
Attentional Management for Multiple Target Tracking by a Binocular Vision Head
Fábio de Freitas Caetano, Jacques Waldmann
| Resumo: | Gerenciamento da Atenção para Rastreamento de Multiplos Alvos por Cabeça de Visão Binocular. É apresentado o desenvolvimento de uma estratégia de atenção para rastreamento de múltiplos alvos e sua integração a uma cabeça de visão binocular. O emprego de segmentação monocular baseada em movimento produz regiões da imagem que são agrupadas em alvos. A emulação de uma fóvea reduz significativamente a carga computacional da segmentação dos alvos. O gerenciamento da atenção baseia-se na atribuição de um valor de interesse para cada alvo. A valoração deste atributo considera a disparidade binocular, a quantidade de pixels detectados em um alvo a movimentar-se, sua densidade de pixels, sua movimentação e a duração de sua presença em uma seqüência de imagens. A cabeça de visão realiza movimentos sacádicos, balísticos e de perseguição suave em torno dos eixos de arfagem (deslocamentos angulares em plano vertical) e de vergência com características similares àquelas do dispositivo visual antropomórfico. O desempenho do sistema é avaliado em um computador PC-compatível com freqüência de clock de 166MHz equipado com placas de aquisição de imagens de baixo custo. Duas situações são investigadas. No primeiro caso, pequenos alvos transladam independentemente sobre um fundo com textura. No segundo, um sujeito a mover-se produz múltiplos alvos sujeitos a rotação, a movimentos não-rígidos e a mudanças de escala. Uma taxa de processamento ao redor de 0,8 par de imagens estereoscópicas é alcançada. O primeiro caso demonstra as capacidades de rastreamento e estabilização da imagem para alvos pequenos sujeitos a translação apenas. O segundo revela o impacto das limitações do hardware sobre a sensibilidade do sistema a distorções nos padrões de nível de cinza. Estas se devem a rotações ocorridas entre as imagens e a mudanças na iluminação e na escala à medida que o sujeito sendo rastreado move-se pela cena. Conseqüentemente, reorientações indesejadas do foco de atenção ocorrem. Contudo, o sistema é bem-sucedido na manutenção do sujeito dentro o campo de visão, ainda que nem sempre estabilizado sobre a região definida como a de fixação no plano da imagem. |
| Palavras Chave: | Visão ativa, atenção visual, rastreamento binocular, segmentação de múltiplos alvos auxiliada por fóvea, cabeça de visão robótica, controle em tempo real, sistemas robóticos autônomos. |
| Abstract: | The development of an attention strategy for multiple target tracking and its integration with a binocular vision head is presented. Monocular motion-based segmentation yields image regions that are further clustered into targets. The emulation of a fovea significantly reduces the computational workload of target segmentation. Attentional management is based on assigning an interest value to each target. Its evaluation weighs binocular disparity, the number of detected moving pixels in a target, its pixel density, velocity and duration along the image sequence. The vision head performs saccades, ballistic motions and smooth pursuit around its tilt and vergence axes with characteristics similar to those of the anthropomorphic visual apparatus. System performance is evaluated on a 166 Mhz PC host with unexpensive off-the-shelf hardware in two situations. In the first case, small targets translate independently over a textured background. In the second, a moving human subject yields multiple targets undergoing rotation, non-rigid motion and scale changes. A processing rate about 0.8 stereo pair per second is attained. The first case shows the tracking and image stabilization capabilities for small translating targets only. The second case reveals the impact of hardware limitations on the system sensitivity to distortions in gray level patterns. It is induced by interframe rotation and changes in the illumination and scale factor as the tracked human subject moves around in the scene. As a consequence, undesired attentional reorientations occur. However, the system succeeds in keeping the subject within the field of view in such conditions though not always stabilized within the image region of fixation. |
| Keywords: | Active vision, visual attention, binocular tracking, fovea-aided multiple target segmentation, robotic vision head, real-time control, autonomous robotic systems. |
PDF copy (1390 kbytes)
Click here to obtain
|
Last modifications: by jro |