| Resumen: | Currently, the use of Virtual Reality technology has opened the possibility to use computers with an interaction level superior to the traditional interfaces based on keyboards and mouse. This is achieved trough devices that allow to insert the users vitually in a computer generated environment. In this virtual environment the user can visualize and manipulate, in three dimensions, virtual objects that are part of it, with the possibility of interacting with them in a similar way like the real world. The degree of interaction in virtual environments is influenced by the capability of track certain parts of body, such as the head, the hand or even the whole body. Also, it is important that this environment enable the execution of certain operations that allow a user interact with a virtual object in real world fashion, providing the feeling that he or she is immersed in another reality. Unfortunately, the cost of such equipments and the amount of wires that need to be attached to the user body, among others restrictions, limit the use of Virtual Reality in everyday life. This work aims to present an alternative to the position and orientation tracker hardware used to track the user hand. Its contribution is to use Image Processing and Computer Vision techniques to implement a video image based hand tracker. To do so, the project is divided in three distinct phases. The first phase detects the hand in an image through skin color segmentation. In this phase, four skin segmentation algorithms are implement and many tests are realized with two skin models and two color space. The second phase calculates the hand position and two algorithms are implemented and tested. In the third phase, the hand orientation is obtained through a Computer Vision technique called Image Moments. After that, through the contour hand analysis, some features are detected, such as fingertips, valleys between the fingers and the wrist. These features can be used to get the 3D hand position and orientation. Along this text each development phase, the techniques used, and its respective results are described in detail.
Atualmente, a tecnologia de Realidade Virtual permite utilizar computadores com um grau de interação superior às interfaces tradicionais, baseadas apenas no teclado e no mouse, através de dispositivos que permitem inserir o usuário em um ambiente gerado em computadores. Neste ambiente virtual, o usuário pode visualizar em três dimensões os objetos que o compõe, com a possibilidade de interagir com os mesmos de maneira semelhante ao que ocorre no mundo real. O grau de interatividade em um ambiente virtual é influenciado pela capacidade do ambiente de rastrear determinadas partes do corpo, como a cabeça, a mão, ou até mesmo o corpo inteiro. Também é importante que este ambiente proporcione a execução de determinadas operações, que permitam o usuário interagir com um objeto virtual como se fosse um objeto real, promovendo a sensação de que o primeiro estava imerso em outra realidade. Infelizmente, o custo de tais equipamentos e a quantidade de fios necessários para conectá-los ao corpo do usuário, além de outras restrições, limitam a utilização da Realidade Virtual na vida diária. Este trabalho objetiva apresentar uma alternativa ao rastreador de posição e orientação utilizado para rastrear a mão.A sua contribuição é fazer uso das técnicas de Processamento de Imagens e Visão Computacional para implementar um rastreador de mão baseado em imagens de câmeras de vídeo. Para isto, o projeto foi divido em três fases distintas. A primeira fase detecta a mão em uma imagem através da segmentação de pele. Nesta fase, quatro algoritmos de segmentação de pele são implementados e vários testes são realizados, utilizando dois espaços de cores e dois modelos de cores. A segunda fase determina a posição da mão. Nesta fase dois algoritmos são implementados e testados. Na terceira a fase, a orientação da mão é determinada através de uma técnica conhecida na Visão Computacional denominada Momentos de Imagem. Em seguida, através da análise do contorno da mão, algumas características são detectadas, como as pontas dos dedos, os vales entre os dedos e o pulso, as quais podem ser utilizadas para calcular a posição e orientação da mão em 3D. Ao longo deste volume descreve-se em maiores detalhes cada fase de desenvolvimento do projeto juntamente com as técnicas utilizadas e seus respectivos resultados. |
