Leannet: uma arquitetura que utiliza o contexto da cena para melhorar o reconhecimento de objetos

Abstract

A visão computacional é a ciência que permite fornecer aos computadores a ca- pacidade de verem o mundo em sua volta. Entre as tarefas, o reconhecimento de objetos pretende classificar objetos e identificar a posição onde cada objeto está em uma imagem. Como objetos costumam ocorrer em ambientes particulares, a utilização de seus contex- tos pode ser vantajosa para melhorar a tarefa de reconhecimento de objetos. Para utilizar o contexto na tarefa de reconhecimento de objetos, a abordagem proposta realiza a iden- tificação do contexto da cena separadamente da identificação do objeto, fundindo ambas informações para a melhora da detecção do objeto. Para tanto, propomos uma nova arquite- tura composta de duas redes neurais convolucionais em paralelo: uma para a identificação do objeto e outra para a identificação do contexto no qual o objeto está inserido. Por fim, a informação de ambas as redes é concatenada para realizar a classificação do objeto. Ava- liamos a arquitetura proposta com os datasets públicos PASCAL VOC 2007 e o MS COCO, comparando o desempenho da abordagem proposta com abordagens que não utilizam o contexto. Os resultados mostram que nossa abordagem é capaz de aumentar a probabili- dade de classificação para objetos que estão em contexto e reduzir para objetos que estão fora de contexto.

Computer vision is the science that aims to give computers the capability of see- ing the world around them. Among its tasks, object recognition intends to classify objects and to identify where each object is in a given image. As objects tend to occur in particular environments, their contextual association can be useful to improve the object recognition task. To address the contextual awareness on object recognition task, the proposed ap- proach performs the identification of the scene context separately from the identification of the object, fusing both information in order to improve the object detection. In order to do so, we propose a novel architecture composed of two convolutional neural networks running in parallel: one for object identification and the other to the identification of the context where the object is located. Finally, the information of the two-streams architecture is concatenated to perform the object classification. The evaluation is performed using PASCAL VOC 2007 and MS COCO public datasets, by comparing the performance of our proposed approach with architectures that do not use the scene context to perform the classification of the ob- jects. Results show that our approach is able to raise in-context object scores, and reduces out-of-context objects scores.