Imagery contents descriptions for people with visual impairments

Abstract

Descrições de imagens visam expressar, em palavras, o conteúdo visual e são essenciais para pessoas que não têm visão. Tais sentenças descritivas são geradas manualmente ou por modelos de Inteligência Artificial (IA). Apesar da sua relevância, a emergência de geradores de descrições automáticas não foi motivada por pessoas com deficiência visual. Portanto, elas ainda causam insatisfação em sua audiência. Neste estudo, nós investigamos problemas em descrições de imagens na literatura por meio da técnica de Snowballing, onde encontramos treze problemas, incluindo aqueles relacionados à Ética, tais como a aparência física, gênero e identidade, raça e deficiência. Nós identificamos cinco razões do porquê pessoas videntes não escrevem descrições para os conteúdos visuais, demonstrando a necessidade de campanhas de acessibilidade para conscientizá-las da importância social das descrições de imagens. Além disso, nós realizamos um conjunto de entrevistas com oito participantes com baixa visão. Nós exploramos as características das sentenças descritivas de 25 imagens de ambientes internos e coletamos as expectativas de descrições de imagens dos participantes. Portanto, através dos resultados do Snowballing e das entrevistas, nós propomos um conjunto de Boas Práticas para auxiliar as ferramentas automáticas e as pessoas videntes na escrita de descrições de imagens de mais satisfatórias e de qualidade. Nós esperamos que os nossos resultados ressaltem a relevância social de sentenças descritivas e encorajam a comunidade a prosseguir com pesquisas interdisciplinares que possam potencialmente minimizar os problemas encontrados no nosso estudo.

Image descriptions intend to express, in words, the visual content and are essential for people who do not have eyesight. Such descriptive sentences are generated manually or by Artificial Intelligence (AI) models. Despite its relevance, the emergence of automatic description generators was not motivated by people with visual impairments; thus, they still cause dissatisfaction in their audience. In this study, we investigate image descriptions issues reported in the literature through the Snowballing technique, where we found thirteen problems, including those related to Ethics, such as physical appearance, gender and identity, race, and disability. We have identified five reasons why sighted people do not write descriptions for visual content, raising the need for accessibility campaigns to make them aware of the social importance of image descriptions. In addition, we conducted a set of interviews with eight low vision participants. We explored the characteristics of the descriptive sentences of 25 indoor images and collected the participants’ expectations of image descriptions. Therefore, through the results of the Snowballing and the interviews, we propose a set of Best Practices to help automatic tools and sighted people in writing more satisfactory and quality descriptive sentences. We hope our results will highlight the social relevance of image descriptions and encourage the community to pursue further interdisciplinary researches that could potentially minimize the issues encountered in our study.