Style transfer for text-based image manipulation

Abstract

Grande parte dos dados que produzimos atualmente estão na forma de fotografias digitais, o que aumenta a demanda por aplicações de edição de imagens. Contudo, manipulação de imagens contém uma curva de aprendizado íngreme; desta forma, seria extremamente valioso automatizar ou simplificar este processo artístico para torná-lo mais acessível. Neste estudo, nós investigamos o uso de um subconjunto de linguagem natural (mais específicamente, descrições textuais de objetos) como entrada para automatizar a manipulação de imagens. Nós propomos uma abordagem baseada em aprendizado produnfo para a tarefa de manipulação de imagens baseada em texto que combina treinamento adversário e conceitos de transferência de estilo. Nós avaliamos nosso método, comparamos com abordagens referência e concluímos que nossos resultados possuem qualidade competitiva quando comparados com o estado-da-arte.

A large amount of the data we produce nowadays is in the form of digital photographs, which increases the demand for photo editing applications. However, image manipulation has a steep learning curve; as such, it would be invaluable to automate or simplify this artistic process to make it more accessible. In this study, we investigate the use of a subset of natural language (more specifically, textual descriptions of objects) as input to automatize image manipulation. We propose a deep learning approach for the task of textbased image manipulation that combines adversarial learning and style transfer concepts. We evaluate our method, compare it to baseline approaches, and conclude that our results have competitive quality when compared to the current state-of-the-art.