Fully-disentangled text-to-image synthesis

Abstract

Algoritmos de generalização sofrem vários problemas. Comumente, os algoritmos de aprendizado profundo tendem a se ajustar a uma quantidade limitada de dados, gerando resultados insatisfatórios para dados não vistos. No caso de modelos geradores profundos, esse problema se manifesta de forma diferente. O modelo tende a ignorar nuances da distribuição real e colapsar em atributos mais comuns. Embora em algum grau, esse seja um comportamento desejado, isso pode levar o algoritmo a gerar imagens com diversidade muito reduzida, não explorando todos os atributos fornecidos pela distribuição real. Redes generativas profundas (por exemplo, GANs) não têm custo explícito para incentivar a diversidade durante o treinamento. Além disso, as GANs foram inicialmente projetadas para gerar amostras aleatórias sem controle do usuário. Propomos um método baseado em desentrelaçamento para resolver ambos os problemas de uma só vez para algoritmos de síntese de imagem a partir de texto. Primeiro, forçamos o desentrelaçamento de conceitos não descritos por descrições textuais (por exemplo, o segundo plano). Então, usamos as representações desentrelaçadas para fornecer combinações aleatórias para o gerador. Isso orienta o gerador para um mapeamento mais completo, gerando um aumento na diversidadea partir da mesma quantidade de dados. Com representações desentrelaçadas, o framework também ganha controle sobre a geração para cada conceito. Realizamos vários experimentos e estudos de ablação para validar nossas contribuições em um conjunto de dados de um único objeto. Os resultados mostram melhorias para ambos os objetivos e nenhum efeito colateral para os frameworks tradicionais. Nossa abordagem pode ser facilmente usada em outros frameworks para aumentar o controle, a diversidade e o realismo.

Generalization algorithms suffer from several problems. Commonly, deep learning algorithms are prone to overfit a limited amount of data, generating unsatisfactory results for unseen data. In the case of deep generative models, this problem manifests itself differently. The model tends to ignore nuances from the real distribution and to collapse into the most common attributes. To some degree, this is a desired behavior, but this can lead the algorithm to generate images with very reduced diversity, not exploring all attributes provided by the real distribution. Deep generative networks (e.g. GANs) have no explicit objective to encourage diversity during training. Furthermore, GANs were initially designed to generate random realistic samples with no control for the user. We propose a disentanglement-base method to tackle both problems at once for text-to-image synthesis frameworks. First, we force the disentanglement of concepts not described by textual descriptions (e.g. background). Then, we use the learned disentangled representations to provide random combinations for the generator. This guides the generator to a more complete mapping, hence increasing diversity using the same amount of data. With disentangled representations, the framework also gains control over synthesis for each concept. We conduct several experiments and ablation studies to validate our contributions on a singleobject dataset. Results show improvements for both goals and no side-effects for the traditional text-to-image frameworks. Our approach can easily be used on top of other frameworks to increase control, diversity, and realism.