One against many: exploring multi-task learning generalization in source-code tasks

Abstract

Engenharia de software é um processo complexo que envolve vários passos, muitas vezes requerendo um investimento significativo de recursos. Como resultado, muitas ferramentas para suportar o desenvolvimento surgiram, com modelos de aprendizado de máquina se tornando cada vez mais populares para tarefas relacionadas. Recentemente, Transformers, uma classe de modelos, obteve um tremendo sucesso no processamento de linguagem natural e foi adaptado para trabalhar com código-fonte, com modelos como o CodeBERT treinado em texto e código. CodeT5, um desses modelos, emprega uma abordagem prompt multi-task durante o treinamento para garantir melhor capacidade de generalização para tarefas-alvo. No entanto, primeiro, é necessário esclarecer qual é o impacto dessa abordagem de multitarefa em um cenário Big Code. Nesta dissertação, estudamos as várias vantagens e desvantagens dessa abordagem de aprendizado para tarefas relacionadas a código-fonte. Usando modelos prétreinados de ponta, comparamos métodos específicos de tarefas e de prompt multi-tarefa, analisando resultados de tarefas específicas para entender sua influência no desempenho. Também experimentamos diferentes combinações de tarefas para determinar quais são mais benéficas e se ajudam o modelo a entender melhor o contexto em que está sendo usado. Este trabalho lança luz sobre a aprendizagem de multitarefa prompt para tarefas de código-fonte, destacando como ela pode melhorar a eficiência de recursos e avançar a pesquisa em aprendizado multitarefa para Big Code.

Software engineering is a complex process that involves several steps, often requiring a significant investment of resources. As a result, many tools to support development have emerged, with machine learning models becoming increasingly popular for related tasks. Recently, Transformers, a class of models, has achieved tremendous success in natural language processing and has been adapted to work with source code, with models like CodeBERT trained on both text and code. CodeT5, one such model, employs a prompt multi-task approach during training to ensure better generalization capability for target tasks. First, however, it needs to be clarified what impact this multi-tasking approach has on a Big Code scenario. In this thesis, we studied the various advantages and disadvantages of this learning approach for source-code-related tasks. Using state-of-the-art pre-trained models, we compared task-specific and prompt multi-task methods, analyzing results on specific tasks to understand their influence on performance. We also experimented with different task combinations to determine which are most beneficial and whether they help the model better understand the context in which it is being used. This work sheds light on prompt multi-task learning for source-code tasks, highlighting how it can improve resource efficiency and advance research in multi-task learning for big code.