Sentimentstream: um comitê de classificadores adaptativo para análise de sentimento de tweets

Abstract

Diariamente, milhões de usuários utilizam o Twitter para compartilhar mensagens, fornecendo um enorme volume de conteúdo opinativo sobre diversos tópicos de interesse da sociedade. Além da quantidade de mensagens, o Twitter caracteriza-se como uma rede social de Fluxo Contínuo de Dados, que gera novas mensagens em tempo real, em alta velocidade e com distribuição não estacionária. Devido a essas características, pesquisas recentes em Análise de Sentimento têm explorado o Twitter em tarefas de classificação online, considerando restrições de tempo, memória e a necessidade de adaptação às mudanças que podem ocorrer na distribuição dos dados. Chamado de Concept Drift, esse fenômeno ocorre em decorrência de potenciais mudanças na distribuição que gera novos dados dentro do fluxo, afetando diretamente a capacidade de generalização do algoritmo. Além disso, a Análise de Sentimento introduz um tipo especial de mudança, chamada de Feature Drift.Trata-se de um problema onde novos atributos relevantes são encontrados ao longo do fluxo e atributos conhecidos se tornam irrelevantes, o que sugere o uso de um espaço dimensional dinâmico. Com base nesses desafios, neste trabalho é proposto SENTIMENTSTREAM, um comitê de classificadores dinâmico, baseado em lotes de dados, e que incrementalmente processa e avalia novas instâncias ao longo do fluxo. Especializado na classificação de tweets, SENTIMENTSTREAM é composto por dois componentes principais: (i) Um detector de concept drift, capaz de detectar e reagir de forma eficiente a mudanças abruptas na distribuição dos dados e, (ii) um detector de feature drift, que utiliza uma estratégia automática para monitorar e identificar potenciais mudanças no espaço de atributos. Experimentos com dados reais do Twitter indicam que SENTIMENTSTREAM apresenta resultados efetivos, sendo eficaz no processo de classificação de tweets e no tratamento de mudanças abruptas na distribuição dos dados.

Daily, millions of users use Twitter to share messages, providing a huge amount of opinionated content on various topics of interest to society. In addition to the volume of messages, Twitter is characterized as a social network in data streaming, that generates new messages in real-time at high speed and with a nonstationary distribution. Because of these characteristics, recent research in Sentiment Analysis has explored Twitter as an online classification task, considering constraints of time, memory, and the need to adapt to changes that may occur in the data distribution. Called concept drift, this phenomenon occurs due to potential changes in the distribution that generates new data within the stream, directly affecting the algorithm’s ability to generalize. Furthermore, the Sentiment Analysis introduces a special kind of challenge, called feature drift. In this case, new relevant attributes are found along the stream and known attributes may become irrelevant, which suggests the use of dynamic feature space.Based on these challenges, this work proposes SENTIMENTSTREAM, a dynamic ensemble classifier, which incrementally processes and analyses new instances along the stream. Specialized to process Twitter data, SENTIMENTSTREAM is composed of two main components: (i) A concept drift detector, able to detect and react efficiently to abrupt changes in the data distribution, and (ii) a feature drift detector, which uses an automatic strategy to monitor and identify potential changes in the attributes space. Experimentation with real data of Twitter indicates that Twitter SENTIMENTSTREAM presents effective results, being effective for tweets classification and treatment of potential changes in the data distribution.