| Resumen: | Classificação é a tarefa de Aprendizado de Máquina que visa categorizar instâncias em classes. Existem diversos algoritmos na literatura que realizam classificação, com diferentes graus de sucesso. Nos últimos anos, o desempenho preditivo foi o objetivo priorizado entre praticantes de Aprendizado de Máquina e a comunidade acadêmica. Todavia, mais recentemente, interpretabilidade tem ganhado cada vez mais atenção. Uma área de aprendizado de máquina que pode se beneficiar de um ganho em interpretabilidade é a de ensemble learning. Ensemble learning visa reunir modelos que, quando agrupados em comitês, podem fornecer alto grau de desempenho preditivo, mesmo que os classificadores que façam parte do grupo não sejam (em média) muito melhores que preditores aleatórios. Doravante, os benefícios são duplos: ensembles podem melhorar o desempenho preditivo de modelos interpretáveis caixa branca (que são, em média, piores que modelos caixa preta); e o uso de modelos caixa-branca aumenta a interpretabilidade de ensembles. Nesta tese, através do projeto de algoritmos evolutivos, uma poderosa classe de algoritmos de soft computing, desenvolvemos dois métodos para aprendizado de ensembles interpretáveis: EDNEL e PUMA. Enquanto os dois métodos são semelhantes, a diferença entre eles ainda assim é significativa: PUMA aprende ensembles de classificadores sem levar a interação entre variáveis em consideração, enquanto EDNEL calcula a correlação das variáveis. Todavia, nos experimentos que conduzimos para avaliar o desempenho dos métodos, detectamos que a abordagem mais simples de PUMA gerou ensembles com melhor desempenho preditivo em média do que EDNEL, enquanto aquele é estatisticamente equivalente à dois bem-estabelecidos métodos de aprendizado de ensembles, Adaboost e Random Forests.
Classification is the machine learning task of categorizing instances into classes. There are several algorithms in the literature that perform classification, with varying degrees of success. For the most part, predictive performance was the pursued objective among practitioners and the academic community regarding the design of novel classification algorithms. More recently, however, interpretability has been gaining more and more attention. One area of machine learning that can benefit from increased interpretability is that of ensemble learning. Ensemble learning aims to reunite models that, when ensembled, can provide a high degree of predictive performance, even though the individual classifiers of the ensemble are often not much better at predicting classes than random guessing. Hence, the benefits are twofold: ensembles can improve predictive performance of interpretable (white-box) models that perform, on average, worse than black-box models; and the use of white-box models improves the interpretability of ensembles. In this thesis, we design two evolutionary algorithms (a powerful soft computing technique) to develop two ensemble learning methods, EDNEL and PUMA. PUMA learns ensembles of classifiers in a univariate strategy, assuming independence among variables, while EDNEL takes into account variable dependence through correlation analysis. However, in the thorough experimental analysis performed, we found that PUMA performs better than EDNEL with regards to average rank, whilst it is statistically equivalent to two well-established ensemble learning algorithms, Adaboost and Random Forests. |
