Otimizações qualitativas e quantitativas nas fases de leitura e análise em pipelines metagenômicos

Abstract

As tecnologias de sequenciamento metagenômico tem avançado rapidamente e a quantidade de dados gerados a partir do sequenciamento em larga escala tem aumentado substancialmente ao longo dos anos. As presentes otimizações e avaliações de desempenho tem foco em algumas das etapas mais críticas e que consomem mais tempo em uma análise metagenômica: pré-processamento, classificação taxonômica e pós - processamento dos resultados de classificação. Otimizações e funções foram implementadas e introduzidas em uma nova arquitetura, PANGEA+, baseada no pipeline metagenômico PANGEA. Os principais melhoramentos alcançados com a presente ferramenta foram: suporte a vários formatos de arquivos de entrada e a base de dados taxonômicos do NCBI, novos métodos de classificação de espécies incluídos, análise consenso, implementação de memória distribuída para a fase de classificação de espécies, otimizações de baixa complexidade para o pós-processamento dos resultados de classificação. A avaliação da nova arquitetura, PANGEA+, demonstra melhoramentos consideráveis em várias funcionalidades e, principalmente, na etapa de classificação de espécies, tanto em exatidão quanto em desempenho computacional.

Metagenomic sequencing technologies are advancing rapidly and the size of output data from high-throughput genetic sequencing has increased substantially over the years. Our optimízations and performance evaluations are focused in some of the most critical and time-consuming steps of a metagenomic analysís: pre-processing, taxonomic classification assignment and post-processing of classification results. Optimizations and functions were implemented and introduced in a new architecture, PANGEA+, based on the PANGEA metagenomic pipeline. The main improvements of the present tool are: support of new input file formats and NCBI taxonomy database, new species classification methods, consensus analysis, implementation of distributed memory (MPI) for species classification step, and low complexity optimizations for the post-processing of classification results. The evaluation of the new architecture, shows remarkable improvements in many features and, mainly, in the species classification accuracy and performance.