Um estudo sobre a contenção de disco em ambientes virtualizados utilizando contêineres e seu impacto sobre aplicações MapReduce

Abstract

Big Data applications need to process and analyze large data set in parallel, such as MR applications that perform intensive disk operations. In such context, we observed a trend on use container based virtualization to process high-performance applications as MapReduce. However, the use of containers to data-intensive processing brought back many already solved interference problems in the traditional virtualized environments, such as example the interference problem caused by concurrently disk resources usage, also known as disk contention. This work shows an experimental study to investigate the intensive and concurrent usage of write resources in disk: where are concentrated the main disk interference problems, being responsible for leading the virtualized environment that uses containers to process MapReduce application until disk contention. Our result presents a static and dynamic policy for disk resource management in order to minimize the contention between MapReduce applications. Finally, the Makespan metric was evaluated and the gains over the strategies are static 31% and dynamic 26%.

Aplicações Big Data precisam analisar e processar grandes quantidades de dados em paralelo, como é o caso das aplicações MapReduce que são conhecidas pela utilização intensiva de disco. Nesse contexto, observou-se a tendência em utilizar a virtualização baseada em contêineres para o processamento de aplicações de alto desempenho, como o MapReduce. Entretanto, o uso de contêineres para o processamento intensivo de dados trouxe à tona diversos problemas de interferência já resolvidos para as tecnologias tradicionais de virtualização, como por exemplo a interferência causada pela uso concorrente dos recursos de disco, problema esse também conhecido como contenção de disco. Esse trabalho apresenta um estudo experimental que investiga o uso intensivo e concorrente dos recursos de escrita em disco: em que se concentram os principais problemas de interferência de disco, responsáveis por conduzir os ambientes virtualizados que utilizem contêineres para o processamento de aplicações MapReduce à contenção de disco. Os resultados demonstram que ao utilizar políticas tanto estáticas quanto dinâmicas para o gerenciamento de recursos é possível minimizar os problemas de contenção de disco e acelerar as aplicações MapReduce processadas sobre contêineres. A métrica Makespan foi avaliada e os ganhos sobre as estratégias são de: estática 31% e a dinâmica 26%.