Exploration of algorithms and implementations for efficient 3D-HEVC depth map encoding

Abstract

O padrão 3D High Efficiency Video Coding (3D-HEVC) foi o primeiro padrão a usar a codificação de mapas de profundidade juntamente com a codificação de textura para obter alta taxa de compressão e qualidade em vídeos 3D. A codificação de mapas de pro- fundidade introduziu ferramentas que requerem maior esforço computacional se comparado com a codificação de textura, implicando novos desafios para codificar vídeos 3D eficientemente, principalmente quando a codificação for efetuada em sistemas embarcados ou requerer tempo real. Esta Tese propõe algoritmos e implementações que permitem aprimorar a codificação de mapas de profundidade no padrão 3D-HEVC. As contribuições principais da Tese são agrupadas em três partes. (i) Redução do esforço de codificação intra-quadro, onde foram projetados quatro novos algoritmos com base em uma profunda análise da dis- tribuição de tempos e de modos usados na codificação. (ii) Aprimoramento dos modos de bipartição, onde foram explorados (a) o controle do esforço de codificação dos modos de bipartição, (b) o paralelismo para o modo Intra_Wedge, (c) a compressão de padrões para redução de armazenamento de wedgelets, e (d) o projeto de hardware para a decodifica- ção dos modos de bipartição. (iii) Redução do esforço de codificação inter-quadros, onde foram projetados três novos algoritmos para acelerar a codificação de quadros do tipo P e B. O conjunto de algoritmos e técnicas desenvolvidos podem ser aplicados individualmente ou combinados para melhorar o uso dos recursos computacionais ao codificar mapas de profundidade.

3D High Efficiency Video Coding (3D-HEVC) standard was the pioneer standard to use depth map coding along with texture coding to achieve high compression ratio and qual- ity in 3D videos. Depth map coding introduced new tools requiring more computational effort compared to texture coding, implying new challenges to encode 3D videos efficiently, espe- cially when the encoding is performed on embedded systems or requiring real-time processing. This Thesis proposes algorithms and implementations to improve the depth map coding in the 3D-HEVC standard. The main contributions are divided into three parts. (i) Reduction of intra-frame coding effort, where four new algorithms were designed based on a deep analysis of the time distribution and modes used in the coding process. (ii) Enhancement of bipartition modes, exploring (a) the encoding effort control of the bipartition modes, (b) the parallelism for Intra_Wedge mode, (c) the compression of patterns for wedgelet storage reduction, and d) the hardware design for the bipartition modes decoding. (iii) Reduction of inter-frame coding effort, where three new algorithms were designed to speed up the coding of P- and B-frames. The set of algorithms and techniques developed can be applied indi- vidually or combined to improve the use of computational resources when encoding depth maps.