Sparse In-loop Video Coding Restoration Method

Abstract

Video in-loop restoration methods have traction much attention across the standardization groups for future video codecs AV2 1 and VVC 2. Primarily, because of potential benefits to compensate the artifacts generated during super-resolution scenarios and the effect of quan- tization process. Thus, new sophisticated learned-based algorithms have been proposed, in recent years, surpassing the classical switchable filter implementation in objective quality rate. However, CNN-based approaches requirements on computational cost and decoder complexity are still challenging. Therefore, we propose a low-complex learned-based method that leverages the solid and consistent sparse representation theory to exploit the spatial redundancy of frames. Our approach models the decoding residual, the distance between each reference and the respec- tive decoded frame. Furthermore, the proposed methods shrink the support of the sparse vector to two in order to control the restoration signal information. In addition, our method uses the Discrete Cosine Transform (DCT) orthogonal basis as a dictionary to exploit the statistical correlation between nonzero coefficients and the quantization level. Finally, we leverage the official and public available AV2 raw video dataset to compare our performance against the anchor AV2 codec through three objective visual quality metrics. The validation protocol includes benchmark data sets for the anchor and the restoration-enabled configurations. Our experimental results show a consistent restoration using sparse representation as well as an effective mechanism for sharing nonzero coefficients leveraging a Gaussian correlation. The experimental evaluation showed that our method has a 1%-2% gain regarding AV2, using SSIM and VMAF under similar bitrate conditions.

Los métodos de restauración de vídeo en bucle han venido incrementando el intereste por parte los grupos de estandarización para los futuros códecs de vídeo AV2 y VVC. Esto principalmente debido a a los beneficios potenciales para compensar efectos no deseados en el video producidos durante los procesos de super-resolución y cuantización. Así, en los últimos años se han propuesto nuevos y sofisticados algoritmos basados en aprendizaje, que superan a la clásica implementación de filtros conmutables en cuanto a tasa de calidad objetiva. Sin embargo, los requisitos de los enfoques basados en CNN en cuanto a coste computacional y complejidad del descodificador siguen siendo un desafio. Por ello, proponemos un método de baja complejidad basado en aprendizaje, que aprovecha la sólida y consistente teoría de la representación dispersa para explotar la redundancia espacial de los fotogramas que componen un video. Nuestro enfoque modela el residuo de descodificación, la distancia entre cada referencia y el respectivo fotograma descodificado. Además, el método propuesto reduce el soporte del vector disperso a dos para controlar la información de la señal de restauración. Por otra parte, nuestro método utiliza la base ortogonal de la transformada discreta de coseno (DCT) como diccionario para explotar la correlación estadística entre los coeficientes distintos de cero y el nivel de cuantificación. Por último, aprovechamos el conjunto de datos de vídeo de AV2, oficial y público, para comparar nuestro rendimiento con el códec AV2 de referencia, mediante tres métricas objetivas de calidad visual.El protocolo de validación incluye conjuntos de datos de referencia para las funciones de anclaje y restauración. Nuestros resultados experimentales muestran una restauración coherente utilizando una representación dispersa así como un mecanismo eficaz para compartir coeficientes distintos de cero aprovechando una correlación gaussiana. La evaluación experimental mostró que nuestro método tiene una ganancia del 1%-2% con respecto a AV2, utilizando SSIM y VMAF en condiciones de bitrate similares.