Efficient Non-Parametric Neural Density Estimation and Its Application to Outlier and Anomaly Detection

Abstract

The main goal of this thesis is to propose efficient non-parametric density estimation methods that can be integrated with deep learning architectures, for instance, convolutional neural networks and transformers. A recent approach to non-parametric density estimation is neural density estimation. One advantage of these methods is that they can be integrated with deep learning architectures and trained using gradient descent. Most of these methods are based on neural network implementations of normalizing flows which transform an original simpler distribution to a more complex one. The approach of this thesis is based on a different idea that combines random Fourier features with density matrices to estimate the underlying distribution function. The method can be seen as an approximation of the popular kernel density estimation method but without the inherent computational cost. Density estimation methods can be applied to different problems in statistics and machine learning. They may be used to solve tasks such as anomaly detection, generative models, semi-supervised learning, compression, text-to-speech, among others. This thesis explores the application of the method in anomaly and outlier detection tasks such as medical anomaly detection, fraud detection, video surveillance, time series anomaly detection, industrial damage detection, among others. (Texto tomado de la fuente)

El objetivo principal de esta tesis es proponer m´etodos eficientes de estimaci´on de densidad no param´etrica que puedan integrarse con arquitecturas de aprendizaje profundo, por ejemplo, redes neuronales convolucionales y transformadores. Una aproximaci´on reciente a la estimaci´on no param´etrica de la densidad es la estimaci´on de la densidad usando redes neuronales. Una de las ventajas de estos m´etodos es que pueden integrarse con arquitecturas de aprendizaje profundo y entrenarse mediante gradiente descendente. La mayor´ıa de estos m´etodos se basan en implementaciones de redes neuronales de flujos de normalizaci´on que transforman una distribuci´on original m´as simple en una m´as compleja. El enfoque de esta tesis se basa en una nueva idea diferente que combina caracter´ısticas aleatorias de Fourier con matrices de densidad para estimar la funci´on de distribuci´on subyacente. El m´etodo puede considerarse una aproximaci´on al popular m´etodo kernel density estimation, pero sin el coste computacional inherente. Los m´etodos de estimaci´on de la densidad pueden aplicarse a diferentes problemas en estad´ıstica y aprendizaje autom´atico. Pueden ser utilizados para resolver tareas como la detecci´on de anomal´ıas, modelos generativos, aprendizaje semi-supervisado, compresi´on, texto a habla, entre otros. El presente trabajo se centra principalmente en la aplicaci´on del m´etodo en tareas de detecci´on de anomal´ıas y valores at´ıpicos como la detecci´on de anomal´ıas m´edicas, la detecci´on de fraudes, la videovigilancia, la detecci´on de anomal´ıas en series temporales, la detecci´on de da˜nos industriales, entre otras.