Efficient Non-Parametric Neural Density Estimation and Its Application to Outlier and Anomaly Detection
Cargando...
Autores
Gallego-Mejia, Joseph A.
Director
Tipo de contenido
Document language:
Inglés
Fecha
Título de la revista
ISSN de la revista
Título del volumen
Documentos PDF
Resumen
El objetivo principal de esta tesis es proponer m´etodos eficientes de estimaci´on de densidad no param´etrica que puedan integrarse con arquitecturas de aprendizaje profundo, por
ejemplo, redes neuronales convolucionales y transformadores. Una aproximaci´on reciente a
la estimaci´on no param´etrica de la densidad es la estimaci´on de la densidad usando redes
neuronales. Una de las ventajas de estos m´etodos es que pueden integrarse con arquitecturas de aprendizaje profundo y entrenarse mediante gradiente descendente. La mayor´ıa de
estos m´etodos se basan en implementaciones de redes neuronales de flujos de normalizaci´on
que transforman una distribuci´on original m´as simple en una m´as compleja. El enfoque
de esta tesis se basa en una nueva idea diferente que combina caracter´ısticas aleatorias de
Fourier con matrices de densidad para estimar la funci´on de distribuci´on subyacente. El
m´etodo puede considerarse una aproximaci´on al popular m´etodo kernel density estimation,
pero sin el coste computacional inherente. Los m´etodos de estimaci´on de la densidad pueden
aplicarse a diferentes problemas en estad´ıstica y aprendizaje autom´atico. Pueden ser utilizados para resolver tareas como la detecci´on de anomal´ıas, modelos generativos, aprendizaje
semi-supervisado, compresi´on, texto a habla, entre otros. El presente trabajo se centra
principalmente en la aplicaci´on del m´etodo en tareas de detecci´on de anomal´ıas y valores
at´ıpicos como la detecci´on de anomal´ıas m´edicas, la detecci´on de fraudes, la videovigilancia,
la detecci´on de anomal´ıas en series temporales, la detecci´on de da˜nos industriales, entre otras.
Abstract
The main goal of this thesis is to propose efficient non-parametric density estimation methods
that can be integrated with deep learning architectures, for instance, convolutional neural
networks and transformers. A recent approach to non-parametric density estimation is neural
density estimation. One advantage of these methods is that they can be integrated with deep
learning architectures and trained using gradient descent. Most of these methods are based
on neural network implementations of normalizing flows which transform an original simpler
distribution to a more complex one. The approach of this thesis is based on a different idea
that combines random Fourier features with density matrices to estimate the underlying
distribution function. The method can be seen as an approximation of the popular kernel
density estimation method but without the inherent computational cost. Density estimation methods can be applied to different problems in statistics and machine learning. They
may be used to solve tasks such as anomaly detection, generative models, semi-supervised
learning, compression, text-to-speech, among others. This thesis explores the application of
the method in anomaly and outlier detection tasks such as medical anomaly detection, fraud
detection, video surveillance, time series anomaly detection, industrial damage detection,
among others. (Texto tomado de la fuente)
Palabras clave propuestas
Kernel density estimation; Kernel methods; Deep Learning; Random Fourier Features; Machine Learning; Deep Kernel; Large-scale learning; Kernel Density Esitmation Approximation; Density Matrix; Neural Density Estimation; Estimación de la densidad del núcleo; Métodos del núcleo; Aprendizaje profundo; Aprendizaje a gran escala; Aproximaciones de la estimación de la densidad del nucleo; Matriz de densidad; Estimación de la densidad neuronal
Descripción
ilustraciones, diagramas