Machine learning with quantum kernel mixtures : a categorical perspective
Cargando...
Autores
Director
Tipo de contenido
Editor
Document language:
Inglés
Fecha
Título de la revista
ISSN de la revista
Título del volumen
Documentos PDF
Resumen
Las matrices de densidad, desarrolladas originalmente en la teoría cuántica, se utilizan para representar tanto estados cuánticos puros como mixtos mediante el marco del álgebra lineal. Más allá de su papel en la mecánica cuántica, también sirven como una representación compacta de distribuciones de probabilidad, capturando tanto la incertidumbre clásica como la cuántica de un sistema. Una matriz de densidad típica tiene la forma ρ = Σᵢ pᵢ|xᵢ⟩⟨xᵢ|, donde pᵢ representa la distribución de probabilidad clásica y |xᵢ⟩ codifica la incertidumbre cuántica del estado.
Esta representación constituye la base del algoritmo de inferencia de Matrices de Densidad Kernel (KDM), introducido por González et al. en los artículos "Kernel Density Matrices for Probabilistic Deep Learning" y "Learning with Density Matrices and Random Features". En KDM, un conjunto de datos {(xᵢ, yᵢ)} ⊂ X × Y se incrusta en estados de tipo cuántico, donde cada entrada xᵢ se representa como un estado cuántico |xᵢ⟩ y la probabilidad asociada pᵢ captura la distribución clásica subyacente. En lugar de describir el estado de un sistema cuántico, aquí la matriz de densidad funciona como una herramienta computacional para mapear distribuciones sobre el espacio de entrada X hacia distribuciones sobre el espacio de salida Y. Esta perspectiva habilita aplicaciones en clasificación, estimación de densidad, transformación de datos y otras tareas de inferencia probabilística.
Para comprender y formalizar mejor el comportamiento de los modelos KDM, recurrimos a la teoría de categorías, que ha demostrado ser un lenguaje matemático poderoso para expresar estructuras y transformaciones composicionales, y que se ha aplicado cada vez más al aprendizaje automático. En particular, ofrece una manera fundamentada de describir la inferencia, el aprendizaje y el razonamiento probabilístico mediante abstracciones de alto nivel como funtores, mónadas y estructuras algebraicas.
Esta tesis explora el uso de estructuras categóricas —en particular las categorías de Markov y las mónadas— para mejorar y generalizar la inferencia probabilística a través de las Matrices de Densidad Kernel. Presentamos una factorización de la mónada de distribución mediante funtores de proyección y de medida, demostrando su relación adjunta y su estructura de álgebra de Eilenberg–Moore. Este marco categórico permite la inferencia sobre redes bayesianas que involucran variables tanto discretas como continuas, aprovechando kernels como el producto interno y el RBF. También extendemos la teoría para admitir espacios de salida continuos, lo que permite una estimación de densidad suave. Los resultados resaltan la expresividad, la diferenciabilidad y la componibilidad de los modelos basados en KDM, proporcionando una base categórica sólida para tareas prácticas de aprendizaje automático. (Texto tomado de la fuente)
Abstract
Density matrices, originally developed in quantum theory, are used to represent both pure and mixed quantum states through the framework of linear algebra. Beyond their role in quantum mechanics, they also serve as a compact representation of probability distributions, capturing both classical and quantum uncertainty in a system. A typical density matrix takes the form ρ = Σᵢ pᵢ|xᵢ⟩⟨xᵢ|, where pᵢ represents the classical probability distribution and |xᵢ⟩ encodes the quantum uncertainty of the state.
This representation forms the foundation of the Kernel Density Matrix (KDM) inference algorithm, introduced by González et al. in the papers "Kernel Density Matrices for Probabilistic Deep Learning" and "Learning with Density Matrices and Random Features". In KDM, a dataset {(xᵢ, yᵢ)} ⊂ X × Y is embedded into quantum-like states, where each input xᵢ is represented as a quantum state |xᵢ⟩ and the associated probability pᵢ captures the underlying classical distribution. Rather than describing the state of a quantum system, the density matrix here serves as a computational tool to map distributions over the input space X to distributions over the output space Y. This perspective enables applications in classification, density estimation, data transformation, and other probabilistic inference tasks.
To further understand and formalize the behavior of KDM models, we turn to category theory, which has proven to be a powerful mathematical language for expressing compositional structures and transformations, and has increasingly been applied to machine learning. In particular, it offers a principled way to describe inference, learning, and probabilistic reasoning using high-level abstractions such as functors, monads, and algebraic structures.
This thesis explores the use of categorical structures—particularly Markov categories and monads—to enhance and generalize probabilistic inference through Kernel Density Matrices. We present a factorization of the distribution monad using projection and measurement functors, demonstrating their adjoint relationship and Eilenberg–Moore algebra structure. This categorical framework enables inference over Bayesian networks involving both discrete and continuous variables, leveraging kernels such as inner product and RBF. We also extend the theory to support continuous output spaces, allowing for smooth density estimation. The results highlight the expressiveness, differentiability, and composability of KDM-based models, providing a solid categorical foundation for practical machine learning tasks.
Descripción
ilustraciones a color, diagramas, tablas