Desarrollo de algoritmo de generación de contenido procedimental para la producción de mapas en videojuegos de plataforma 2D condicionados a rostros de jugadores usando técnicas de aprendizaje de máquina

Abstract

La personalización de contenido en videojuegos a partir de las emociones del jugador es un área de gran interés para crear experiencias más inmersivas y adaptativas. Sin embargo, su aplicación se enfrenta a desafíos fundamentales: la dificultad para sincronizar los datos del juego con las respuestas emocionales, la alta variabilidad en la forma en que cada individuo expresa sus emociones y la complejidad de establecer una correlación robusta entre ambos. Esta tesis aborda estos problemas mediante un enfoque metodológico de dos fases. Primero, se desarrolló un pipeline para procesar y sincronizar datos multimodales del dataset público Toadstool, que contiene game-data de Super Mario Bros y vídeos faciales de los jugadores. Un análisis cuantitativo mediante Correlación Canónica (CCA) y t-SNE reveló que no existe una correlación lineal universal entre las emociones y los eventos del juego, demostrando que las respuestas emocionales son fuertemente sujeto-dependientes. A partir de este hallazgo, la segunda fase se centró en la creación de un sistema de Generación Procedimental de Contenido (PCG) personalizado. Se desarrolló un modelo para un único sujeto (el más expresivo del dataset), asumiendo que para un individuo específico sí puede existir una relación más simple. Este pipeline utiliza un Autoencoder Variacional (VAE) para codificar la estructura de los niveles y un Análisis de Componentes Principales (PCA) que actúa como un ”traductor” lineal, mapeando el espacio latente de las expresiones faciales del jugador al espacio latente de los niveles. Los resultados fueron validados comparando los niveles generados por el pipeline con los niveles originales correspondientes a cada expresión facial de entrada. La evaluación cualitativa mostró una notable similitud visual y estructural. Cuantitativamente, el modelo alcanzó un Coeficiente de Dice promedio de 0.78, confirmando una alta fidelidad estructural. Se concluye que es factible generar contenido de juego coherente condicionado a las expresiones faciales de un jugador específico. La novedad de esta propuesta radica en demostrar la viabilidad de un enfoque sujeto-dependiente, que elude el problema de la variabilidad intersujeto y establece una base sólida para futuros sistemas de videojuegos verdaderamente adaptativos (Texto tomado de la fuente).

The personalization of in-game content based on player emotions is an area of great interest for creating more immersive and adaptive experiences. However, its application faces fundamental challenges: the difficulty in synchronizing game data with emotional responses, the high variability in how each individual expresses emotions, and the complexity of establishing a robust correlation between the two. This thesis addresses these problems through a two-phase methodological approach. First, a pipeline was developed to process and synchronize multimodal data from the public Toadstool dataset, which contains game-data from Super Mario Bros. and facial videos of the players. A quantitative analysis using Canonical Correlation Analysis (CCA) and t-SNE revealed that there is no universal linear correlation between emotions and game events, demonstrating that emotional responses are strongly subject-dependent. Based on this finding, the second phase focused on creating a personalized Procedural Content Generation (PCG) system. A model was developed for a single subject (the most expressive in the dataset), assuming that a simpler relationship may exist for a specific individual. This pipeline uses a Variational Autoencoder (VAE) to encode the structure of the levels and a Principal Component Analysis (PCA) that acts as a linear ”translator,” mapping the latent space of the player’s facial expressions to the latent space of the levels. The results were validated by comparing the levels generated by the pipeline with the original levels corresponding to each input facial expression. The qualitative evaluation showed a notable visual and structural similarity. Quantitatively, the model achieved an average Dice Coefficient of 0.78, confirming high structural fidelity. It is concluded that it is feasible to generate coherent game content conditioned on the facial expressions of a specific player. The novelty of this proposal lies in demonstrating the viability of a subject-dependent approach, which bypasses the problem of inter-subject variability and establishes a solid foundation for future truly adaptive video game systems.