Estimación de parámetros articulatorios a partir de la señal de voz

Abstract

La inversión articulatoria, si existiese una manera práctica de realizarla, tendría varias aplicaciones, por ejemplo: en aplicaciones de terapia del habla y sistemas de aprendizaje de idiomas para el entrenamiento de la pronunciación, para reducir los problemas causados por la coarticulación y el ruido en sistemas automáticos de reconocimiento de voz, entre otras aplicaciones. Debido al rango de aplicaciones de la inversión articulatoria, esta ha cautivado la atención de científicos del habla durante varias décadas. Sin embargo, los datos articulatorios reales disponibles eran escasos. Por otra parte, las tecnologías como la articulografía electromagnética han hecho que la medición de la articulación humana durante el habla sea más accesible. Con el fin de aprovechar la disponibilidad mediciones del mecanismo articulatorio varios métodos han sido probados. Por ejemplo, redes neuronales artificiales, modelos ocultos de Markov, modelos de mezclas gaussianas, entre otros. Pero, poca atención se le ha prestado a la influencia del tipo de características acústicas utilizadas en estos métodos. La presente tesis tiene por objetivo principal el mostrar la importancia que tiene la selección de los parámetros acústicos, los cuales son usados para representar la voz, en tareas de inversión articulatoria; es decir, en tareas relacionadas con la inferencia de la posición de los articuladores durante la producción de la misma señal de voz. Dentro de los parámatros acústicos analizados se mencionan: los formantes, representación de tiempo-frecuencia por medio de la transformada wavelet y mediante banco de filtros en la escala Mel. Para el caso de las representaciones de tiempo-frecuencia se buscan aquellas características localizadas en tiempo y frecuencia que permiten una estimación más precisa de la forma del tracto vocal. A modo de resultado se encuentra que existen dos acciones que mejoran la estimación de la posición de los articuladores, a saber: 1) usar caractarísticas de tiempo-frecuencia que desde el punto de vista de la correlación estadística no-lineal están mejor relacionadas con las trayectorias de los movimientos articulatorios; y, 2) incluir dentro del conjunto de representación de la señal de voz parámetros intrínsecamente relacionados con las frecuencias de resonancia del tracto vocal. Hasta donde se conoce, aún no se ha desarrollado un sistema para la inversión articulatoria independiente del hablante. Sin embargo, en el presente trabajo se muestra que los mismos mapas de características relevantes de tiempo-frecuencia pueden ser utilizadas para la realización de la inversión articulatoria independiente del hablante sobre consonantes fricativas. A modo de trabajo futuro se plantea desarrollar un sistema de inversión articulatoria independiente del hablante basado en mapas de relevancia, los cuales serían obtenidos para varias categorías fonéticas. Se tiene planeado, una vez hecho esto, utilizar los resultados para el desarrollo de sistemas de terapia de la voz y en el aprendizaje de idiomas.

Abstract: The articulatory inversion, if it could be done in a practical way, would have several applications; namely: in speech therapy applications and language learning systems for training pronunciation; to reduce problems caused by coarticulation and noise in automatic speech recognition systems; among other applications. Due to the range of applications of articulatory inversion, it has captivated the attention of speech scientist during several decades. However, the available human articulatory data were scarce. On the other hand, technologies such as electromagnetic articulography have made the measurement of human articulation during speech be more accessible. In order to take advantage of human articulation measurements, several methods have been tested; e.g., artificial neural networks, hidden Markov models, Gaussian mixture models, among others. But, less attention has been put into the influence of the kind of acoustic features used in those methods. The aim of this thesis is to show the importance of selecting the acoustic input features in those tasks related to the inference of articulators movements during the speech signal production. Analyzed parameters include: the formants, time-frequency representation using the wavelet transform as well as time-frequency representation using filter banks in Mel scale. In the case of the time-frequency representations, those characteristics localized in time and frequency that allow a more accurate estimate of the vocal tract shape are considered. It is found that there exist some actions that improve the performance of acoustic to articulatory mapping systems, namely: 1) using those time-frequency features best related to articulators movement from the perspective of non-linear statistical correlation, which we call maps of relevant time-frequency features; and, 2) including features intrinsically related to the vocal-tract resonance frequencies in the input set of features representing the speech signal. Additionally, in case of fricative sounds, it is shown in present study that the maps of relevant time-frequency features are also useful for speaker-independient tasks; then, the same proposed approach could be used for the further development of a multi-speaker acoustic-to-articulatory mapping. Once obtained the multispeaker articulatory inversion system, it could be used in speech therapy related tasks, particularly in speech training for the cleft palate children. Another potential application are computer-based language learning systems