Ajuste fino de un modelo pre-entrenado para reconocimiento de voz infantil con validación semántica basada en modelos de lenguaje

Abstract

La investigación tuvo como objetivo optimizar un modelo de reconocimiento automático de voz (ASR) adaptado al habla infantil en español mediante el ajuste fino del modelo pre-entrenado Whisper-Large-V3-Turbo. El estudio se fundamentó en la corriente teórica del aprendizaje profundo y el procesamiento del lenguaje natural, integrando una validación semántica basada en modelos de lenguaje (LLM) mediante Meta/Llama 3.3. Se empleó un corpus de 299 clips de voz infantil, segmentados y anotados para entrenamiento en Google Colab con la biblioteca datasets de Hugging Face. Los resultados mostraron una reducción del Word Error Rate (WER) hasta un 81.74 % y valores semánticos adecuados en tono (0.8) y toxicidad (0.0). Se concluyó que la combinación del ajuste fino y la validación semántica permitió mejorar la comprensión contextual del habla infantil, aportando una metodología innovadora para el desarrollo de sistemas ASR con aplicaciones educativas y terapéuticas.