Modelo de red neuronal transformer para responder preguntas frecuentes acerca de becas e incentivos de los estudiantes de la Carrera de Computación de la Universidad Nacional de Loja Transformer neural network model to answer frequently asked questions about Scholarships and Incentives for students of the Computing Career of the Universidad Nacional de Loja

Abstract

El desconocimiento de los estudiantes acerca de las becas e incentivos que oferta la Universidad Nacional de Loja (UNL), ha ocasionado que muchos estudiantes que realmente necesitan este tipo de ayudas económicas para cubrir parte sus necesidades, no puedan acceder a las mismas. El objetivo del presente Trabajo de Titulación (TT) fue elaborar un modelo de red neuronal transformer que permita responder preguntas frecuentes acerca de becas e incentivos, esto se llevó a cabo mediante seis fases de Descubrimiento de Conocimiento en bases de Textos (KDT) constituida por: definición del concepto clave, recopilación de información, preprocesamiento, transformación, minado de texto e interpretación de los resultados. En primera instancia se realizó un corpus acerca de becas e incentivos, el cual fue indispensable en el proceso de Fine Tuning para la elaboración y entrenamiento del modelo de red transformer, se empleó herramientas como Google Colab y Hugging Face, seguidamente se seleccionó un modelo preentrenado para optimizar tiempos de aprendizaje, en base a una investigación previa se seleccionó un modelo basado en BERT, denominado RoBERTa, este ejemplar se encuentra entrenado en squad en el idioma español, y además presenta mejores que su antecesor, razones por las cuales fue seleccionado, para conseguir el modelo con mejores resultados se realizaron diversas configuraciones para finalmente obtener un modelo con F1 score de 0.81. Una vez desarrollado el modelo se le aplicaron pruebas para obtener un promedio de respuesta, en la primera de obtuvo un valor de 0.89 al tener de forma guiada tanto el contexto como la pregunta, en la siguiente valoración se modificó la semántica de las preguntas para un mismo contexto, obteniendo, así como media más alto un 0.95 F1 score y como más bajo un 0.42. Posteriormente para la prueba de funcionalidad se requirió la ayuda de estudiantes de la Carrera de Computación para que realicen las practicas correspondientes y corroborar de esta forma el funcionamiento del modelo transformer de manera guiada, en 56% concluyeron que responde a las preguntas propuestas en base a un contexto dado y en un 53% concordaron que brinda respuestas comprensibles. Finalmente se puede concluir que fue posible efectuar la elaboración de un modelo transformer que sea capaz de responder preguntas acerca de becas e incentivos mediante el uso de un modelo preentrenado, acompañado de la metodología fine tuning para el entrenamiento del mismo.

Palabras Claves: Agente conversacional, RoBERTa, Squad, KDT, Auto-atención