Ajuste del modelo Gemma para la descripción de tablas de datos en formato Markdown.

Abstract

El uso de LLM (Large Language Models) como Gemma se ha extendido para diversas tareas. Una poco explorada es el procesamiento de estructuras como las tablas de datos, ya que estas cuentan con una gran diversidad, tanto en su temática, presentación y extensión de contenido lo cual dificulta su procesamiento. Existe antecedentes de modelos para distintas tareas. Teniendo como entrada, tablas de datos en distintos formatos, una de estas tareas es la descripción de todo el contenido de las tablas de datos. El objetivo de este Trabajo de Integración Curricular se planteó ajustar el modelo Gemma para la descripción de tablas de datos de un máximo de 3 filas por 3 columnas las cuales estuvieron en un formato Markdown. La metodología utilizada se basó en CRISP-ML(Q), haciendo uso de las fases comprensión de datos, ingeniería de datos, ingeniería de modelos y evaluación del modelo. En la primera fase se creó datos sintéticos de tablas de datos en Markdown y la descripción de la información contenida en estas. En la segunda fase se seleccionó los datos válidos, se realizó una revisión y corrección manual de datos válidos de manera parcial. La tercera fase permitió el ajuste del modelo Gemma y la fase final evaluó los experimentos realizados, midiendo la métrica BLEU y realizando una evaluación humana. El modelo obtenido alcanzó en el conjunto de test una puntuación BLEU de 74,009, al realizar una revisión humana se obtuvo una puntuación de 4,625 en la escala Likert, concluyendo que el modelo ajustado logra generar descripciones de buena calidad de tablas de datos en formato Markdown y al realizar un test A/B comparando BLEU con la revisión humana se constató que las descripciones generadas con una alta puntuación BLEU también contaron con un puntaje alto en la evaluación humana.

Palabras clave: LLM, Gemma, PEFT, Datos sintéticos, Markdown.