Aplicación móvil para el prototipado de interfaz gráfica de usuario en la plataforma android mediante el reconocimiento de bocetos utilizando visión artificial.

Abstract

Los desarrolladores novatos o iniciales de aplicaciones móviles, afrontan la creación de prototipos de interfaz gráfica de usuario en sus proyectos. Para ejecutar este proceso, se ven obligados a la búsqueda y capacitación de herramientas que están dirigidas a profesionales del Diseño Gráfico; desviando el tiempo destinado para el análisis y desarrollo de Software. El objetivo de este estudio es determinar si la visión artificial facilita la creación de prototipos de interfaz gráfica de usuario, a través de una aplicación, la cual se compone de un servidor de aprendizaje profundo (Machine Learning - Engine), un servidor de base de datos y funciones en la nube (Firebase) y una aplicación móvil para teléfonos inteligentes con sistema operativo Android. Dicha aplicación permite capturar una foto a un boceto dibujado por el usuario; luego es enviada al servidor de aprendizaje profundo para detectar los posibles componentes que hayan sido dibujados. Según el resultado, es generado el prototipo de interfaz gráfica en la ubicación y clase detectada por la visión artificial, para luego ser gestionado con las opciones disponibles dentro de la aplicación móvil. Para la visión artificial se utilizó un modelo pre-entrenado de red neuronal convolucional Faster R-CNN, entrenado y evaluado con la librería TensorFlow y desplegado en los servidores IBM Power AI Vision y Machine Learning - Engine. Para el entrenamiento se utilizó un conjunto de trazos a mano recolectados a 19 estudiantes, las cuales fueron tratados mediante técnicas de distorsión utilizando OpenCV, con el fin de aumentar los datos a un total de 862 imágenes, y de esta manera mejorar la calidad de detección del modelo. Finalmente se desarrolló un escenario de prueba con 19 estudiantes de la Universidad Nacional de Loja de la Carrera de Ingeniería en Sistemas, en donde el 95% afirmó positivamente el funcionamiento y objetivo de la aplicación, validando el correcto funcionamiento del sistema y del presente trabajo de titulación; sin embargo, la aplicación puede ser mejorada aumentando la cantidad y calidad de imágenes en el conjunto de datos, y añadiendo nuevos componentes gráficos de la guía Material Design para Android; de esta forma se mejoraría la calidad de detección y diversidad de componentes por parte del modelo de visión artificial.