Sistema tutor inteligente basado en deep learning para apoyar el aprendizaje de lengua de señas peruana en la I.E.P Harvest

Abstract

La evidente falta de profesores e intérpretes en lengua de señas peruana, a la que en adelante nos referiremos como 'LSP', y el auge de los sistemas tutores inteligentes, motivaron el desarrollo de la presente investigación. En aras de contribuir a la inclusión de la población con diversidad auditiva y del lenguaje, que llamaremos DA y DL, se implementó un sistema tutor inteligente basado en técnicas de Deep Learning que permita aprender la LSP básica. La metodología utilizada para desarrollar el producto de software fue Scrum, por lo que se modificaron las fases para asegurar el éxito del proyecto. Además, la solución se construyó con técnicas de modelado 3D y visión computacional, usando el lenguaje Python y framework Flask. Se caracterizaron efectivamente los patrones gestuales de la LSP y se construyó un algoritmo inteligente con una precisión del 97%. Los usuarios mostraron una sólida aceptación tecnológica y el proyecto ha demostrado tener impactos positivos en los ámbitos económico, social, tecnológico y ambiental, así como en la formación de cadenas productivas. En comparación con proyectos similares, este se distingue por su adaptación específica a la LSP, énfasis en Deep Learning y la capacidad de prueba en tiempo real, lo que mejora la calidad del aprendizaje y la comunicación de las personas con DA y DL. Este proyecto tecnológico tiene gran potencial para generar impactos positivos en ese porcentaje de peruanos y en la promoción de la comunicación inclusiva, abriendo oportunidades para el desarrollo y aplicación a mayor escala en el futuro.

The evident lack of teachers and interpreters in Peruvian Sign Language, which from now on we will refer to as 'LSP', and the rise of intelligent tutor systems, motivated the development of this research. In order to contribute to the inclusion of the population with hearing and language diversity, which we will call DA and DL, an intelligent tutor system was implemented based on Deep Learning techniques that allows learning the basic LSP. The methodology used to develop the software product was Scrum, so the phases were modified to ensure the success of the project. In addition, the solution was built with 3D modeling and computer vision techniques, using the Python language and Flask framework. The gestural patterns of the LSP were effectively characterized and an intelligent algorithm was built with an accuracy of 97%. Users showed solid technological acceptance and the project has proven to have positive impacts in the economic, social, technological and environmental fields, as well as in the formation of productive chains. Compared to similar projects, this one is distinguished by its specific adaptation to LSP, emphasis on Deep Learning, and real-time testing capability, which improves the quality of learning and communication for people with LD and DL. This technological project has great potential to generate positive impacts on that percentage of Peruvians and in the promotion of inclusive communication, opening opportunities for development and application on a larger scale in the future.