Aplicación móvil basado en machine learning para facilitar la comunicación de personas con discapacidad auditiva en el Perú

Abstract

El proyecto tiene como objetivo desarrollar una aplicación móvil basado en machine learning para facilitar la comunicación de personas con discapacidad auditiva en el Perú. Esta investigación, de tipo aplicada, aborda como problema las limitaciones en la comunicación de las personas con discapacidad auditiva profunda. Para ello, se aplicaron métodos de investigación, entre ellos la revisión de literatura, el enfoque deductivo y técnicas de codificación. Además, entrevistas y encuestas a una muestra de 60 personas de la comunidad junto con evaluaciones realizadas por especialistas en Lenguaje de Señas Peruano. En el desarrollo del sistema, se implementaron dos metodologías: la metodología de Machine Learning, que se utilizó para la construcción del modelo computacional, y la metodología de Extreme Programming, para el desarrollo de la aplicación móvil. Se recopilaron 15,000 puntos claves correspondientes a 30 clases, pertenecientes a las señas estáticas y dinámicas que más se utilizan en una conversación, los cuales se utilizaron para entrenar una red neuronal densamente conectada. Posteriormente, se utilizó OpenNLP para estandarizar el texto de entrada durante el proceso de generación. Como resultado de este enfoque, se logró una precisión del 85% en entrenamiento y 97% en validación del modelo, lo que demuestra la eficacia del sistema propuesto. Por último, la aplicación móvil fue validada en entornos reales, permitiendo ajustes que mejoraron su accesibilidad y usabilidad para las personas con esta discapacidad, asegurando una respuesta más efectiva a sus necesidades

The project aims to develop a mobile application based on machine learning to facilitate the communication of people with hearing disabilities in Peru. This research, of an applied type, addresses as a problem the limitations in the communication of people with profound hearing impairment. For this purpose, research methods were applied, including literature review, deductive approach, and coding techniques. In addition, interviews and surveys were conducted with a sample of 60 people from the community along with evaluations conducted by specialists in Peruvian Sign Language. In the development of the system, two methodologies were implemented: the Machine Learning methodology, which was used for the construction of the computational model, and the Extreme Programming methodology, for the development of the mobile application. A total of 15,000 key points corresponding to 30 classes, belonging to the static and dynamic signs most used in a conversation, were collected and used to train a densely connected neural network. Subsequently, OpenNLP was used to standardize the input text during the generation process. As a result of this approach, an accuracy of 85% in training and 97% in model validation was achieved, demonstrating the effectiveness of the proposed system. Finally, the mobile application was validated in real environments, allowing adjustments that improved its accessibility and usability for people with this disability, ensuring a more effective response to their needs.