Acceso Abierto
Subtitulado automático de imágenes una aplicación de DEEP LEARNING
Cargando...
Archivos
Fecha
2021-12-07
Autores
Título de la revista
ISSN de la revista
Título del volumen
Editor
Universidad Católica de Santa María
Resumen
El subtitulado autónomo de imágenes (Image captioning) requiere aplicar las áreas
de visión artificial y procesamiento de lenguaje, el tema ha sido abordado por diferentes
investigadores en el mundo, sin embargo la mayor parte de ellos son realizados en inglés,
debido principalmente a que las bases de datos y las publicaciones se realizan en este idioma,
no por ello debe dejarse al mundo hispanoparlante sin participación en este avance
computacional. Se han realizado pocos estudios que aborden el subtitulado entre idiomas,
siendo los mas recurrentes entre el chino e inglés, sin embargo los antecedentes para el
español son prácticamente nulos.
En la presente tesis se aborda la investigación e implementación de un algoritmo
basado en Deep Learning, utilizando CNNs y RNNs el cuál sea capaz de generar
descripciones de las imágenes que le sean alimentadas.
Para conquistar el objetivo de esta tesis se propone la utilización de transferencia de
aprendizaje en la extracción de características, aplicación de codificador y decodificador
para el modelado de lenguaje y mecanismo de atención que permite localizar elementos
resaltantes de las imágenes. Como base de datos se utiliza MSCOCO de Microsoft. Las
oraciones resultantes se evalúan con BLEU y METEOR, el rendimiento del algoritmo se
evalúa de acuerdo a su score en diferentes configuraciones variando EPOCHs, BATCHs y
tamaño de dataset, a su vez se construyó una interfaz de usuario que permite realizar
predicciones individuales de imágenes elegidas por el usuario.
Descripción
Palabras clave
Subtitulado autonomo