Nuevo sistema de evaluación de traductores automáticos

UPF-COBALT demostró estar entre las cuatro mejores métricas (de más de 20 participantes) en el pasado Workshop on Statistical Machine Translation 2015

UPF-COBALT, explota la información sintáctica para estimar una puntuación para cada par de palabras alineadas

.

Una línea de investigación en auge es la de la evaluación de la calidad de los sistemas de traducción automática disponibles en estos momentos. Esta evaluación es indispensable y necesaria tanto para mejorar los diferentes sistemas como para que el usuario pueda comparar entre distintos traductores y escoger el que más le convenga.

.

El nuevo sistema utiliza representaciones vectoriales distribuidas de las palabras

UPF / Actualmente, los sistemas de evaluación más utilizados se basan en la comparación de la propuesta del traductor automático con una referencia humana, bajo la hipótesis de que cuanto más se parezcan mejor resulta el sistema de traducción automática. Entre los más comunes existe el sistema BLUE (Papineni et al. 2002) que compara cadenas de palabras o el METEOR (Denkowski and Lavie, 2014) que además incorpora posibles sinónimos en la comparación. Pero aún así, estos sistemas no contemplan que también puede darse un cambio de orden de las palabras, o una expresión lingüística equivalente como el uso de la voz pasiva, etc.

Marina Fomicheva y Núria Bel, investigadoras del Instituto Universitario de Lingüística Aplicada (IULA) del Departamento de Traducción y Ciencias del Lenguaje de la UPF,  han desarrollado el UPF-COBALT, un nuevo sistema de evaluación de traductores automáticos que explota la información sintáctica para estimar una puntuación para cada par de palabras alineadas, a partir de la información de su similitud léxica y de las diferencias de sus contextos sintácticos.

Imagen: UPF
Imagen: UPF

Para el cálculo de la similitud léxica, en lugar de recurrir a listas de sinónimos, como hace METEOR, UPF-COBALT utiliza representaciones vectoriales distribuidas de las palabras o “Word Embeddings” (Milolov et al. 2013). Para el cálculo de la equivalencia sintáctica, utiliza análisis de dependencias a partir de los cuales se definen las equivalencias (Sultan et al. 2014).

Las autoras han presentado este nuevo sistema en su trabajo “Using Contextual Information for Machine Translation Evaluation” en el congreso internacional LREC 2016 (Language Resources and Evaluation Conference), que se está celebrando del 23 al 28 de Mayo en   Portorož (Slovenia), en el que describen el nuevo sistema de evaluación que discrimina variaciones aceptables entre una referencia y la propuesta del traductor automático. La variación se considera que preserva el significado y, por tanto, es aceptable si contiene palabras semánticamente parecidas y que están en contextos sintácticos equivalentes.

Como ha explicado Núria Bel, “en el caso de producirse errores de traducción, que han de ser penalizados, o la elección de la palabra no es apropiada o los contextos sintácticos no son equivalentes”.

UPF-COBALT demostró estar entre las cuatro mejores métricas (de más de 20 participantes) en el pasado Workshop on Statistical Machine Translation 2015, celebrado en la reunión anual de la Association for Computational Linguistics, ACL 2015, celebrado del 26 al 31 de julio en Pequín (China).

.

Trabajo de referencia:

Marina Fomicheva, Núria Bel (2016), “Using Contextual Information for Machine Translation Evaluation”, Language Resources and Evaluation Conference, 23 al 28 de mayo en Portorož (Slovenia).

Esta investigación ha contado con el soporte del Grupo de Investigación IULA y de las ayudas del programa FI-DGR de la Generalitat de Catalunya.

.

Dejar comentario

Deja tu comentario
Pon tu nombre aquí