Inteligencia artificial para los movimientos de un violinista

La inteligencia artificial permite reconocer y evaluar con gran precisión los movimientos de arco de un violinista / UPF

Un sistema desarrollado por David Dalmazzo y Rafael Ramírez, miembros del Grupo de Investigación en Tecnología Musical, permite que los estudiantes de violín se beneficien de información precisa a tiempo real sobre sus movimientos al tocar el instrumento. Los resultados de este trabajo se han publicado en marzo en la revista Frontiers in Phychology.

 

UPF / En la interpretación musical los gestos son de suma importancia, en parte porque están directamente relacionados con el sonido y la expresividad de los músicos. Actualmente, existen tecnologías de captura de movimiento que son capaces de detectar los detalles gestuales con mucha precisión.

En la interpretación musical los gestos son de suma importancia, en parte porque están directamente relacionados con el sonido y la expresividad de los músicos

En un trabajo publicado este mes de marzo en Frontiers in Psychology, David Dalmazzo y Rafael Ramírez, miembros del Music and Machine Learning Lab, del Grupo de Investigación en Tecnología Musical (MTG) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF, aplican la inteligencia artificial para la clasificación automática de gestos de arco de violín basado en el movimiento del intérprete.

“Grabamos datos de movimiento y audio correspondientes a siete técnicas de arco representativas (Détaché, Martelé, Spiccato, Ricochet, Sautillé, Staccato y Bariolage) realizadas por un violinista profesional. Obtuvimos información del movimiento inercial desde el antebrazo derecho y lo sincronizamos con grabaciones de audio”, explican Dalmazzo y Ramírez, autores del trabajo.

 

Un 94 % de precisión

Los datos que han sido usados en este estudio están disponibles en un repositorio público en línea. Después de extraer las características de la información relativa al movimiento y al audio, los investigadores entrenaron un sistema para identificar automáticamente las diferentes técnicas de arco en la interpretación del violín.

El modelo puede determinar las diferentes técnicas de interpretación estudiadas con más del 94% de precisión

El modelo puede determinar las diferentes técnicas de interpretación estudiadas con más del 94% de precisión. Los resultados hacen posible la aplicación de este trabajo a un escenario de aprendizaje práctico, donde los estudiantes de violín pueden beneficiarse de la retroalimentación proporcionada por el sistema a tiempo real.

Este estudio se ha realizado en el marco del proyecto TELMI (Technology Enhanced Learning of Musical Instrument Performance). Su propósito es investigar cómo la tecnología (sensores, datos multimodales, inteligencia artificial, y sistemas computacionales) pueden mejorar las prácticas de los estudiantes de música, ayudándoles a concentrarse en el desarrollo preciso de los buenos hábitos, especialmente en el momento de incorporar nuevas habilidades musicales.

Con la interpretación del violín como estudio de caso, uno de los objetivos principales del proyecto es proporcionar a los estudiantes retroalimentación en tiempo real sobre su tarea, así como permitirles comparar sus interpretaciones con las de expertos de primer nivel. “Nuestros hallazgos ya han sido generalizados a otros instrumentos musicales y aplicados en entornos de educación musical”, añade Rafael Ramírez, investigador principal del proyecto.

Referencia bibliográfica: 
David Dalmazzo, Rafael Ramírez (2019), “Bowing Gestures Classification in Violin Performance: A Machine Learning Approach”, Frontiers in Phychology, 4 de marzo, https://doi.org/10.3389/fpsyg.2019.00344

Dejar comentario

Deja tu comentario
Pon tu nombre aquí