GANs N’ Roses: escuchando el arte visual

Una Inteligencia Artificial que te permite sentir el arte visual a través del sentido del oído

Contexto

Motivación

Figura 1. Ejemplo de cuadro

De un cuadro a una melodía — El pipeline del proyecto

Figura 2. Pipeline

De cuadros a emociones

Figura 3. Emociones disponibles
Figura 4. Antes de la softmax
Figura 5. Después de la softmax normal
Figura 6. Después de la softmax sin ceros
Figura 7. Distribución de las emociones

Valence-Arousal — La transformación clave

Figura 8. Modelo valence-arousal
Figura 9. Emociones básicas mapeadas a la circunferencia
Figura 10. Nuevas emociones mapeadas a la circunferencia
Figura 11. Ejemplo de vector de entrada
Figura 12. Coordenadas a vectores
Figura 13. Coordenadas polares a cartesianas
Figura 14. Representación final

De emociones a una inspiración inicial

Figura 15. De cuadro a MIDI

De la inspiración inicial a la melodía final a través de Transformers — El Director de Orquesta

Despliegue

Figura 16. Arquitectura de la solución
Demo para imagen que evoca amor
Demo para imagen que evoca tristeza

Conclusiones y líneas futuras

Mi vida es un problema de optimización. Doctor en Investigación Operativa. Entusiasta de la Inteligencia Artificial y la Computación Cuántica.

Mi vida es un problema de optimización. Doctor en Investigación Operativa. Entusiasta de la Inteligencia Artificial y la Computación Cuántica.