¿Existe un software de visualización de música que se traduzca en vibraciones de joystick / gamepad / retroalimentación de fuerza?

Me encanta que alguien haya hecho esta pregunta. Pensé que estaba solo en esto, durante veinte años.

¿Qué opinas de estos (producidos por mis extensiones WinAmp) ?:

Sí, o al menos había algo así. El programa principal se llamaba WinAmp, se ejecutaba en Windows XP en ese momento y venía con un kit de desarrollo opcional para escribir sus propios complementos. Yo y un amigo mío aprovechamos esto para escribir una serie de complementos, inspirados principalmente por la observación de que todos los visualizadores de música eran experiencias pasivas. Así que escribí una interfaz de joystick, una interfaz MIDI y captura de imágenes, una pintura de imagen, un controlador de automatización y una serie de swizzlers que se ejecutan en un entorno con 8 carriles de video. WinAmp en sí viene con una serie de complementos muy sofisticados, autómatas celulares, nubes, desvanecimientos de algunos colores, espejos, senderos, etc. Mi amigo diseñó las cadenas de efectos. Las rayas y bolas rojas / anaranjadas que ves son de una sola imagen de una lámpara de neón dentro de una pelota de ping-pong, modificada por un algoritmo de persistencia de visión que escribí para reproducir. Esto resultó en los cambios de coloración emergentes del rojo neón que ves. Tenía un sintetizador de forma de onda bastante completo que conducía la pelota (o cualquier imagen realmente, pero esta era nuestra favorita) a través del bus MIDI. En ese momento no teníamos un controlador de estilo de retroalimentación, pero el código para agregarlo debería ser trivial. Admití dos controladores de juegos y cualquier cantidad de dispositivos MIDI. Potencialmente (nunca lo probé), también podríamos conectar varios sistemas juntos a través de MIDI. WinAmp también admite la entrada de línea, por lo que una cosa divertida fue conectar un sintetizador o reproducirlo desde la biblioteca de música.

Nos sorprendió lo que este sistema podía hacer. Resulta que hay atractores extraños en los algoritmos pasivos que rara vez son visibles. Pero atar el joystick a una imagen o un carril de video y volarlo a través de la visualización los golpea de manera dramática. Especialmente si también vincula un cuadro de fader MIDI a cosas como la traducción XY de los swizzlers de stock al enrutarlos a través de uno de mis carriles de video, o rotar, hacer zoom, o incluso cualquier combinación. Ejecuté un bus MIDI virtual detrás de todos mis complementos y cada elemento de configuración para todos ellos podría estar vinculado a cualquier mensaje MIDI, incluidos los generados por otros complementos. Fue intensamente atractivo; Podríamos pasar horas volando a través de las pantallas. Teníamos el botón de disparo de disparo principal en el joystick asignado al complemento de captura de pantalla (que también era capaz de rodar el video con 30 segundos de precaución para los momentos fugaces).

He adjuntado algunos ejemplos de capturas de pantalla para mostrar algo de la variedad. Cada uno fue uno de esos extraños momentos de atracción, nunca los vimos así. Tengo cientos, y los uso principalmente para papel tapiz. Si hay suficiente interés, podría considerar actualizar el código para que se ejecute en Windows 7 o posterior, tienen una actualización de devkit que parece razonablemente estable. O esta versión puede ejecutarse como está en XP en una VM como VirtualBox. Nunca lo vendimos ni lo regalamos ni publicamos código, realmente lo mantuvimos en secreto, pero todos los que lo visitaron y jugaron quedaron impresionados.

Puede ser que algunas aplicaciones VJ más nuevas puedan hacer algo como esto, pero sospecho que incluso si están enfocadas en un miembro de la banda que las manipula para la audiencia, no para una inmersión íntima. Pero podría ser corregido. Zuma, si todavía existe, podría (sé que podría consumir MIDI), pero la última vez que lo verifiqué fue cristalino en sus efectos, mientras que este puede ser bastante orgánico.