Systéme de diffusion multi écrans

Miror Ball - Filmer la musique 2008

Lors de mes travaux de recherche a l’Ensad Lab en 2008 (groupe ITR), j’ai conçus un langage et une architecture pour un système de diffusion multi-écrans. Ce travail a été initié a la demande du festival filmer la musique qui l’a utilisé durant son édition 2008 et qui le réutilise pour cette nouvelle édition.

Spécifications

La problématique du pocket film festival était de pouvoir avoir une unique interface de maîtrise et de diffusion des vidéos pour plusieurs espaces comportant chacun des écrans et vidéo projecteurs (7 au total).
Cela implique comme spécifications fonctionnelle les points suivants :
– bibliothèque de référencement de toutes les vidéos
– contrôle de la lecture ( play, pause, stop, playliste par écrans…)
– contrôle de la diffusion  (sélection de l’écran représentation de l’espace…)
– 7 écrans minimum

Mais la problématique était double, pour le groupe de recherche nous devions à partir de cette architecture créer une technologie de séquenceur vidéo multi-écrans temps réel (le séquenceur est développé par Raphaël Isdant en Pure Data). Ce séquenceur a permis de présenter la performance “Métonymies” (dont j’avais déjà parlé dans en juillet 2008)
Cela pose des contraintes différentes :
– temps de réaction minimal (de l’ordre de la milliseconde)
– scratche possible
– gestion de layer
– gestion de filtres …
– N écrans

Architecture techniques

Après avoir fait des tests de diffusion temps réel de vidéo en streaming sur le même réseau local en multi-écrans, j’ai été au dessus des délais de réponses (de quelques millisecondes à plusieurs secondes) qui sont nécessaires à la mise en cache du début du fichier pour la lecture. Pour cette raison et en fonction des impératifs posés par le live j’ai préféré opté pour une solution sans flux vidéo.

Ce système est donc basé sur une architecture client/serveur en détachant le service de relais de message de l’interface de commande. Pour une question de rapidité de développement du prototype, j’ai fait le client et l’interface de commande en flash AS2 séquentiel (ce qui est loin d’être la meilleur solution, une version en AS3 a été fait et une version en C++ serait idéal ) .

Le point clés de ce type de dispositif semble quand même être le langage d’échange et de commande. La syntaxe définie devient un protocole de commande qui va déterminer une part des enjeux plastiques comme fonctionnels. Dans ce cas, nous nous sommes inspirés de la norme OSC (OPEN SOUND CONTROL) qui permet de transmettre en XML des instructions selon un syntaxe déterminé.

Enjeux plastiques

La spatialisation vidéo porte de réel problématique a différents niveaux. Tout d’abord le spectateur est il immergé ou “émergé”, est il au milieux de ces écrans, ou les regarde-t-il de loin ?
Si il y a immersion, alors sa perception ce trouve massivement différente selon sa position, comment élaborer des scénarios intéressants dans ce contexte. Où ce situe la trame narrative ? Le spectateur devient-il par son déplacement, par son point de vue un acteur du montage ?
Cette multiplicité laissée, submerge t elle le spectateur et si oui, jusqu’à quelle point?
Il est complexe d’élaborer un scénario multi-écrans. Patrice Mugnier et Raphael Isdant ont travaillé sur la question lors de conception de la première version de Métonymie. Il en a résulté un travail rythmique qui mettait en avant les  rythmique du couple images-sons.
Personnellement je trouve que cela pourrait être l’occasion de faire des narrations modulaires qui explorent plusieurs facettes d’un même événement ou d’une même histoire, pour enfin revenir ce rejoindre.

Les travaux de divers artistes dans ce domaines paraissent intéressants :

Pour la pluspart ils ont réalisé des installation multi écrans, mais n’ont pas directement interoger la recomposition temps réel. Car ici il y a bien recomposition, le travail n’est pas un travail de captation, de flux vidéo, mais de séquencage de montages.

L’un des points les plus importants est que le système créer a la particularité de permettre des lives multis-artistes. Donc des jeux de réponses et de re modelage en temps réel de la mêmes matière.

Opens sources

J’ai décidé de mettre ces travaux sous licences créatives commons : Paternité – Pas d’Utilisation Commerciale
Partage des Conditions Initiales à l’Identique
. Je vais mettre les sources sur un espace GoogleCode ou Source Forge.
En attendant le pack logiciel est téléchargeable ici et la documentation .