Groupe de travail Visualisation du Son

Accueil du site > Français > 2. Projets en cours > Assistant Virtuel

Assistant Virtuel

jeudi 1er février 2007, par Anne Sedes


Assistant Virtuel de Metteur en Scène

Alain Bonardi, Isis Truck

Le projet d’assistant virtuel de metteur en scène que nous développons est supporté par la MSH Paris-Nord et ne peut se faire sans l’aide plusieurs collaborateurs comme Christine Zeppenfeld, Murat Goksedef, Kenji Yamashita ou Claire Maupetit.

Il s’agit d’un outil logiciel qui, à partir de fichiers (ou flux) sonores et vidéo issus d’un spectacle vivant, donne à visualiser les intentions et émotions exprimées par le performer (chanteur/acteur) au moyen de gestes et au moyen de la voix. Pour nous, les intentions correspondent à la partie consciente des émotions, c’est-à-dire que les émotions correspondent au jeu donné par l’acteur sur scène, et les intentions à ce que l’acteur dit vouloir jouer. Bien sûr, les intentions que l’acteur aura voulu transmettre ne seront pas toujours (jamais ?) celles ressenties réellement lors de la représentation. Ainsi, l’assistant virtuel capte les émotions (de façon systématique, comme tout système informatique) et tente de les rapprocher des intentions (que l’on peut considérer aussi comme la consigne) avant de chercher à quantifier cette similarité ou dissimilarité. La phase de visualisation permet d’observer la scène jouée tant du point de vue visuel (en termes de mouvements) que sonore (la prestation chantée ou parlée).

Nous proposons aussi au metteur en scène une interface pour exprimer la consigne souhaité, pour chaque bloc temporel à jouer. Cette interface pourrait jouer le rôle de cahiers de mise en scène. Le but est donc de comparer la consigne avec l’émotion détectée par l’assistant. Dans cette capture écran, chaque ligne représente une émotion. Sur chaque ligne, les deux courbes représentent respectivement la quantité d’émotion souhaitée, et celle calculée, en fonction du temps. Le nombre à droite correspond au pourcentage de correspondance entre les deux courbes (travail en cours).

Publications personnelles

- I. TRUCK, A. BONARDI, F. ROUSSEAUX & H. AKDAG, "Vers une distanciation anticipation - cible du jeu d’acteurs : le cas de l’Opéra Interactif Alma Sola", Journées CogniEst "Retour sur l’Anticipation", Haguenau, novembre 2006.

- A. BONARDI, I. TRUCK & H. AKDAG "Building Fuzzy Rules in an Emotion Detector", 11th International Conference on Information Processing and Management of Uncertainty in Knowledge-Based Systems (IPMU’2006), pp 540-546, Paris, juillet 2006.

- A. BONARDI, I. TRUCK & H. AKDAG "Towards a Virtual Assistant for Performers and Stage Directors", 6th International Conference on New Interfaces for Musical Expression (NIME’06), pp 326-329 (Poster), Paris, 4-8 juin 2006.

- A. BONARDI & I. TRUCK "First steps towards a digital assistant for performers and stage directors", 3rd International Conference on SOUND AND MUSIC COMPUTING (SMC’06), pp 91-96, Marseille, mai 2006.


Suivre la vie du site RSS 2.0 | Plan du site | Espace privé | SPIP | squelette