Présentation du synesthèseur (30/11/2012)

2012-12-01 17:55:38

Here is the text (in french) of the presentation I gave at the virtual lab of Synestheorie

Le synesthèseur vous fait voir ce qu’il entend et entendre ce qu’il voit. Il vous transforme en synesthète, comme l’étaient Kandinsky qui entendait la musique des couleurs ou Nabokov pour qui les lettres évoquaient des couleurs.

Pour ce faire, il est lui-même un synesthète artificiel: son système vidéo est directement branché sur l’audio et inversement: il entend avec ses yeux et voit avec ses oreilles.

Il m’est arrivé quelquefois de présenter le synesthèseur, sur quoi il repose, quels en sont les principes de fonctionnement, mais je n’ai jamais présenté sa genèse, comment l’idée m’est venue. Et pour ne pas faire durer le suspense plus longtemps, l’idée m’est venue très naturellement...

Même si je ne me reconnais pas dans le terme, ma date de naissance me fait entrer dans la génération Y. Depuis tout petit je ne suis jamais très loin d'un ordinateur et l'utiliser a toujours été la chose la plus naturelle du monde. Et j'ai vraiment eu l'impression d'avoir grandi avec eux. Il faut se remettre dans le contexte des années 80/90 où les évolutions étaient spectaculaires. Régulièrement un nouvel ordinateur arrivait, un peu plus puissant, un peu plus rapide, avec de nouvelles capacités. Comme moi, les ordinateurs grandissaient: ils savaient faire de plus en plus de choses et ils en retenaient de plus en plus. Et la personnification ne s'arrêtait pas là. À mes yeux d'enfants, ils avaient parfois leurs humeurs avec leurs plantages à répétition incompréhensibles et je me suis souvent surpris à les remercier quand une tâche importante se déroulait rapidement et sans accrocs.

Et puis Internet est arrivé, ce qui a complètement changé mon rapport à l'ordinateur. Il n'était plus un simple outil avec lequel je dessinais, je faisais de la musique ou consultais un article d'encyclopédie sur CD-ROM. Grâce à internet, mon ordinateur m'a permis d'accéder à un volume de connaissance incroyable en me soustrayant aux filtres des autorités traditionnelles: enseignants, bibliothécaires, comités de lecture, rédactions... et ces autorités ne pouvaient plus m'empêcher de publier ce que bon me semble. Je n'étais plus un simple consommateur de médias. J'avais enfin accès à un vrai outil de communication qui m'a permis de rencontrer plus de gens de cultures différentes sur mon ordinateur en un an qu'on ne pouvait le faire en une vie à la génération précédente. Quant à la critique sur la virtualité de ces relations, elle m'a toujours semblé ridicule. Je parlais avec de vraies gens et nos conversations en temps réel était certainement plus spontanés et intimes que n'importe quel échange épistolaire.

Je perçois vraiment Internet comme un cyberespace, c'est-à-dire un espace réel où je vis des expériences réelles mais dans des dimensions différentes de celles du monde physique. Dès lors, l'ordinateur est devenu un prolongement de moi-même, un nouvel organe m'offrant une nouvelle perception du monde, presque comme un nouveau sens. Un sens qui traite des données, c'est-à-dire de l'abstrait, mais qui comme tous les autres sens génère des sensations.

La fusion de l'abstrait et du concret... c'est peut-être la raison pour laquelle la musique est ma forme d'expression privilégiée. Je répète à qui veut bien l'entendre c'est le plus immédiat des arts abstraits. Celui avec lequel il est le plus facile d'éviter d'intellectualiser (Exomène est un raccourci pour exode mental). En effet, quand il s'agit de littérature par exemple, on est obligé d'en passer par les mots, par les concepts. Idem pour les arts figuratifs (réalistes ou stylisées): ils finissent toujours par faire recourir aux mots. Par exemple, quand on voit un arbre, on pense à un arbre et donc au concept d'arbre. La musique, c'est différent. Elle peut s'en passer et générer directement des sentiments et des sensations.

Toutefois les arts abstraits génèrent des sentiments et des sensations ont des manifestations sur d'autres modalités sensorielles que l'ouïe ou la vue. Par exemple, une musique anxiogène peut générer une sensation de "boule au ventre" ou d'un "poids sur la poitrine". Certes, ce n'est pas de la synesthésie, mais c'est une expérience que peuvent faire les non-synesthètes. Car je ne suis pas synesthète. Mais j'ai souvent recours à des métaphores visuelles et sensibles pour travailler le son. Il s'agit souvent de volumes dont la taille correspond à la durée, la forme à l'attaque et au « release », la surface au timbre de l'instrument et la luminosité à la hauteur de la note. C'est en parlant de ma manière de travailler que j'ai été introduit à le synesthésie.

En ce qui concerne la synesthésie, comme nous sommes ici à l'invitation de Synesthéorie, je ne vais pas m'appesantir. Certains d'entre vous sont peut-être synesthètes et je suppose que la plupart des autres savent de quoi il retourne. Mais rapidement, la synesthésie est un phénomène neurologique par lesquels deux ou plusieurs sens sont associées, c'est-à-dire que la stimulation d'une voie sensorielle ou cognitive conduit à des expériences automatiques et involontaires dans un deuxième voie sensorielle ou cognitive. On peut concevoir que la synesthésie produise des effets esthétiques particuliers. Plusieurs artistes s'en sont donc inspirés, comme Baudelaire dans Correspondances.

Il est des parfums frais comme des chairs d'enfants,
Doux comme des hautbois, verts comme des prairies,
- Et d'autres corrompus, riches et triomphants, [...]

Kandinsky, quant à lui, en théorise une utilisation dans la peinture dans Du spirituel dans l'art.

Bon, quel rapport entre une affection du cerveau humain et un programme informatique alors ?

Eh bien, comme je viens de le dire, j'ai tendance à personnifier les ordinateurs et à réifier les concepts. Au fil de mes lectures, je suis tombé sur Herbert Simon qui est connu en tant qu'économiste et sociologue (c'est lui qui a inventé le concept de rationalité limitée). Mais, pour ce qui concerne le synesthèseur, il a surtout fait parti des pionniers de la recherche en intelligence artificielle. Selon Simon, l'intelligence artificielle peut servir pour décrire, analyser et comprendre le raisonnement humain. C'est le paradigme du traitement de l'information qui repose sur l'hypothèse de symbole physique. Selon cette hypothèse, la pensée peut être définie comme un ensemble de symboles que le cerveau est capable de combiner en structures et de traiter. L'ordinateur est capable de la même chose. Si vous vous allez plus loin, je vous renvoie à son ouvrage de 1969 : Les sciences de l'artificiel.

Grâce à Herbert Simon, la passerelle entre cerveau et ordinateur est toute trouvée. La synesthésie peut s'appréhender, par analogie, au delà des cerveaux.

La synesthésie, c'est étymologiquement, l'union des sens. On peut supposer que cette union des sens soit due à la réception de symboles transmis par un récepteur sensoriel par des zones qui ne sont pas adaptées à leur traitement. Le résultat serait une modification de la sémantique des signes. Celle-ci est possible avec tous les systèmes de symboles cerveau ou processeur. Par exemple, les synesthètes musique → couleur verraient les symboles provenant des oreilles interprétés partiellement par le système d'analyse des couleurs. En tout cas, il s'agit de la manière traditionnelle d'appréhender la synesthésie. Vincent Mignerot m'a signalé que les recherches actuelles s'orientent vers d'autres explications.

Néanmoins, une technique très proche de la synesthèsie dans son acception de mélange des sens existe : il s'agit du databending. Cette technique est la première étape du synesthèseur. Elle consiste à détourner un fichier ou un flux de données de son usage initial. C'est donc un parent très proche du glitch art avec une forte composante expérimentale qu'on peut retrouver dans le circuit bending.

Pour expliquer le databending, on peut reprendre ce mensonge pédagogique qui consiste à dire que l'informatique c'est des 0 et des 1. Si vous avez déjà malencontreusement changé l'extension d'un fichier sous Windows, vous vous être rendu compte qu'il était inutilisable car l'ordinateur a besoin d'éléments de contexte pour pouvoir interpréter correctement un fichier. L'extension est un de ces éléments de contexte. Mais les données, elles sont toujours là. Et on peut les exploiter pour produire autre chose que ce pour quoi elles étaient prévues. On peut tromper la machine pour qu'elle interprète un fichier comme si il s'agissait d'un fichier d'un autre type. C'est ça, le databending.

Pour illustrer la synesthèsie informatique, j'ai choisi de transformer des fichiers images en sons. Je travaille avec la photographe Dorianne Wotton qui m'a fourni ces images de la série Visions désaturées ou Introspectrion. Grâce au databending, ces images ont été transformés en sons bruts. Et comme il s'agit de databending, les sons générés ne sont pas un interprétation des formes, des couleurs, de la luminosité ou quoi que ce soit d'autre. Il s'agit d'une simple transposition des données images brutes en données sonores brutes. C'est donc la manière avec laquelle l'image a été enregistrée qui va définir en grande partie le résultat sonore brut. Ainsi deux images identiques peuvent sonner de manière complètement différente en fonction de leur format d'enregistrement. Une photo en JPG ne sonne pas de la même manière quand elle est enregistrée en BMP.

La deuxième étape du synesthèseur consiste à affiner les sons bruts. Ils sont transférés à un système génératif constitué d'algorithmes d'affinage que j'ai écrit basés en partie sur l'analyse graphique des spectrogrammes et la densité spectrale de puissance. En effet, si la répartition des données contenues dans les fichiers d'origines ne sont pas aléatoires pour générer des images, ces structures de données peuvent engendrer une impression de sons aléatoires. Je n'ai voulu garder que les sons significatifs générés par l'image à l'aide d'un processus itératif. J'ai défini plusieurs types de traitement que le synesthèseur applique et répète jusqu'à ce que l'analyse graphique du spectrogramme lui indique qu'il doit s'arrêter. Les critères d'arrêt sont nombreux mais l'un d'entre eux est le taux de silence du fichiers.

Une fois les différents sons produits, l'ordinateur analyse les spectrogrammes finaux et les compare afin de choisir la son qui présente les meilleures caractéristiques.

Les sons générés par les images désormais affinés et sélectionnés sont alors envoyés à un synthétiseur vidéo qui produit des films en modifiant en temps réel les images fixes d'origine en fonction des sons qu'elles ont contribué à générer. Les modifications se font en fonction des différentes propriétés du son (volume, graves, aiguës, beat) selon des fichiers de configuration créés par Dorianne Wotton et moi-même. Nous en avons créés environ une centaine combinant tous de manières différentes l'action des différentes propriétés des sons sur les images et nous en avons retenu une vingtaine qui produisent, comme vous pouvez le voir, des résultats assez différents.

Summary