Les histoires multisensorielles

un champ des possibles
s'ouvre aux créateurs de contenus.

Les meilleures histoires font appel à tous nos sens. C'est lorsque nous nous identifions aux personnages et sommes au cœur de l'action avec eux que nous avons l'impression de vivre une expérience formidable. Le livre ou le podcast sont des médias qui laissent une grande part à l'imagination.

Photo : Pierre Guité Les histoires multisensorielles par Sylvie Gendreau, Art Talks

Photo : Pierre Guité Les histoires multisensorielles par Sylvie Gendreau, Art Talks

Chacun imagine les scènes à sa guise... surtout quand les auteurs ne donnent pas tous les détails pour laisser place à l'imaginaire des auditeurs. Avec la bande dessinée, le roman-photo, le cinéma et la télévision... l'imagination est sollicitée différemment. Des chercheurs s'intéressent aux changements qui s'opèrent dans notre cerveau, par exemple, lorsque nous regardons un film. 

Comment l’art nous touche-t-il ? L’humanité n’a cessé de sonder l’art pour cerner son essence, sa nécessité et son expression. Au cours des dernières années, la recherche sur le cerveau a bénéficié des avancées de la technologie et nous donne maintenant des outils pour mieux comprendre ce qui se passe quand nous contemplons un tableau, écoutons de la musique et regardons un film.
Image du documentaire Measuring Art

Image du documentaire Measuring Art

Le documentaire des Danois, Lone Krüger bodholdt, Thomas Holmby Hansen, Measuring Art, présenté au Festival International du Film sur l'Art à Montréal en 2014, se penchait sur les liens entre l’art et la recherche sur le cerveau. Indépendamment de notre âge et de notre culture, toute expérience de beauté aurait un impact sur notre cortex frontal selon le professeur et chercheur en Neuroscience de l'Université Oxford, Morten Kringelbach :

L'art pictural est un récit sous la forme d'un objet statique. Nos yeux suivent les différentes choses qui se passent dans l'image et nous interpellent. Pas autant que ce que nous éprouvons lorsqu'une personne nous raconte une histoire, mais presque. Une histoire, c'est comme de la musique, c'est une étendue temporelle. L'histoire dispose d'un scénario qui joue avec la joie de l'attente. Satisfaite ou non, l'attente permet d'éprouver du plaisir avec un point culminant quand toutes les pièces du puzzle se rejoignent comme cela était prévu. 

Comment  une bonne histoire nous affecte-t-elle ? Pourquoi notre pouls s'accélère-t-il à certains endroits ? Comment cela agit-il sur notre cerveau et provoquent nos émotions ? Ce sont les questions auxquelles tentent de répondre les chercheurs.  L'art de la fabrication d'un film est intéressant, car il combine la musique, l'art pictural, l'apparition d'un temps — toutes les autres formes d'art peuvent en faire partie — et le résultat de l'ensemble crée quelque chose d'entièrement différent. Ce n'est pas seulement une question d'ajouts. La somme de ces diverses formes d'art crée quelque chose de plus et de différent. Mais nous savons encore très peu de choses sur ce que cela nous fait vivre 'subjectivement'. Nous savons seulement que certaines parties du cerveau sont activées. Lorsque nous anticipons une expérience, par exemple, nous profitons pleinement de ce que nous vivons — mais cela ne signifie pas que nous sommes plus près de comprendre ce qui nous arrive. Pour le moment, ce que nous savons, c'est que le regroupement de ces expériences, année après année, a un impact sur notre cerveau. Ce que nous apprenons sur le cerveau, nous aide à mieux comprendre qui nous sommes explique Mikkel Wallentin, professeur en sciences cognitives et en neuroscience à l'Université Aarthus au Danemark.

Mikkel Wallentin s'Intéresse à comment le cerveau est affecté par les histoires ? « Quand nous entendons une histoire, nous réagissons avec le cerveau et le cœur. Une 'histoire vraie' est plus excitante que la fiction, car nous avons observé que les amygdales sont plus actives », précise le chercheur.

Chaque expérience contribue à manipuler le sens de la réalité. Pour les musiciens classiques, la qualité et le timbre sont les plus importants, mais pour les musiciens de Jazz, c'est en s'écoutant les uns les autres et en communiquant entre eux qu'ils obtiennent de meilleurs résultats, avec la pratique, leur cerveau répond automatiquement aux sons des autres. 

Il y a une multitude de façons de raconter des histoires. Surtout à notre époque. Bientôt nous ne serons plus seulement consommateurs d'histoires en regardant un film, en écoutant un podcast ou en lisant un livre.... Nous serons debout parmi les acteurs, nous sentirons les mêmes odeurs, nous serons aux mêmes endroits qu'eux, on marchera dans l'eau, on escaladera les montagnes...

Avec Sensory Stories, en 2015, nous pouvions au Centre PHI voler au-dessus de Manhattan grâce à l'œuvre Birdly. J'ai fait l'expérience... les plus aventuriers pouvaient descendre entre les immeubles. Ayant le vertige, j'ai commencé la descente, mais je suis vite remontée pour me contenter de voler dans le ciel au au-dessus des immeubles. C'était très agréable ! J'ai ressenti pendant un bref moment un sentiment de liberté. Les artistes qui souhaitaient nous aider à réaliser notre rêve de voler... on réussit à nous en donner l'illusion.

Une personne croquée sur le vif lorsqu'elle expérimentait l'œuvre de réalité virtuelle de MAX RHEINER de la Haute École d'art et de design de Zurich, en Suisse, avec THOMAS TOBLER et FABIAN TROXLER, Birdly au Centre Phi à l'automne 2015.

Une personne croquée sur le vif lorsqu'elle expérimentait l'œuvre de réalité virtuelle de MAX RHEINER de la Haute École d'art et de design de Zurich, en Suisse, avec THOMAS TOBLER et FABIAN TROXLER, Birdly au Centre Phi à l'automne 2015.

Sur l'écran, le public peut suivre l'expérimentation du sujet qui tente de voler au-dessus de Manhattan.

Sur l'écran, le public peut suivre l'expérimentation du sujet qui tente de voler au-dessus de Manhattan.

Un des artistes explique le projet de recherche.

Sensory Stories est une exposition de nouvelles expériences narratives qui révèlent comment un groupe émergent d'artistes et d'entreprises utilisent des techniques numériques innovantes pour changer la façon dont le public expérimente la narration. Conçu et organisé par l'avenir de Storytelling (FOST), un sommet annuel produit par Melcher Media, Sensory stories invite les visiteurs à participer à des récits qui combinent la narration traditionnelle avec des technologies révolutionnaires, intégrant l'immersion du corps entier, et l'interaction incluant la vue, l'ouïe, le toucher et même l'odorat. L'exposition, qui comprend des expériences de réalité virtuelle, films interactifs, installations participatives, et de nouvelles interfaces tactiles sensibles, s'est déroulée, d'avril à juillet 2015, au Musée de l'image en mouvement et à New York et du mois d'août jusqu'à la mi-septembre au Centre Phi à Montréal.

L'exposition comprenait des premières expériences en immersion totale, telles que le simulateur de vol en réalité virtuelle, Birdly, NYC ; un film interactif de Google Creative Lab, le Google Cube ; le premier o-Book, une plate-forme qui élargit la littérature avec la dimension du parfum ; et le travail de Chris Milk et Vincent Morisett, The Daniels de l'Office national du film du Canada, et d'autres pionniers dans les nouvelles technologies du storytelling.

L'éditeur new-yorkais  et fondateur du sommet Future of Storytelling (FoST), Charlie Melcher, nous rappelle que : « Les êtres vivants sont à l'origine des histoires. Une histoire, en principe, est un dialogue — quelque chose que vous pourriez interrompre — ou à laquelle vous pouvez répondre physiquement. » Ce genre d'interactivité est exactement ce que l'avenir nous réserve selon Charlie Melcher, un éditeur qui a publié des livres originaux avec des célébrités dont un le livre d'Al Gore sur le réchauffement climatique.

Les cinéastes commencent à dévoiler une gamme d'expériences VR qui laissent les téléspectateurs étonnés (voire craintifs) par tant d'émotions troublantes. Malgré tout le battage médiatique autour de la réalité virtuelle, peu de gens ont encore vécu des expériences complètes.

À Montréal, le Centre PHI est l'adresse à retenir pour expérimenter ces nouvelles façons d'expérimenter une histoire.

L'an dernier, j'y avais beaucoup aimé 'Sensory stories', j'y avait d'ailleurs emmené mes étudiants, doctorants à l'École Polytechnique de Montréal. Cette année, vous pouvez profiter d'une des plus extraordinaires expositions de l'été, au Centre PHI, Sensory Stories, Donner corps au récit numérique, du 14 juin au 21 août.

Pour plus d'info: https://phi-centre.com/