Histoires multisensorielles 📙

Un champ des possibles s'ouvre aux créateurs de contenus !

Les meilleures histoires font appel à tous nos sens. C'est lorsque nous nous identifions aux personnages et sommes au cœur de l'action avec eux que nous avons l'impression de vivre une expérience formidable. Le livre ou le podcast sont des médias qui laissent une grande part à l'imagination. 

Révisé 3 juillet 2016

Chacun imagine les scènes à sa guise... surtout quand les auteurs ne donnent pas tous les détails pour laisser place à l'imaginaire des auditeurs. Avec la bande dessinée, le roman-photo, le cinéma et la télévision... l'imagination est sollicitée différemment. Des chercheurs s'intéressent aux changements qui s'opèrent dans notre cerveau, par exemple, lorsque nous regardons un film. 

Comment l’art nous touche-t-il ? L’humanité n’a cessé de sonder l’art pour cerner son essence, sa nécessité et son expression. Au cours des dernières années, la recherche sur le cerveau a bénéficié des avancées de la technologie et nous donne maintenant des outils pour mieux comprendre ce qui se passe quand nous contemplons un tableau, écoutons de la musique et regardons un film.

Image du documentaire Measuring Art

Fascinant documentaire sur l’impact sur notre cerveau des films que nous regardons les jeux auxquels nous jouons

Le documentaire des Danois, Lone Krüger bodholdt, Thomas Holmby Hansen, Measuring Art, présenté au Festival International du Film sur l'Art à Montréal en 2014, se penchait sur les liens entre l’art et la recherche sur le cerveau. Indépendamment de notre âge et de notre culture, toute expérience de beauté aurait un impact sur notre cortex frontal selon le professeur et chercheur en Neuroscience de l'Université Oxford, Morten Kringelbach :

L'art pictural est un récit sous la forme d'un objet statique. Nos yeux suivent les différentes choses qui se passent dans l'image et nous interpellent. Pas autant que ce que nous éprouvons lorsqu'une personne nous raconte une histoire, mais presque. Une histoire, c'est comme de la musique, c'est une étendue temporelle. L'histoire dispose d'un scénario qui joue avec la joie de l'attente. Satisfaite ou non, l'attente permet d'éprouver du plaisir avec un point culminant quand toutes les pièces du puzzle se rejoignent comme cela était prévu. 

Comment  une bonne histoire nous affecte-t-elle ?

Pourquoi notre pouls s'accélère-t-il à certains endroits ? 

Comment cela agit-il sur notre cerveau et provoquent nos émotions ?

Ce sont les questions auxquelles tentent de répondre les chercheurs.  L'art de la fabrication d'un film est intéressant, car il combine la musique, l'art pictural, l'apparition d'un temps — toutes les autres formes d'art peuvent en faire partie — et le résultat de l'ensemble crée quelque chose d'entièrement différent. Ce n'est pas seulement une question d'ajouts. La somme de ces diverses formes d'art crée quelque chose de plus et de différent. Mais nous savons encore très peu de choses sur ce que cela nous fait vivre 'subjectivement'.

Nous savons seulement que certaines parties du cerveau sont activées. Lorsque nous anticipons une expérience, par exemple, nous profitons pleinement de ce que nous vivons — mais cela ne signifie pas que nous sommes plus près de comprendre ce qui nous arrive.

Pour le moment, ce que nous savons, c'est que le regroupement de ces expériences, année après année, a un impact sur notre cerveau. Ce que nous apprenons sur le cerveau, nous aide à mieux comprendre qui nous sommes explique Mikkel Wallentin, professeur en sciences cognitives et en neuroscience à l'Université Aarthus au Danemark.

Mikkel Wallentin s'Intéresse à comment le cerveau est affecté par les histoires ?

« Quand nous entendons une histoire, nous réagissons avec le cerveau et le cœur. Une 'histoire vraie' est plus excitante que la fiction, car nous avons observé que les amygdales sont plus actives », précise le chercheur.

Chaque expérience contribue à manipuler le sens de la réalité. Pour les musiciens classiques, la qualité et le timbre sont les plus importants, mais pour les musiciens de Jazz, c'est en s'écoutant les uns les autres et en communiquant entre eux qu'ils obtiennent de meilleurs résultats, avec la pratique, leur cerveau répond automatiquement aux sons des autres. 

Il y a une multitude de façons de raconter des histoires. Surtout à notre époque. Bientôt nous ne serons plus seulement consommateurs d'histoires en regardant un film, en écoutant un podcast ou en lisant un livre.... Nous serons debout parmi les acteurs, nous sentirons les mêmes odeurs, nous serons aux mêmes endroits qu'eux, on marchera dans l'eau, on escaladera les montagnes...

Avec Sensory Stories, en 2015, nous pouvions au Centre PHI voler au-dessus de Manhattan grâce à l'œuvre Birdly. J'ai fait l'expérience... les plus aventuriers pouvaient descendre entre les immeubles. Ayant le vertige, j'ai commencé la descente, mais je suis vite remontée pour me contenter de voler dans le ciel au au-dessus des immeubles. C'était très agréable ! J'ai ressenti pendant un bref moment un sentiment de liberté. Les artistes qui souhaitaient nous aider à réaliser notre rêve de voler... on réussit à nous en donner l'illusion.

Une personne croquée sur le vif lorsqu'elle expérimentait l'œuvre de réalité virtuelle de MAX RHEINER de la Haute École d'art et de design de Zurich, en Suisse, avec THOMAS TOBLER et FABIAN TROXLER, Birdly au Centre Phi à l'automne 2015.

Sur l'écran, le public peut suivre l'expérimentation du sujet qui tente de voler au-dessus de Manhattan.

Un des artistes explique le projet de recherche.

Sensory Stories est une exposition de nouvelles expériences narratives qui révèlent comment un groupe émergent d'artistes et d'entreprises utilisent des techniques numériques innovantes pour changer la façon dont le public expérimente la narration. Conçu et organisé par l'avenir de Storytelling (FOST), un sommet annuel produit par Melcher Media, Sensory stories invite les visiteurs à participer à des récits qui combinent la narration traditionnelle avec des technologies révolutionnaires, intégrant l'immersion du corps entier, et l'interaction incluant la vue, l'ouïe, le toucher et même l'odorat. L'exposition, qui comprend des expériences de réalité virtuelle, films interactifs, installations participatives, et de nouvelles interfaces tactiles sensibles, s'est déroulée, d'avril à juillet 2015, au Musée de l'image en mouvement et à New York et du mois d'août jusqu'à la mi-septembre au Centre Phi à Montréal.

L'exposition comprenait des premières expériences en immersion totale, telles que le simulateur de vol en réalité virtuelle, Birdly, NYC ; un film interactif de Google Creative Lab, le Google Cube ; le premier o-Book, une plate-forme qui élargit la littérature avec la dimension du parfum ; et le travail de Chris Milk et Vincent Morisett, The Daniels de l'Office national du film du Canada, et d'autres pionniers dans les nouvelles technologies du storytelling.

L'éditeur new-yorkais  et fondateur du sommet Future of Storytelling (FoST), Charlie Melcher, nous rappelle que :

 « Les êtres vivants sont à l'origine des histoires. Une histoire, en principe, est un dialogue — quelque chose que vous pourriez interrompre — ou à laquelle vous pouvez répondre physiquement. »

En pleine expérience immersive !

J'ai aussi été fortement impressionnée par Tree, une expérience qui vise à nous sensibiliser à l'importance de protéger les forêts. Cette fois-ci, on se transforme en arbre majestueux et gigantesque dans une forêt tropicale. Les odeurs, le tremblement du sol et l'air chaud au moment de l'incendie éveillent tous les sens. Réalisée par Milica Zec et Winslow Porter, New Reality Company, en partenariat avec Here be Dragons et DRoga5. Les rendus d'images et les effets sensoriels sont particulièrement réussis.

Tree, une expérience qui exige que les médiateurs soient concentrés autant que le participant pour ajouter l'odeur ou la chaleur au bon moment.

L'expérience Fragments, un jeu de haute technologie.

Fragments est un thriller policier de haute technologie qui ouvre la voie sur de toutes nouvelles possibilités de narration offertes par la réalité mixte. Cette technologie révolutionnaire est développée par HoloLens (Asobo Studio et Microsoft Studios Global Publishing).

Ici, nous devons résoudre une énigme. Il faut trouver des indices dans la pièce pour protéger la vie d'un jeune garçon dont la vie est en danger. Nous avons accès à un 'crime lab' où des chercheurs et des experts vérifient si nos données sont pertinentes. Nous sommes des enquêteurs, nous suivons les flèches avec nos yeux et les écrans apparaissent dans l'espace holographique (les murs et le sol de la pièce deviennent la scène de crime ou celui où il faut dénicher les indices), des outils que nous activons nous-mêmes.

Cette technologie fait rêver à de nouvelles manières de jouer. Au lieu de s'asseoir pour regarder un film, on s'active au milieu de la pièce, cherchant les indices et revenant au lab pour faire le point et retournant à la mémoire pour rechercher de nouveaux indices. Rien n'est passif dans ce jeu tant pour l'intellect que pour le corps. Une puissante machine pour enseigner et apprendre. Extraordinaire !

Avec Transference, il s'agit cette fois d'un thriller psychologique et d'une recherche conduite par Raymond Hayes à laquelle les visiteurs pourront participer s'ils le désirent. L'objectif est de mieux comprendre l'impact d'un événement traumatique dans un cadre familial. Il faut s'accrocher, certains passages sont glauques et la fin peut être traumatisante. Cette expérience est une collaboration entre SpectreVision et Ubisoft.

Je suis aussi allée faire un tour dans l'espace avec Home: Immersive SpaceWalk Experience. Nous endossons la combinaison d'astronaute avec le défi d'accomplir une mission importante pour la station spatiale internationale ! Vous devez avancer, en apesanteur, dans le vide pour effectuer une réparation urgente. J'avoue avoir failli à la tâche à la toute fin, mais je n'ai pas dit mon dernier mot. J'ai bien l'intention de repartir dans l'espace sous peu et je vous invite à en faire de même. Une installation de Tom Burton, produit par BBC Studios et Rewind, Royaume-Uni, 2016.

Ce genre d'interactivité est exactement ce que l'avenir nous réserve. Les cinéastes commencent à dévoiler une gamme d'expériences VR qui laissent les téléspectateurs étonnés (voire craintifs) par tant d'émotions troublantes. Malgré tout le battage médiatique autour de la réalité virtuelle, peu de gens ont encore vécu des expériences complètes.

Je vous propose un petit exercice, inspirez vous de la structure traditionnelle d’un conte pour écrire une histoire.

Envie de tenter l’expérience ?

Découvrez l’exercice No. 48

La puissance de votre imagination.

---