Interactive sound performance

Performance Sonora Interativa sviluppata durante il corso di Sound Design (prof. Andrea Cera) in occasione del progetto scenico multimediale Pin:occhio, presso la scuola di Nuove Tecnologie dell’Arte dell’Accademia di Belle Arti di Brera.

Anno 2012.

INTROduzione

Il progetto consiste in una Performance Sonora Interattiva, trattasi appunto di una performance, ovvero una esecuzione artistica di movimenti nella quale il performer produce suoni in tempo reale grazie al movimento del suo corpo. Perchè interattiva? Questi movimenti vengono rilevati da un dispositivo (kinect) sensibile al movimento del corpo umano, dove ogni gesto è stato assegnato a un suono specifico precedentemente, pertanto, durante l’esecuzione della performance, ad

ogni movimento del performer verrà emesso un suo suono. Il performer non è più un danzatore che esegue una sequenza di movimenti sopra la base di una traccia musicale preesistente, ma diventa lui stesso l’esecutore e lo strumento musicale che emette suoni contemporaneamente.

La performance sonora interattiva è un progetto di sound art, una forma di sperimentazione artistica che ricerca nuove modalità espressive e comunicative, dove i suoni usati e trattati hanno un significato perchè la loro connessione ad un’immagine viene compresa. L’esperienza sinestetica che ne deriva da questo progetto permette al pubblico di immaginare, di richiamare immagini ed emozioni guardando i movimenti del performer ed ascoltando i suoni che egli produce.

Nella prima performance vi saranno suoni di tintinnii, base melodica registrata dai suoni di una chitarra, sottofondi di gabbiani, accordi, suono MIDI composto in Ableton e modificato nelle frequenze in tempo reale. Tutte le tracce Audio hanno subito editing audio con Audacity.

Nella seconda performance vi sono registrazioni di voci inquietanti, effetti atmosferici terrificanti, sospiri e interferenze, suono MIDI composto in Ableton e modificato nella tonalità in tempo reale. Tutte le tracce Audio hanno subito editing audio con audacity.

Gli effetti audio più usati sono stati: riverbero, cambio di tonalità, di tempo e velocità.

 

PREsentazione

La performance sonora interattiva è una forma di sperimentazione artistica che ricerca nuove modalità espressive e comunicative, dove i suoni usati e trattati hanno un significato perchè la loro connessione ad un’immagine venga compresa. I contenuti dell’esperienza sinestetica del progetto, ovvero la drammaturgia del suono, si ispireranno al progetto multidisciplinare di Pinocchio dal titolo “L’ultima Maschera”: rielaborazione contemporanea del personaggio Fata Turchina, una giovane ragazza che deve sottostare al volere dell’ostico Pinocchio (incarnazione della societò di oggi).

La giovane (come si vede nel video dello spettacolo) farà una prima performance sonora interattiva, in cui i suoni richiamano il suo animo dolce e inesperto ma, derisa da Pinocchio, assumerà la sua maschera ed effettuerà una seconda performance sonora interattiva, i cui suoni saranno sgraziati e dalle brusche tonalità perchè la Fata non si riconosce nelle sembianze le sono state imposte (per mezzo di una assistente della società) da Pinocchio.

L’emissione di suoni e il loro editing audio (in tempo reale per i suoni MIDI) si servirà del software Ableton Live, mentre la rilevazione del movimento (informazioni input) verrà codificato dell’applicazione Synapse, il cui corrispettivo plug-in di Ableton permetterà l’emissione dei suoni tramite patch impostate nella fase di programmazione. La sperimentazione artistica si basa sul lavoro di un programmatore (www. synapsekinect. tumblr.com) di Harmonix Music Systems in Cambridge, che per lavorare su un progetto artistico per il Burning Man, ha sperimentato un’esperienza sinestetica che comporta l’uso di Kinect, Ableton Live, e Quartz Composer. Ha creato un’applicazione che invia dati comuni e eventi tramite OSC, ed alcune patch per Max Live per utilizzare tali messaggi, controllando Ableton.

liveLive, prodotto da Ableton, è un programma di produzione musicale pensato tanto per la composizione in studio quanto per l’esecuzione di performance live. È stato scelto l’uso di questo software perchè è sufficientemente versatile, in quanto consente la creazione di suoni, a seconda che si usi con fonti in ingresso, controller midi, effetti esterni, mixer o rilevazione del movimento.

 

sinapseSynapse è un’applicazione per Mac e Windows che consente di utilizzare facilmente la Kinect per controllare Ableton Live, Quartz Composer, Max / MSP / Jitter, e qualsiasi altra applicazione in grado di ricevere gli eventi OSC ( è un “content format” per la messaggistica tra computer, sintetizzatori sonori, e altri dispositivi multimediali che sono ottimizzati per la tecnologia di rete moderna). Invia le posizioni (del corpo) e gli eventi (movimenti, spostamenti) via OSC, e invia anche l’immagine di profondità in Quartz Composer. In un certo senso, questo consente di utilizzare tutto il corpo come strumento!

sinapse2L’applicazione Synapse riceve i dati di input dalla Kinect e li manda ad Ableton, per usarla bisogna collegare la Kinect nell’ingresso USB del computer (e assicurarsi che sia collegato alla presa di corrente), e si vedrà così una rappresentazione blu della visuale dalla telecamera. Per associare uno “scheletro” a se stessi bisogna mettersi difronte alla kinect in posa per alcuni secondi. Dopo questa operazione, si dovrebbe vedere uno scheletro rosso legato a se stessi e si può iniziade ad usare Synapse.

Una serie di user-friendly Max For Live patches vengono programmate per controllare Ableton via Synapse.

robertL’ideazione di questo progetto si è ispirata ai pionieri dell’analisi del movimento: Robert Wechsler e Mark Coniglio. Un articolo interessante al quale far riferimento è “O body swayed to music…(and vice versa)” di Robert Wechsler, il quale, nello spiegare il suo operato nella sua compagnia Polindrome, sottolinea un uso della danza non come semplice coerografia ma come abilità per facilitare l’interazione tra mezzi di comunicazione, tutto attraverso le nuove tecnologie, software e computer ovviamente. Egli non intende più utilizzare la forma di danza come un mezzo espressivo per documentare/registrare la musica, ma sottolinea <<the importance of finding new ways to invigorate the art form […] to design multi-media movement-based works which are neither improvised nor completely fixed […] new ways to involve audience in our work>>. La compagnia Polindrome riesce a fare questo tramite

software “TouchLine” e “PressEscape” che, attraverso il video fatto da una videocamera che riprende i movimenti dei performer, produce linee (generate dai cambiamenti di movimento del corpo del performer) che producono cambiamenti di suono; oppure utilizzano il sistema Heartbeat Duett, dove i ballerini indossano dei “chest electrodes” che rilevano il battito cardiaco che produce suoni.

Il mio progetto si collega più all’idea emersa dall’articolo “Seine hohle Form: Artistic Collaboration in an Interactive Dance and Music Performance Environment” di

Joseph Butch Rovan, Robert Wechsler e Frieder Weiß, ovvero l’idea di un sistema interattivo come “Mapping”, il quale ti permette di associare un insieme di movimenti a “a given sound synthesis parameter”.

 

materialiAUDIO & procedimentoTECNICO

Fasi del lavoro:

1) trovare una drammaturgia del suono, e quindi ricercare, modificare, trattare quei suoni che possano rimandare alla mente dello spettatore precise immagini. Per quanto riguarda lo spettacolo de “L’ultima maschera”, essendo una esperienza sinestetica, bastava far capire allo spettatore la differenza dei due momenti della performane: una dolce presentazione della Fata Turchina inizialmente con una componente di disagio all’arrivo dell’ostico Pinocchio e una totale disarmonia e disagio nella seconda esibizione (vedi video).

2) provare costantemente come il software risponde al movimento, quindi posizionarsi davanti alla kinect e capire quali movimenti sono concessi e quali no, questo perchè è facile che il Mapping del corpo si impalli. Provare ogni qual volta viene prodotto un nuovo suono, per vedere se è in sintonia con gli altri, se adatto o meno a un certo tipo di movimento.

3) sperimentare le diverse user-friendly Max For Live patches che possono essere usate per controllare Ableton via Synapse:

•Max Kinect Dial – mappare la posizione di un’articolazione al controllo Live. •Max Kinect Event – utilizzare un’azione (lo spostamento di un’articolazione in una certa

direzione, velocemente) per attivare o impostare un controllo Live.

•Max Kinect Double Event -come Max Kinect Event, richiede di eseguire due eventi contemporaneamente per attivare o impostare un controllo Live.

•Max Kinect Tuner – accorda quanto un’articolazione deve muoversi prima che si inneschi un evento.

•Max NoteDial – manda in play una nota MIDI a seconda della posizione Live. È possibile specificare che le note in una scala vengano riprodotte a loop.

•Max Clip Launcher – utilizza un pulsante Live per lanciare una clip, la quale ti permette di utilizzare Max Event Kinect per lanciare e registrare clip.

•Max And Button – consente di avere due cose che controllano un singolo oggetto a distanza, e di avere l’output attivo solo quando entrambi gli imput sono veri.

•Max Chord Create – richiede una nota in ingresso MIDI e lo trasforma in un accordo di tua scelta.

•Max Looper Control – consente di controllare un Looper con pulsanti live che Max Kinect Events può mappare

•Max Radio Button – consente di scegliere più Live toggle-ables e di attivarne uno alla volta.

•Max Many Toggle – consente di avere un singolo controllo pulsante che controlli più toggle-ables (variabili). Si può combinare con Max Radio Button per consentire di fare le cose come scambi di tracce che stai registrando.

•Max OSC Control – ascolto per l’ingresso OSC arbitrario sulla porta 22345 per controllare i parametri Live.

4) è importante calcolare la posizione alla quale far partire un certo suono, e progettarlo insieme al performer e nel luogo in cui avverrà la performance, così da diminuire il più possibile il rischio di errore.

 

DISPOsitivo

ATTREZZATURE NECESSARIE: – kinect – computer – software Ableton Live Synapse – casse

kinect

KINECT è un accessorio originariamente pensato per Xbox 360 sensibile al movimento del corpo umano; a differenza del Wiimote della Nintendo e al PlayStation Move della Sony esso rende il giocatore controller della console senza l’uso di strumenti. Kinect è dotato di telecamera RGB, doppio sensore di profondità a raggi infrarossi composto da un proiettore a infrarossi e da una telecamera sensibile alla stessa banda. La barra del Kinect è motorizzata lungo l’asse verticale e segue i movimenti dei giocatori, orientandosi nella posizione migliore per il riconoscimento dei movimenti. La periferica permette all’utente di interagire con la console (nel mio caso con Ableton) senza l’uso di alcun controller da impugnare, ma solo attraverso i movimenti del corpo!. Costo: £ 149.99

COMPUTER (collegato a kinect e casse), esso deve reggere le informazioni input dei movimenti del corpo rilevati dal kinect, associarli ai suoni (già impostati su Ableton) e emettere i suoni live: ecco che, per far si che l’interattività riesca e che tutto sembri davvero in tempo reale, è necessario un computer che riesca il più velocemente possibile ad elaborare gli input ed emettere subito i corrispondenti output. Propongo non meno di un MacBook Pro 15”: 2,4 GHz. Costo: £ 2.149,00.

CASSE vista la varietà dei suoni (basse, medie ed alte frequenze), 2 CASSE FRONTALI A 3 VIE 120W permettono una riproduzione sonora ottimale. Facendo una ricerca tra i vari negozi su internet, ho scelto come ottimali le casse acustiche Pioneer dal valore di 136,26 £. Tipologia: Casse Acustiche; Potenza totale RMS nominale: 120 W; N° altoparlanti frontali centrali: 2.

SOFTWARE è possibile scaricare Ableton Live Synapse direttamente qui http://synapsekinect.tumblr.com/post/6305020721/download

 

CAblaggio, PREview 3D, PIAnta

cablaggio       cab2

3d

 

CONclusione

Per fare questo tipo di performance, con precisione nel movimento, con una corretta scelta dei suoni, con un’interattività che sia davvero live senza che nulla vada in crash, ci vuole un lavoro di almeno 3/4 mesi, dedicandosi a questo tutti i giorni. Ci vuole del tempo per apprendere competenze sulle tipologie di suoni, conoscere la musica e come si compone, scontrarsi con le differenze tra suoni MIDI e Audio, ci vuole del tempo per apprendere che tutto questo deve andare di pari passo con la tecnica del Mapping e dell’interattività, e ci vuole del tempo per comprendere come tutta questa tecnica possa ben coniugarsi con la tematica del soggetto di “L’ultima maschera”.

I gesti del performer dovranno essere davvero precisi, quasi macchinosi o si rischia che alcuni suoni non partano. Il problema di questi suoni che non vanno in play come dovrebbero è dovuto anche al computer, meno esso è potente, più farà fatica nel gestire tutte le informazioni.

Il progetto ha sviluppato quanto inteso nelle premesse quasi totalmente vista la differenza tra suoni MIDI (.midi) e Audio (.wav / .mp3): differenza è da tenere a mente perchè gli effetti MIDI sono più interessanti e numerosi degli Effetti Audio, sia per quanto riguarda l’editing sia per la quantità di user-friendly Max For Live patches che si possono usare al fine di una interattività: i MIDI Effect presentano più opzioni per far partire un suono, per mappare un’articolazione, per modificare un effetto su un suono con un certo gesto, ecc. Una traccia MIDI implica però una conoscenza di note musicali, scale, tipologie di strumenti ecc…

Concludendo, la sperimentazione di questa pratica artistica mi ha permesso di imparare i suddetti software e di apprendere una metodologia di programmazione: ci vogliono precisione e costanza al fine di costruire una performance sonora interattiva che sia corretta dal punto di vista tecnico (evitare la percentuale di errori), e sinestetica dal punto di vista performativo.