Esistono molti modi di affrontare il rapporto tra immagine e musica, intesi come arte audiovisiva autonoma. Sostanzialmente si oscilla tra autori che prediligono un approccio completamente libero ma altrettanto arbitrario, ad altri che viceversa sostengono l'uso di regole magari rigide ma precise. Come sempre sono i risultati a contare, a stabilire la validità o meno di un metodo o di un'opera. Personalmente credo che una via di mezzo sia la soluzione migliore. Da una parte infatti è difficile non lasciare spazio all'inventiva, all'accostamento libero. Dall'altra è anche vero che ciò può portare al caos, alla rappresentazione letteraria, all'effetto e alla espressione ornamentale, senza alcuno schema che dia una chiave interpretativa.
Viene spontaneo fare un'osservazione di carattere generale: la maggior parte dei vari approcci contempla in genere gli eventi esterni all'individuo, e non considera invece gli aspetti mentali, ovvero percettivi e cognitivi. I parallelismi, viceversa, oltre che nel mondo esterno, sono da ricercarsi all'interno della mente, perché è lì che di fatto vengono elaborate e colte delle similitudini tra i due mondi.
A mio modo di vedere, per una corretta impostazione della questione, si devono contemplare l'immenso territorio dell'immagine visibile e l'altrettanto vasto territorio dei suoni udibili. Ogni segno, elemento o componente visiva costituisce un "oggetto visivo", inteso nel modo più generico possibile. Similmente, un qualunque evento auditivo costituisce un "oggetto sonoro". Mi piace pensare alla corrispondenza fra due oggetti, uno sonoro e uno visivo, come due espressioni, due manifestazioni di una stessa "entità", essere super partes che emana espliciti stimoli audiovisivi. In questo senso immagine e musica, oggetti visivi e sonori, non sono altro che due diverse manifestazioni dello stesso "essere".
Da ormai molti anni considero alcune corrispondenze fondamentali fra oggetti audiovisivi astratti, e ottenuti per via sintetica: una corrispondenza spaziale, una corrispondenza d'intensità dei segnali, una corrispondenza tra forma/colore e timbro e infine una corrispondenza temporale.
Spazio. Alcuni fra i compositori più recenti prestano notevole attenzione alla disposizione degli strumenti nello spazio o al percorso spaziale che compiono i suoni. Ciò ha una sua ragione molto precisa. Infatti a livello cerebrale esiste un organo che riceve segnali dalle orecchie e dagli occhi. È il "Superior Colliculus".
Il Superior Colliculus è di fatto responsabile della collocazione spaziale di eventi sonori e visivi. In altri termini esiste una mappatura fra la posizione di un segnale e le cellule deputate al suo trattamento. Le medesime cellule sono attive, sia che si tratti di uno stimolo uditivo sia che si tratti di uno stimolo visivo. Inoltre, se dallo stesso punto nello spazio vengono percepiti due segnali, uno visivo e uno sonoro, lo stesso gruppo di cellule reagirà con maggiore intensità. Ciò significa che la percezione spaziale degli eventi audiovisivi ha una base oggettiva da cui partire.
Occorre però sottolineare che la sensibilità dell'orecchio agli spostamenti spaziali è inferiore a quella relativa alla frequenza o all'intensità del suono, ed è comunque inferiore a quella dell’occhio. Inoltre, nell'ambito della percezione spaziale del suono, gli spostamenti laterali sono più facilmente percepiti di quelli verticali, e sono comunque funzione del tipo di suono. Più precisamente un suono è meglio connotato e individuabile spazialmente se il suo spettro contiene molte alte frequenze.
Una conseguenza di ciò è che la dimensione degli oggetti visivi dipende dal contenuto spettrale del suono associato, nel senso che un suono sostanzialmente basso sarà associato a un oggetto visivo di grandi dimensioni e viceversa, proprio perchè un suono basso non ha un precisa posizione nello spazio ma è in qualche modo diffuso, mentre un suono acuto è piccolo proprio perchè le onde che lo compongono sono di piccole dimensioni.
Intensità. Una seconda associazione è data dall'intensità delle due manifestazioni. Intensità di segnali comparata all'assenza di segnali, ovvero al rumore di fondo. Quindi ciò che conta è il contrasto fra oggetto e background, siano essi visivi o sonori. Naturalmente esistono situazioni in cui non è possibile discernere in modo chiaro un oggetto e il suo background, in alcuni casi c'è una fusione totale.
Forma/colore e timbro. Un oggetto astratto, sia visivo sia sonoro, è per sua natura di difficile definizione. Non essendoci una nomenclatura precisa, né tantomeno un metodo di scrittura standardizzato, si fa talvolta ricorso a vocaboli presi in prestito da altre discipline. Ciò vale sia nel campo dell'immagine sia in campo musicale. Per esempio si può dire di un suono che è "brillante". Immaginiamo di voler visualizzare un suono del genere. Al di là della sua posizione nello spazio, si potrà utilizzare un oggetto evidentemente luminescente, come se avesse una sua luminosità intrinseca, fenomeno ancora più evidente se sono presenti altri oggetti non brillanti. Ma quale è la forma di tale oggetto? Supponiamo per un istante di considerare il suo opposto, un suono "non brillante". Tale suono di fatto è un suono che non ha, all'interno del suo spettro, frequenze alte, è appiattito a tale livello. Seguendo la corrispondenza con le forme, un oggetto senza alte frequenze (frequenze spaziali) è una forma con pochi dettagli, che si potrebbe quindi visualizzare con una texture con delle transizioni morbide al suo interno. Al contrario, un suono brillante può essere rappresentato con una texture ricca di dettagli, di piccoli segni. Che dire però della forma vera e propria, cioè del contorno, ma anche della distribuzione dei pesi, delle attrazioni? Qui può giocare un ruolo fondamentale la geometria dell'oggetto, della forma stessa. È dimostrabile che una curva che abbia una continuità è associabile a una bassa frequenza angolare, mentre al contrario un contorno ricco di spigoli presenti una frequenza maggiore. Nel primo caso si tratta di una forma curveggiante, ovvero che presenta una tensione verso la sfera, cioè una forma senza spigoli. Nel secondo caso invece si tratterà di una forma che tende all'aculeo. Un suono brillante sarà quindi un oggetto con molti dettagli e almeno in parte spigoloso, e che avrà comunque una sua "acutezza". Anche in questo caso, il termine acuto ha una valenza doppia, sonora, ma anche angolare.
Va peraltro considerato il fatto che ogni valutazione deve tenere conto anche della scala degli oggetti, a scale diverse cambia la percezione dell'angolarità di un oggetto, basta pensare a quanto succede se si effettua uno zoom su quella forma. Continuando su questa strada, a mio avviso il concetto di oggetto comprende sia la forma sia la sua apparenza visiva, intendendo per questa il colore, la texture e tutto quanto concorre al suo aspetto al di là della forma. Di conseguenza dal punto di vista dell'apparenza visiva un suono non brillante sarà rappresentato con un colore e una texture grosso modo uniformi. In qualche modo quindi si stabilisce una corrispondenza tale per cui un suono con molti acuti è rappresentato da un oggetto spigoloso e con molti dettagli e viceversa. Naturalmente è vero anche il contrario, ossia un oggetto con alte frequenze spaziali è rappresentato da un suono acuto. Viene quindi considerata una sorta di coerenza tra la forma e il colore/texture dell'oggetto visivo. È anche possibile mediare fra i due aspetti e generare un oggetto spigoloso, ad esempio, ma con pochi dettagli di texture, o viceversa.
Tempo. Un altro fattore importante è dato dall'evoluzione temporale degli eventi audiovisivi. Per sua natura il suono, nella quasi totalità dei casi, varia nel tempo, cioè il suo contenuto spettrale non è fisso ma dinamico. Tale dinamismo può essere controllato nel suo andamento nel tempo. L'oggetto visivo, conseguentemente, avrà anch'esso un suo sviluppo temporale parallelo. In altri termini la sua rappresentazione cambia. Ciò può essere ottenuto sia variando la forma, sia modificando la sua apparenza visiva, sia ruotandolo, in modo da far apparire nuovi aspetti, nuove facce.
Tuttavia, per quanto sia interessante dimostrare una qualsivoglia correlazione, è per me importante sottolineare come tali considerazioni vengano fatte a posteriori, come per razionalizzare una scelta che invece avviene in prima istanza in modo intuitivo. È infatti parte del senso comunque attribuire un’idea di morbidezza a una forma tondeggiante, mentre una forma angolosa suggerirà una maggiore asperità. Questo porta a considerare, sempre intuitivamente, delle "superclassi binarie", caldo/freddo, basso/acuto e così via, che in qualche modo fanno parte del patrimonio cognitivo di ogni persona. A simili conclusioni era peraltro arrivato nientemeno che Wassily Kandinsky, nel suo famoso
Della spiritualità nell'arte.
È comunque molto difficile stabilire una relazione totalmente precisa e univoca fra i due mondi. È difficile, almeno a priori, definire se un certo suono è rappresentato, per esempio, da una forma con n spigoli o n+1 spigoli o da un certo colore o da una sfumatura di esso. Del resto, anche un suono presenta una sorta di latitudine di variazione delle sue componenti spettrali, cioè se la componente x è 10.200 Hz anziché 10.300 non molto cambia. Quel che conta è l'effetto globale, sia in campo sonoro che visivo, anche se ciò contrasta con la definizione di regole precise.
Un aiuto alla definizione degli oggetti viene dagli attributi metaforici usati nel linguaggio comune, come appunto brillante, luminoso, ottuso, metallico e così via. Infatti, in mancanza di una definizione precisa di un suono elettronico (ovvero di un modello mentale preciso come può essere per esempio il violino per il suono del violino), è a mio parere molto utile poter definire i suoni utilizzando il linguaggio naturale. Del resto altri attributi del mondo musicale sono presi in prestito da altri ambienti, per cui si parla di
Allegro,
Presto e così via. Estendendo questo approccio, è appunto possibile definire dei suoni in base alle loro caratteristiche globali, ai loro attributi. Ovviamente una tale definizione presenta molte ambiguità, non è sempre chiaro per esempio quale sia un suono metallico, e in questo senso una serie di esempi possono contribuire a meglio definire quanto l'autore intende. Quindi l'uso di metafore, intrinsecamente ambigue, nel campo audiovisivo può costituire un potente strumento di creazione, purché si basi su un apparatus preesistente di esempi.
In altri termini quel che si propone è un doppio processo. Dapprima la creazione di una serie nutrita di esempi di correlazioni che un autore trova interessanti, comprensive magari di un punteggio che indichi la validità della associazione. In secondo luogo la realizzazione di un sistema automatico che, basandosi sulla conoscenza che il programma ha degli oggetti audiovisivi, (ovvero della geometria e l'apparenza degli oggetti, del contenuto spettrale dei suoni, della loro posizione e così via), possa generare degli oggetti audiovisivi coerenti. Un tale sistema digitale potrà inoltre apprendere da esempi successivi, perfezionandosi ulteriormente.
Una volta costituite delle associazioni, rimane il problema di come assemblarle per ottenere una vera composizione, una opera completa. È evidente che la sola definizione di corrispondenze, per quanto valide, non può certo costituire un'opera d'arte. Semplicemente in questo modo viene creato un alfabeto audiovisivo, che diventa il punto di partenza per successive elaborazioni. In questo senso credo sia interessante prendere a prestito linguaggi appartenenti a un dominio e applicarli a un altro. Per esempio, dati una serie di oggetti sonori associati a oggetti visivi, può essere interessante comporli e assemblarli non ascoltandoli, come avviene normalmente, ma basandosi solo sul loro aspetto visivo, utilizzando quindi il linguaggio visivo, proprio delle animazioni.
Sarà infine importante creare un'opera audiovisiva che tenga in considerazione il diverso livello di attenzione che i vari eventi generano nelle menti degli spettatori, in modo tale che il risultato finale non faccia prevalere un'espressione rispetto a un'altra, ma sia viceversa equilibrato.
fonte