TouchDesigner: il software per il video mapping

Effetti video, proiezioni, luci e molto altro ancora in un unico software

TouchDesigner: il software per il video mapping
di Tiscali Tecnologia   -   Twitter: @TiscaliTech

Il video mapping è delle nuove forme di comunicazione più in voga al momento e, sicuramente, nell'immediato futuro prenderà sempre più piede. Ormai viene usato in ogni campo: spettacoli (un esempio su tutti il'Eurovision 2016), eventi (basti pensare alla cerimonia di inaugurazione delle ultime olimpiadi), pubblicità innovativa (proiezioni su palazzi ed edifici famosi) e molto altro ancora.

In pratica si tratta di proiettare immagini (che possono essere video, animazioni, figure astratte e altro ancora) su superfici "non convenzionali" come facciate, alberi, gradinate, persone eccetera. Il video mapping viene spesso integrato con altre tecnologie e forme d'arte, dando alla parola "multimedia" un significato sempre più ampio. Concerti, mostre, musei, eventi, ormai, fondono insieme musica, video, proiezioni, luci, effetti speciali di ogni tipo e interazione diretta con il pubblico.


Eurovision 2016 - Foto di Anna Velikova(EBU)

Tutto questo è ovviamente possibile grazie alla tecnologia, ma si è spesso portati a pensare che sia indispensabile utilizzare strumenti costosissimi, complicati e destinati a operatori super specializzati.

In questo articolo vogliamo dimostrare, invece, che esistono tecnologie alla portata di tutti, in grado di liberare la fantasia e di realizzare opere di sicuro effetto , anche con poche risorse strumentali. Nello specifico parliamo di TouchDesigner della Derivative, un software multimediale che può essere usato sia su normali PC domestici come sui potentissimi server multimediali dei palchi più grandi del mondo.

I principali punti di forza di TouchDesigner sono senz'altro la scalabilità e la versatilità, senza dimenticare, per essere ancora più pratici, il fatto che sia utilizzabile gratuitamente (almeno per scopi non commerciali). Questo significa che chiunque può far girare sul proprio computer (non troppo vecchio!) la stessa tecnologia usata per spettacoli di livello mondiale (hardware a parte).

TouchDesigner è un vero e proprio ambiente di programmazione che permette di spaziare in un vastissimo campo di applicazioni. Videomapping, grafica e animazioni 3D, effetti video in stile VJ, animazioni interattive e giochi, anche pilotati da suoni, musica , gesti e movimenti del corpo, tanto per fare qualche esempio.


(Copyright 2013 Warner Bros Picture, per gentile concessione di Framestore.  Tutti i diritti riservati.)
TouchDesigner sul set del film "Gravity" negli studi Framestore

Se state pensando "ma io non sono ne un programmatore, non riuscirò mai usarlo!", sappiate che vi sbagliate di grosso. Il termine "ambiente di programmazione" non deve spaventare chi non conosca i linguaggi di programmazione perché TouchDesigner offre un approccio diverso, detto "a nodi", utilizzato anche da altri prodotti simili (come ad esempio Max).

Si tratta, in pratica, di una rappresentazione simbolica delle funzioni, le quali vengono schematizzate in blocchetti. Basta collegare fra di loro i blocchetti, secondo logica, per realizzare i flussi di elaborazione, anche senza scrivere una sola riga di codice (cosa che, comunque, è possibile per chi volesse scendere nel dettaglio e avesse necessità di realizzare flussi particolari e personalizzati); insomma, una specie di gioco delle costruzioni informatico.

I blocchi sono suddivisi i diversi gruppi, a seconda delle loro funzionalità. I TOP, ad esempio, gestiscono tutto ciò che sono video, fotografie, immagini e figure geometriche 2D mentre i SOP gestiscono oggetti tridimensionali posizionati nello spazio. I CHOP elaborano, invece, numeri e canali di controllo.

E’ davvero molto facile entrare nella logica del programma perché TouchDesigner offre una curva di apprendimento molto lineare che permette , già dal primo approccio, di ottenere risultati d'effetto che, con l'esperienza, possono diventare sempre più complessi e spettacolari. In coda a questo articolo, a dimostrazione di questo principio, troverete delle semplici istruzioni (sotto forma di video) che vi spiegheranno come muovere i primi passi con TouchDesigner e ottenere i primi risultati visibili in pochi minuti.


Una schermata di TouchDesigner (per gentile concessione di Obscura Digital)

A questo proposito sono di grandissimo aiuto la documentazione del sito ufficiale, con i suoi tutorial, e il forum in cui la nutritissima community è sempre pronta a scambiare informazioni e ad aiutare i neofiti con risposte ed esempi pratici da scaricare (e di cui trovate tutti i riferimenti e gli indirizzi sempre in coda all’articolo).
Sul sito ufficiale è anche possibile accedere a numerose applicazioni già pronte (e gratuite) che consentono, ad esempio, di usare TouchDesigner per gestire il videomapping o per generare effetti video da VJ in perfetto stile Resolume.

Il programma stesso offre, al suo interno, una paletta di funzioni già pronte come il rilevamento di movimento da webcam, diversi processori sonori, sistemi per gestire le interfacce multitocco e altro ancora, compresa una nutritissima libreria che mette a disposizione degli esempi pratici per ognuno dei “blocchetti” a disposizione.
Nel menu di aiuto la voce "snippets", invece, porta ad una vera e propria libreria di esempi di applicazioni pratica degli operatori, così da poter copiare e incollare molti moduli da adattare alla proprie esigenze.
Anche su Facebook sono presenti numerosi gruppi in cui si fa letteralmente a gara ad aiutare chi abbia bisogno di assistenza, sia che si tratti di un principiante che di un super esperto.

E' importante sottolineare la versatilità di TouchDesigner, specialmente per quanto riguarda l'interfacciamento con periferiche esterne. Oltre a gestire i normali monitor per computer (quasi senza limite di numero) e, ovviamente, proiettori di qualsiasi tipo, comprende dei moduli di interfacciamento appositi per il collegamento con moltissimi dispositivi multimediali, come WebCam, schede di acquisizione e periferiche di controllo. Ma la lista si estende a tutto ciò che ha a che fare con il multmediale.

E' il caso, ad esempio, degli impianti luce DMX (lo standard per il controllo degli impianti di illuminazione da palco), delle periferiche MIDI, siano strumenti musicali (sintetizzatori, batterie elettroniche, expander, effetti, sequencer e altro ancora) che surface controller e laser da palcoscenico.
Sono previsti anche collegamenti diretti con i dispositivi di rilevamento di movimento come il Kinect di Microsoft (capace di analizzare i movimenti del corpo e le espressioni del viso di 6 persone contemporaneamente), il Leapmotion (capace di rilevare il movimento e la posizione di mani e singole dita) o il Realsense (la telecamera 3D di Intel).


Video mapping realizzato sulla Moschea di Abu Dhabi con TouchDesigner
(per gentile concessione di Obscura Digital)

Non appena sul mercato appare un nuovo dispositivo, ecco che i programmatori della Derivative, nel giro davvero di pochi giorni, aggiornano TouchDesigner per sfruttare al meglio ogni nuovo dispositivo; un esempio su tutti il recentissimo HTC Vive.
Interfacce di comunicazione secondo gli standard USB, seriale, ethernet, OSC, SP, ArtNet, Spout ed altro ancora garantiscono la comunicazione con programmi di terze parti (ad esempio Resolume, Cinema4D, vvvv eccetera) che girano sullo stesso computer, con sistemi remoti e con siti e applicazioni internet, fino ad arrivare a comandare sistemi Arduino, Raspberry o Maestro e comandare interruttori, relè, motori e servi elettromeccanici.

Grazie a questa amplissimo spettro di interfacciamento sono davvero numerose le figure professionali che utilizzano TouchDesigner nei campi più disparati e in ogni parte del mondo. Di seguito ecco alcuni esempi che dimostrano solo alcune delle applicazioni di TouchDesigner, sia su scala domestica che decisamente più grande e che rappresentano solo alcuni degli sbocchi professionali, artistici e hobbystici di questo software.

Partendo dall'Italia ecco il videoartista Andrew Quiin che, in collaborazione con Mattia Diomedi di Laser entertainment Milano, ha realizzato una installazione permanente nella piscina della SPA dell'Hotel Pashmina, Val Thorens. Si tratta di un uso per niente scontato del video mapping, ma l'effetto ottenuto grazie alla proiezione di immagini sintetiche, generate in tempo reale attraverso l'analisi dei movimenti dell'acqua e delle persone, è quasi "magico" e rende ancora più piacevole l'ambiente relax dell'hotel.

http://andrewquinn.org/

http://www.laserentertainment.com/

Un altro suggestivo esempio di cosa si possa ottenere unendo la tecnica di TouchDesigner alla creatività: "Immersioni" è l'installazione realizzata da Ultravioletto per la 73ima Mostra del cinema a Venezia. Il tema dell'acqua, che caratterizza tutto l'allestimento, viene sviluppato attraverso una proiezione a 360° e l'interazione con un cilindro di plexiglass. Un'esperienza veramente "immersiva" che mostra in maniera molto originale ed efficace una collezione di fotografie che racconta la storia del Cinema.

http://www.ultraviolet.to/

Sempre italiano l'esempio di Michele Di Pasquale, interaction designer e sviluppatore di realtà virtuale che lavora nel campo ormai da molti anni e che, in collaborazione creata con l'art factory di danza "Leggere Strutture",ha realizzato uno spettacolo tenutosi a Bologna presso l'Arena del Sole. Touchdesigner, è stato utilizzato per analizzare il movimento di ben 15 ballerini diversi, attraverso l'utilizzo di una webcam e di accelerometri indossati dai danzatori. Questi dati, uniti a quelli relativi alle musiche, sono stati elaborati in tempo reale, trasmessi e integrati con le elaborazioni sonore di Vincenzo Scorza su piattaforma Max/Msp, a confermare l'apertura del software anche a prodotti esterni. Il risultato è la realizzazione di una scenografia dinamica, in grado di dare una nuova dimensione al movimento e all'espressione del ballo. L'integrazione, in questo caso, è stata sia artistica che tecnica, una fusione tra arti classiche e commistioni con il digitale che unisce competenze trasversali di artisti e tecnici di derivazione anche molto diverse.

http://it.linkedin.com/in/michele-pio-di-pasquale-43b5302

Passando agli utilizzatori esteri ecco "The Future of the Music", un video musicale realizzato dalla Phenomena Labs.
Gli autori hanno costruito un set interattivo nel quale gli attori hanno interagito con i suoni e le scenografie e il tutto è stato ripreso con una telecamera a 360°. Il software TouchDesigner è stato utilizzato per realizzare le interazoni e le elaborazioni video in tempo reale attraverso l'utilizzo degli Oculus Rift.

https://www.derivative.ca/Events/2016/FutureOfMusic/

Un altro esempio molto spettacolare è quello delle "Kinectic Lights" di Christopher Bauder, un sistema installato in una enorme sala che, oltre a offrire un sofisticato gioco di luci, utilizza il movimento delle barre luminose per creare degli emozionanti effetti visivi, il tutto sfruttando l'interfaccia DMX di TouchDesigner.

https://www.derivative.ca/Events/2015/KineticLights/

BlitzTag è un progetto di un gruppo tedesco che si chiama "Graffitti Research Lab". L’idea è tanto semplice quanto divertente: usare un proiettore e TouchDesigner per realizzare dei graffiti virtuali su qualsiasi superficie. Si può, insomma, giocare a disegnare o scrivere su un edificio qualsiasi come se si usasse uno spray, ma senza rovinare niente e senza correre il rischio di venire arrestati. Il tutto utilizzando i sistemi di analisi delle immagini di TouchDesigner che sono in grado di seguire il punto luminoso di una semplice torcia laser, come se fosse una penna.

http://www.graffitiresearchlab.de/blitztag/

Vincent Houzé ha invece realizzato un prototipo in scala praticamente domestica, usando una interfaccia Arduino e un motorino elettrico. Il motorino muove una scatola all'interno della quale sono proiettati degli oggetti virtuali che si rotolano e cadono in base ai movimenti del motore, come se fossero reali.

https://www.derivative.ca/Events/2015/VincentHouze/

Shuhei Matsuyama è un poliedrico artista giapponese che utilizza TouchDesigner per installazioni di vario genere, sia artistiche che commerciali. L'esempio qui riportato dimostra come si possa utilizzare il Kinect Microsoft per pilotare, attraverso dei semplici movimenti, la visualizzazione di oggetti 3D:
La galleria di Shuhei comprende numerose altri applicazioni molto interessanti:

http://www.shuhei-matsuyama.com/

Obscura Digital, un importante studio creativo con sede a San Francisco, ha allestito un imponente videomapping presso la Grande Moschea Sheikh Zayed ad Abu Dhabi, sfruttando, come base operativa, TouchDesigner e una vera e propria "batteria" di proiettori. Il risultato lascia letteralmente senza parole:

http://obscuradigital.com

Per smentire coloro i quali pensano che un mondo meccanizzato e robotizzato possa significare la fine di ogni spunto artistico ecco lo spettacolare lavoro chiamato "Box" della Bot & Dolly. Due bracci meccanici sorreggono e muovono due semplici pannelli bianchi e, grazie all'estro degli artisti/tecnici e al software TouchDesigner, vengono realizzate, in tempo reale, delle immagini di sintesi, proiettate in perfetta sincronia con i movimenti e le riprese. Un'esibizione che ha davvero qualcosa di "magico".

http://www.derivative.ca/events/2013/BotnDollyBox/

Gli esempi sarebbero infiniti e non basterebbero comunque ad esaurire i raggio delle potenzialità di touchDesigner. Il nostro consiglio è quello di scaricarlo, installarlo sul proprio computer e cominciare a "giocarci", siamo sicuri che riuscirà a liberare il vostro estro creativo.
Di seguito riportiamo due esempi molto semplici realizzati dalla nostra redazione e i riferimenti per recuperare i file di installazione e i link ad alcune risorse e tutorial.


Esempio 1: figure geometriche a ritmo con la musica


Esempio 2: oggetti 3D e textures

Link di riferimento:
Sito ufficiale: Derivative
http://www.derivative.ca


Galleria di lavori realizzati con TouchDesigner
https://www.derivative.ca/Blog/

Pagina Download
https://www.derivative.ca/088/Downloads/

Guida Online
https://www.derivative.ca/wiki088/index.php?title=Main_Page

Forum
http://www.derivative.ca/Forum/

I tutorial di Matthew Ragan
Video guide per principianti e non solo
https://matthewragan.com/teaching-resources/touchdesigner/

Gruppo d'aiuto su Facebook
https://www.facebook.com/groups/touchdesignerhelp/

Applicazioni scaricabili
Alcuni programmatori molto altruisti hanno reso pubbliche diverse utilissime applicazioni realizzate su TouchDesigner, che chiunque può utilizzare gratuitamente.
Riportiamo di seguito due fra quelle che riteniamo senz'altro più significative:

Kantan Mapper
TouchDesigner è uno strumento adattissimo al video mapping, ma se non avete ne voglia ne tempo di programmarlo ad hoc, potete usare l'applicativo KantanMapper, scaricabile gratuitamente.
Una volta lanciato su TouchDesigner, e dopo aver collegato un proiettore al vostro computer, KantanMapper vi permetterà di ritagliare le aree della vostra proiezione e di inserire all'interno di ognuna di esse il contenuto che preferite: un video, una foto o il risultato di una o più elaborazioni di TouchDesigner stesso.
Eseguire i ritagli è facilissimo: Kantan Mapper proietta direttamente sugli oggetti verso cui è puntato il priettore il cursore e, muovendolo attraverso il mouse, si definiscono i vertici di ogni figura, basta poi trascinarci dentro il contenuto perchè questo venga automaticamente ritagliato e proiettato. Bastano davvero pochi minuti per realizzare un videomapping e con un po' di fantasia, sfruttando anche degli oggetti molto banali, si possono creare delle situazioni davvero simpatiche, come dimostra questo esempio che abbiamo realizzato , davvero in pochi minuti, qualche tempo fa per recensire un proiettore Epson:


Kantan Mapper è scaricabile da questo link:
http://www.derivative.ca/wiki088/index.php?title=Kantan_Mapper

UQaMixer
UQaMixer è un componente costruito interamente in TouchDesigner per la generazione e l'elaborazione di effetti grafici, un po' sullo stile di programmi come Resolume, uno dei più utilizzati dagli artisti visuali e dai VJ.
Il principio di funzionamento, del tutto simile a quello di molti prodotti del genere, prevede l'impostazione di due canali video A e B che possono essere miscelati o selezionati singolarmente per essere diretti verso l'uscita monitor o proiettori che siano, anche multipli. Il sistema è lo stesso usato dai DJ: due piatti sui quali si alternano i dischi, scegliendo di volta in volta quale dei due mandare agli altoparlanti.
Su ogni canale video, quindi si può selezionare la sorgente e applicare tantissimi effetti grafici, molti dei quali si animano e si colorano seguendo i comandi dell'operatore o il ritmo e l'intensità della musica.
Il riferimento è questo:
http://www.derivative.ca/wiki088/index.php?title=UQaMixer