StageCraft: alla scoperta del "Volume", la tecnologia rivoluzionaria di The Mandalorian | Behind Hollywood
Scopriamo cos'è StageCraft o anche il "Volume", la tecnologia rivoluzionaria di The Mandalorian, la serie pluripremiata di Star Wars
Sin dagli albori, la saga di Guerre Stellari è sempre stata all’avanguardia. Quello che George Lucas ha creato nel 1977, con una squadra di tutto rispetto al seguito, ha inevitabilmente segnato la storia del cinema ed è senza dubbio affascinante constatare che, più di 40 anni dopo, Star Wars ha ancora qualcosa da insegnare.
Tutto è cambiato con The Mandalorian, che con un sapiente uso delle ultime tecnologie, una squadra di cineasti affiatata e una dimora su Disney+ ha aperto il vaso di Pandora.
Cos’è?
In poche parole, il Volume è una tecnologia che prevede l’utilizzo di un teatro di posa circondato da giganteschi schermi LED ad altissima definizione (4K). Su questi schermi vengono proiettate in tempo reale le ambientazioni e gli sfondi della scena da girare.
Uno dei vantaggi di questo nuovo modus operandi è che i set da allestire risultano quindi molto ridotti e allo stesso tempo l’illuminazione estremamente realistica perché controllata attraverso gli stessi pannelli LED ed è più semplice da gestire: si possono cambiare le angolazioni di ripresa senza dover reimpostare continuamente le luci. La fusione completa tra sfondi e set viene poi gestita in post-produzione, ma al contrario del girare davanti a un gigantesco green screen questa tecnologia rende tutto molto più controllabile e semplifica il lavoro anche degli attori. I fondali LED sono come dei giganteschi matte painting interattivi, ed essendo collegati alla cinepresa cambiano prospettiva a seconda dei movimenti di macchina.
Insomma, si tratta di un modo estremamente innovativo di ottenere qualità cinematografica pur mantenendo i budget sotto controllo accorciando i tempi e semplificando la gestione delle ambientazioni.
"Volume" è il termine che indica lo spazio su cui viene ospitato un attore impegnato in una performance in motion capture. Per estensione indica anche tutta la superficie coperta dalla tecnologia StageCraft.
Com’è nata?
Un prototipo di Volume era già stato impiegato per Rogue One: A Star Wars Story oltre che in film che hanno fatto un po' da precursori come Oblivion. Sul set del film di Gareth Edwards attorno alle astronavi erano stati posizionati degli sfondi per riflettere la luce sui volti degli attori e degli oggetti di scena (come le navicelle stesse). Gli sfondi non avevano però una risoluzione adeguata, perciò dovevano essere sostituiti da materiale di definizione maggiore in post-produzione. Il vantaggio sul set era rappresentato dal fatto che si trattava semplicemente di una versione a bassa risoluzione e più o meno precisa di quello che sarebbe finito nel montaggio finale. Si trattava, in sintesi, di un Volume in fase ancora embrionale ma ancora lontano dal raggiungimento del suo massimo potenziale.
Quello che mancava era l’interazione in tempo reale con un ambiente virtuale ricreato continuamente grazie a un motore grafico, ovvero quello che Volume ha finito per essere.
La produzione di The Mandalorian si è trovata pertanto davanti a una scelta: proseguire sulla scia di Rogue One, investendo sulla tecnologia, o usare la tipica strada già battuta. È anche vero che girare una serie tv di Star Wars può rivelarsi molto costoso: un approccio “pratico” come quello della nuova trilogia sarebbe stato tanto dispendioso visto che parliamo di un prodotto seriale.
Ecco allora che il Volume ha rappresentato la soluzione migliore: più di tempo trascorso in pre-produzione, risparmio in post su tutti i fronti.
Favreau aveva appena finito Il libro della giungla ed era pronto a cominciare Il re leone della Disney quando fu avvicinato dal supervisore di effetti visivi Richard Bluff e dal direttore creativo capo della ILM Rob Bredow che gli mostrarono una serie di test a partire dalla tecnologia LED impiegata per Rogue One.
Favreau ha poi spiegato che la tecnologia usata per The Mandalorian non sarebbe stata possibile senza il lavoro svolto con gli adattamenti realizzati per la casa di Topolino. Il libro della giungla rappresentò un timido passo verso Volume visto che per l'occasione la produzione decise di ridurre i set all'osso e di usare soltanto l'interpretazione del piccolo Mogwli.
Favreau optò per degli schermi LED per creare sul giovane Neel Sethi la giusta dose di luce interattiva. È davvero difficile, infatti, aggiungere luci e ombre digitali su un oggetto in post-produzione con risultati soddisfacenti e naturali. Tutto ciò che accadeva sui LED aveva un effetto diretto sul volto e sul corpo di Mowgli e ciò rappresentava una gatta da pelare in meno per gli artisti di effetti visivi. Lì dove gli schermi LED non erano utilizzabili, sul set venivano posti oggetti al solo di scopo di creare la giusta luce interattiva. Un esempio? Del fogliame come si vede nella foto qui in alto.
[caption id="attachment_446558" align="alignnone" width="1400"]
Un esempio di quando sul set non c'è la luce interattiva giusta. Il risultato è posticcio e ovviamente innaturale.[/caption]
Il vero problema del Libro della giungla era rappresentato dal blue screen, che era molto limitante. Ogni volta che Favreau voleva cambiare inquadratura perché si rendeva conto della poca efficacia di un'angolazione, la squadra sul set doveva riposizionare tutto e ciò richiedeva un mucchio di tempo.
Con Il re leone si fecero grossi passi in avanti visto che in aiuto del regista intervenne la realtà virtuale. I set e le creature erano completamente digitali, perciò una volta abbandonati gli essere umani, Favreau potè scegliere inquadrature, angolazioni e sequenze indossando semplicemente un visore. Un risparmio non indifferente.
Questa è la via
Quello del Mandaloriano era un caso ancora più esigente. Quando un personaggio indossa un casco così riflettente i blue screen e i green screen possono rivelarsi un vero incubo e pertanto motivo di dispendio di tempo e denaro. Gli artisti degli effetti visivi sono obbligati infatti a due fasi di lavoro: la prima consiste nella rimozione di tutti i riflessi "colorati" sulle superfici riflettenti; la seconda nella creazione di riflessi ad hoc.
Questo senza contare che, per quanto gli attori possano essere bravi a recitare, trovarsi perennemente circondati da schermi verdi può essere limitante e anche stressante (ricordate il crollo emotivo di Ian McKellen sul set dello Hobbit?).
C'era anche un altro ostacolo, come sottolineato dal direttore della fotografia Greig Fraser (che ha lavorato solo ad alcuni episodi passando il testimone ad altri DOP per dedicarsi a Dune):
Uno dei grossi problemi legati alle riprese su blue e green screen è la luce. Spesso ti capita di girare elementi reali prima che gli sfondi vengano creati, perciò puoi solo immaginare come deve comportarsi la luce e sperare che quello che fai sul set corrisponda a quello che verrà creato in post. Se il regista cambia gli sfondi in post-produzione, la luce non corrisponderà e l’inquadratura risulterà falsa.
Sul set di Mandalorian il problema fu risolto perché gli sfondi erano davanti agli occhi di tutti.
"Quando devi fare i conti con un soggetto riflettente come Mando, il mondo al di fuori dell’inquadratura è spesso più importante di quello del campo visivo della cinepresa" ha spiegato Fraser. "Quello che c’è dietro la macchina è riflesso sul casco e sul costume dell’attore e si tratta di un aspetto cruciale per vendere l’illusione che si trovi in quell’ambiente. Anche quando in un'ambientazione particolare giravamo verso una sola direzione, il reparto artistico virtuale costruiva un set a 360 gradi in modo da ottenere la luce e i riflessi giusti. Lo stesso valeva per i set che venivano costruiti in teatro di posa - dovevamo costruire anche le aree non inquadrate perché se ne sarebbe visto il riflesso sul costume. Nel Volume è il mondo esterno alla cinepresa a definire la luce".
La luce del Volume riduce anche l’esigenza di luci tradizionali visto che quella emessa dagli schermi LED diventa la fonte di illuminazione principale. C’erano, tuttavia, dei limiti. Le luci LED non sono in grado di riprodurre l’intensità e la qualità della luce naturale diretta:
Il sole sullo schermo LED ha un aspetto perfetto perché è stato ripreso direttamente, ma non ha lo stesso effetto sui soggetti, che finiscono per sembrare in uno studio fotografico. Va bene per i primi piani, ma non proprio per i campi lunghi. Per i momenti con luce naturale diretta ci siamo spostati sul backlot il più possibile.
Con “backlot” Fraser si riferiva a un campo aperto nei pressi degli studi di Manhattan Beach, che ospitavano alcuni dei set.
Come funziona?
Nel caso della retroproiezione tradizionale, la cinepresa deve restare ferma o seguire un percorso prestabilito per assecondare lo stesso movimento dell’immagine proiettata sullo sfondo (pensate un po’ a come si giravano un tempo le scene in auto con i fondali in movimento). Il centro della cinepresa deve essere pertanto perfettamente allineato con il centro del sistema di proiezione per fare in modo di far quadrare la prospettiva e l'effetto parallasse (il fenomeno per cui la posizione o la direzione di un oggetto sembra cambiare in base al punto di osservazione).
Con StageCraft la retroproiezione ha raggiunto livelli inauditi: per la prima volta in assoluto è stato possibile spostare liberamente la cinepresa in un dato spazio senza alcun tipo di limite. Il funzionamento è stato semplice: i movimenti dei fondali sono stati fissati con la tecnica del motion tracking ai movimenti della macchina da presa. Gli sfondi ottenevano così i parametri posizionali direttamente dalla cinepresa così da ricreare la prospettiva e l’effetto parallasse ad ogni millimetrico movimento di macchina.
Per farlo è stato necessario sfruttare un potentissimo motore grafico per videogiochi - l’Unreal Engine di Epic Games in questo caso - in modo tale da generare immagini 3D in parallasse in tempo reale. Il Volume agisce esattamente come un videogioco in cui la visuale del giocatore viene calcolata e ricalcolata nel giro di millisecondi, in tempo reale.
All'inizio le ambientazioni sul LED erano modellate dagli artisti degli effetti visivi con il software Maya sulla base di indicazioni dello scenografo Andrew Jones e del consulente Doug Chiang. Per quanto Unreal Engine fosse portentoso, il rendering di poligoni virtuali sul momento non produceva i risultati sperati. Per farla breve, i set generati al computer non erano abbastanza fotorealistici da essere usati come sfondi definitivi.
La tecnica migliore è stata allora creare i set virtuali e poi incorporare fotografie di oggetti reali (con migliaia e migliaia di scansioni fotografiche), texture e ambientazioni applicandole agli oggetti virtuali in 3D. Questa tecnica è solitamente nota come fotogrammetria. Non si tratta di una tecnica appositamente sviluppata per la serie (visto che è da tempo impiegata nel rilevamento topografico di un territorio), ma il suo impiego è stata una mossa vincente.
Ogni fase della ripresa fotografica (in Islanda e nello Utah) - fotogrammetria e scansione - doveva essere fatta in vari momenti della giornata in modo da cogliere tutte le sfumature di un’ambientazione. Le cineprese utilizzate? La Canon EOS 5D MKIV e la EOS 5DS con obiettivo a lunghezza focale fissa.
Tutte le informazioni venivano mappate su set virtuali in 3D e poi modificate o abbellite in base alle varie esigenze estetiche.
Un esempio
La terza inquadratura del primo episodio della prima stagione è un perfetto esempio dell’estrema efficacia della tecnologia. La sequenza ha inizio con un momento in cui Mando legge un sensore sul pianeta di ghiaccio Maldo Kreis e poi si dirige verso l’orizzonte seguendo un percorso che lo conduce verso una serie di strutture. Mentre cammina, la cinepresa si alza.
Tutto questo è stato catturato nel Volume, in tempo reale e davanti alla macchina da presa. Una parte del sentiero è stata costruita fisicamente, mentre tutto ciò che in altri contesti sarebbe stata un’estensione digitale, qui era un’estensione fisica.
Il risultato è stupefacente:
Un po’ di dati
Il Volume consiste in un LED curvo di circa 6 x 50 metri composto da 1326 schermi LED che creano in totale uno sfondo semicircolare di 270 gradi sormontato a sua volta da un soffitto LED. Lo spazio dedicato alla performance ha così un diametro di circa 22 metri.
Ci vogliono 11 computer per disporre tutte le immagini necessarie sugli schermi. Tre processori sono dedicati al rendering in tempo reale, mentre quattro server forniscono tre immagini in 4K una accanto all’altra per coprire tutta l’estensione della parete e una in 4K per il soffitto. In tutto si tratta di immagini di 12.288 x 2.160 pixel (pareti) e 4.096 x 2.160 pixel (soffitto)
Con estensioni simili non è possibile coprire i 270° interamente con immagini fotorealistiche ad alta risoluzione in tempo reale. Il compromesso è allora collegare la cinepresa al sistema in modo tale che venga processato in alta risoluzione solo il campo visivo dell'obiettivo, mentre il resto dello schermo propone immagini a risoluzione inferiore ma comunque perfettamente adatte alla generazione del riflesso e della luce sugli attori.
The Mandalorian è stato girato con una Arri’s Alexa LF e ha rappresentato il viaggio inaugurale delle nuove lenti anamorfiche della Panavision Ultra Vista 1.65x. Come spiegato da Fraser:
Abbiamo scelto la LF per un paio di motivi. Star Wars ha una storia molto lunga di riprese anamorfiche e pertanto l’aspect ratio è fondamentale. Abbiamo fatto alcuni test con lenti sferiche e un crop di 2.40, ma non ci piaceva. Sembrava troppo contemporaneo, non come lo Star Wars con cui siamo cresciuti. E poi, il sensore più grande della LF cambia la lunghezza focale della lente che usiamo e riduce in generale la profondità di campo. Il T2.3 delle Ultra Vistas si avvicina molto al T0.8 della Super 35, perciò con meno profondità di campo è stato più semplice mettere lo schermo LED fuori fuoco più velocemente, cosa che ha evitato i problemi di effetto moiré. In questo modo l’occhio non si rende conto del fatto che gli edifici a 300 metri di distanza sono in realtà proiettati su uno schermo a 6 metri dall’attore.
Addio green screen? Non proprio
Il Volume sembra la perfetta evoluzione del green screen, a sua volta evoluzione dei vecchi fondali dipinti. Questo, tuttavia, non vuole dire che sia stato soppiantato in toto. A volte il green screen era necessario per situazioni in cui i movimenti di macchina erano fin troppo complessi o quando gli sfondi finivano per essere non proprio definitivi.
A volte la produzione ricorreva addirittura a del green screen proiettato su LED. La differenza rispetto a quello tipico? Poteva essere di qualunque grandezza e di qualunque sfumatura di verde. Questo senza contare il costo zero e i tempi di installazione praticamente nulli. La grandezza, poi, poteva essere impostata per coprire giusto il soggetto davanti alla macchina da presa: questo riduceva i riflessi verdi sul volto dei personaggi che come abbiamo visto sono davvero fastidiosi da rimuovere in post-produzione.
Naturalmente il green screen può essere posizionato solo sui pannelli LED, perciò nel caso dovesse servire sul pavimento la produzione doveva ricorrere a un pannello fisico.
Inversione
No, non ci riferiamo a una parte della trama di Tenet, ma al flusso di lavoro di The Mandalorian. A differenza della lavorazione tipica dove gli elementi virtuali e digitali vengono sviluppati e ultimati in post-produzione, nel caso di The Mandalorian tutti gli elementi andavano ultimati necessariamente prima ancora dell’inizio delle riprese.
Una volta che il direttore della fotografia approvava ambientazioni e luci nel reparto artistico virtuale, le immagini venivano mandate alla Industrial Light & Magic. Molte delle decisioni sulle riprese, sulle angolazioni e sulle luci erano così già definitive prima dell’arrivo sul set. Per arrivare a questo punto serviva un elevato grado di collaborazione tra regista, direttore della fotografia, scenografo e supervisore degli effetti visivi. Questo ha significato un coinvolgimento maggiore del direttore della fotografia:
Oggi il flusso di lavoro di una produzione prevede che il direttore della fotografia inizi a lavorare al film in pre-produzione, giri il film e poi ritorni a lavorarci una volta che inizia il processo di grading, perciò gran parte del lavoro sull’immagine in post-produzione fa a meno della nostra presenza. La produzione invertita di The Mandalorian tiene coinvolto il direttore dallo sviluppo dell’immagine alla sua versione finale, che spesso risulta essere definitiva già sul set.
[...] I direttori della fotografia lavorano sull’immagine ogni giorno, 12 ore al giorno. Sappiamo bene come osservare un’immagine e sappiamo subito riconoscere se ha un aspetto bello o brutto. Gli artisti di effetti visivi hanno abilità eccellenti, ma non hanno sempre quell’esperienza fotografica per capire ciò che è giusto o sbagliato e così ci ritroviamo spesso nella situazione per cui ciò che progettiamo e giriamo non viene preservato in post-produzione. Con questo flusso di lavoro supervisioniamo ogni elemento delle riprese e abbiamo un rapporto molto più intimo con gli effetti visivi per assicurarci che tutto fili liscio e che assecondi il lavoro fatto da noi e dal regista sul set.
È solo l’inizio
In un’intervista con ACE Universe un paio di mesi fa, Ewan McGregor ha confermato che anche la serie Disney+ di Obi-Wan Kenobi che lo vedrà come protagonista utilizzerà la tecnologia inaugurata in The Mandalorian:
Penso che me la godrò molto di più. Sul set dei prequel [di Star Wars] dovevamo girare tutto su blue screen e green screen, era difficile immaginare cosa ci circondava. Oggi come oggi le cose sono migliorate tantissimo e credo che molto di quello che vedrete sarà esattamente come lo avremo visto sul set. Non so se avete visto la docuserie dietro le quinte di The Mandalorian, ma impiegano quegli incredibili schermi… è veramente incredibile. Ti fanno immergere completamente nell’ambientazione, sembrerà tutto molto più reale per noi attori. E penso che utilizzeremo un po’ di quella tecnologia anche nella nostra serie.
La cosa ha perfettamente senso: il “Volume” si è dimostrato estremamente versatile e ha permesso di ottimizzare i costi di produzione dell’ambiziosa serie di Jon Favreau. E non è tutto: la previsione di Fraser è che la tecnologia finisca per prendere piede. Sebbene già altri film in passato (chi più, chi meno) abbiano sfruttato tecnologie molto vicine (da Oblivion a Rogue One, passando per Solo: a Star Wars Story), StageCraft è la sintesi perfetta di tutte le più recenti scoperte:
Vedo un mondo in cui quasi tutti i film fanno uso di questa tecnologia in ogni tipo di forma. Dal blockbuster di 250 milioni di dollari al film indipendente da 2 milioni che magari noleggerà un teatro di posa come se fosse un'ambientazione in esterni. Quando la tecnologia prenderà piede e verrà adottata ampiamente, quando la gente si renderà conto di quello che può fare, so che verrà usata tantissimo.
Le parole del direttore della fotografia risalgono a molti mesi fa, ma il caso vuol che la ILM abbia appena annunciato l'installazione di nuovi set StageCraft: oltre a quello ai Manhattan Beach Studios (MBS) impiegato per The Mandalorian, lo studio ospiterà a partire dal prossimo anno un altro set permanente per accogliere clienti da tutta l'area di Los Angeles. Da febbraio sarà invece disponibile un set StageCraft ai Pinewood Studios di Londra, mentre è in fase di allestimento un quarto set Fox Studios Australia, giusto in tempo per le riprese di Thor: Love and Thunder di Taika Waititi, che aveva già avuto modo di familiarizzare con la tecnologia sul set di The Mandalorian.
I nuovi set saranno migliori. Fisicamente si tratterà di pannelli LED più ampi, con una risoluzione maggiore e con una transizione più fluida tra il soffitto e le pareti. Ciò comporterà un'illuminazione ancora migliore sul set e a un risultato ancora più vicino all'aspetto finale.
Ed è solo l'inizio.
