Wat ik een beetje leerde bij Elf...
iets meer bij Zathura en veel meer bij Iron Man...
was dat als ik dingen goed kon filmen, de CG er beter uit zou zien.
Het waandenkbeeld bestond, en volgens mij hebben sommigen dat nog...
dat later alles nog kon.
'Dat lossen we op in postproductie' of 'dat verwijderen we nog'...
'dat lossen we op in de DI'. Je kunt heel veel doen, maar niet alles.
Zoals interactief licht en dingen die je later niet effectief kunt nabootsen.
Dat associëren mensen met effects...
die er niet goed uitzien in oudere films.
Als je na afloop een schaduw creëert bij iets wat echt is...
ziet dat er nooit goed uit. Of interactief licht bij mensen.
Bij Jungle Book zeiden we: Wat kunnen we hier doen?
Laten we onze sets digitaal maken, een complete jungle...
maar met videopanelen om interactief licht te creëren.
Dus als er olifanten passeerden, vielen er schaduwen op het kind.
Maar op de set zag je alleen veel blauw en een klein stukje set...
waar hij op liep, met begroeiing.
En als iets 'n schaduw op hem wierp, voegden we dat toe.
Dat had heel snel moeten gaan.
Het was geloofwaardig omdat het interactieve licht geweldig was...
net als de planning en de uitvoering.
Maar het duurde een eeuwigheid...
omdat dat bluescreen... Als je op de set zei:
Zo zag het eruit in pre-vis...
maar hij ziet er beter uit als we de camera optillen en op hem neerkijken.
Dan moest je het bluescreen verplaatsen.
Het duurde twee keer zo lang.
Dus ik dacht: wat is de beste set om te bouwen?
Dus dat alles... Dat zat in mijn achterhoofd.
Ik werd gevraagd om The Lion King te doen...
nadat Jungle Book een succes was geworden.
Dus pre-animeerden we de hele film.
En we creëerden net als bij Jungle Book de hele film virtueel.
Maar in dit geval met allerlei op de consument gerichte VR-apparaten.
Jon? - Ja.
Ik stel voor om iets hoger te beginnen en dan te zakken.
Drie, twee, een, actie.
Heel goed.
Ja, ik zat 'm op zijn hielen.
We hadden de motion builder dus niet nodig...
noch de dure motion capture-spullen die alleen voor film ontwikkeld zijn.
We gebruikten nu game engine-technologie.
Mensen gingen nu camera's bedienen in VR...
zonder vertraging, ze keken naar het echte werk.
En we waren nu op een plek waar ik...
een serie maakte voor Disney+, namelijk The Mandalorian.
We hadden een heel team en heel ILM.
Ik had eerder met ILM gewerkt en ik kende veel mensen daar.
Het gevoel leefde: laten we kijken welke innovaties we kunnen bedenken.
Ook wat betreft de videowanden die we gebruikten.
Die waren nu groter, met kleinere pixels en ze waren minder duur.
Daardoor dacht ik:
Hoe kun je profiteren van al deze technologische innovaties?
Wat hebben we geleerd van Lion King en Jungle Book?
Hoe passen we dat toe bij The Mandalorian?
Ik was er al vroeg bij betrokken en we kregen storyboards...
van hoe de serie eruit ging zien. Althans de eerste aflevering.
De informatie die ik toen had...
was dat Jon wilde voortborduren op de technologie van The Lion King.
Op dat moment...
Wie is die Jon? Hij klinkt fascinerend.
En volstrekt onrealistisch.
Ik werd gevraagd te komen kijken.
Dat je een filmcrew in VR zag filmen, was natuurlijk een grote eyeopener.
Uitzoeken wat jij deed bij The Lion King...
en hoe we die omgevingsproblemen moesten oplossen...
in een Star Wars-serie van acht afleveringen...
Mijn eerste art-departmentvergadering woonde ik op afstand bij.
Volgens mij was Doug Chiang er, natuurlijk met Andrew Jones...
en ik keek op afstand toe vanuit San Francisco.
En Andrew refereerde volgens mij aan 'het achterterrein'.
Volgens mij wilde je toen de boel op tafel leggen en zeggen:
Ik wil duidelijk zijn over wat ik met deze serie wil.
We kwamen samen in een kamer.
Jij, Kathy, ik, jij was daar...
met Rob Bredow en veel mensen van ILM.
We haalden er ook Kim Libreri bij.
Hij werkte eerst bij ILM en zit nu bij Epic en Unreal.
En er waren anderen... En Magnopus...
met wie ik aan Jungle Book en The Lion King gewerkt had.
We hadden een soort denktank om te zien of we dit konden laten slagen.
TECHNOLOGIE
The Mandalorian is de eerste productie ooit die realtime rendering gebruikt.
Met camera's in videowanden, set extensions en effects.
Wederom lag noodzaak aan de oorsprong van inventies...
want we probeerden te bedenken hoe we de productie konden doen...
hier, binnen de planning en binnen budget...
maar met de kwaliteit die we gewend zijn.
Weet je, Jon, een van de dingen waar ik aan moet denken...
Het fascineert me om terug te denken aan zoiets als Indian in the Cupboard...
waarbij we veel Translite gebruikten. En bluescreens, maar vooral Translite.
Ik vraag me af...
of deze evolutie van screens heeft bijgedragen...
om te informeren wat The Mandalorian... - Terug naar King Kong.
Toen hadden we front-screenprojectie, hè? In 1933.
Dan zie je Fay Wray in een kleine... En dan komt alle stop motion.
Dat werd geprojecteerd in-camera? - Op een klein scherm in de set.
De volgende grote doorbraak...
Die techniek werd gebruikt, en toen gebruikte Kubrick...
veel mooie front-screenprojectie in 2001. Daar denk ik aan.
De scène Dawn of Man, ja.
Daarom heb je die schittering in die ogen van wat die grote kat ook was.
De luipaard. Ik dacht: wat is dat een cool effect.
Maar dat was alleen de voorkant.
Het is zo fel en ze hebben het reflecterende scherm.
Maar ik dacht altijd dat Dawn of Man in een echte omgeving was gefilmd.
Maar nee, het was binnen. Dat was precies wat wij deden.
Maar door de lichtsterktes...
Misschien kunnen jullie dat beter vertellen.
Waarom leek die scène van Kubrick zo'n doorbraak?
Het was met heel veel smaak gedaan.
Ze namen de tijd om de opstellingen goed te krijgen.
En ze werkten samen met de technologie.
Geen van de voorgronden is fel belicht...
want als je zonlicht probeerde te simuleren...
werkte dat niet met de projectieschermen vooraan.
Als ze het zonlicht hadden gedaan...
had het felle zonlicht gereflecteerd op het scherm...
en dan had je bij iedereen halo's gezien.
Dus ze plaatsten al het zonlicht op de achtergrond...
en het was alsof de voorgrond in de schaduw lag.
Dat is precies wat wij deden bij The Volume.
Een van de geweldigste dingen die ik nu mocht ervaren...
was werken in LED Volume.
Dat is in feite een grote ruimte vol tv-schermen...
met een plafond, die je de omgeving laten zien.
Je projecteert of je toont de omgeving op deze tv's.
Een omtrek van 23 meter met een plafond...
dat bestaat uit een LED-screen of duizenden LED-screens. LED-panelen.
Daar tonen we content op die we dan kunnen filmen...
zodat alles in-camera was.
Het fijne aan werken in The Volume...
is dat je niet in een greenscreen-omgeving werkte.
We probeerden alles in-camera te filmen.
De sets die je ziet zijn foto's...
van locaties die digitaal gecreëerd en geometrisch samengevoegd zijn.
Heel fotorealistische geometrie.
En met echte texturen van de foto's...
waardoor je denkt dat alles echt is.
Heel anders aan dit project was dat de content gevolgd werd door de camera.
De camera had dus positiegegevens.
Als de camera bewoog had je dus perspectief en parallax aanpassingen.
De content op de wanden veranderde dus met de camera mee.
PARALLAX - het effect waarbij de positie of richting van een object
lijkt te veranderen, bekeken vanuit andere posities.
We creëerden een echte wereld.
Het was alsof je filmde in een echte omgeving...
maar het was content.
Het is uitzonderlijk om een zonsopkomst te kunnen filmen die 10 à 12 uur duurt.
Om terwijl je filmt te kunnen zeggen:
Dit klopt niet helemaal, laten we wat opzij gaan.
Laten we dit wat veranderen.
Het is verbijsterend dat dat kan.
We begonnen met The Volume om genoeg design te hebben voor interactief licht.
Met een greenscreen dat het personage kon volgen...
of erachter kon staan, zodat ik geen screens hoefde te belichten.
We gingen beter naar game engine-technologie kijken...
en we gingen testen, en dat deden we hier...
toen we Lion King deden, met een gewone tv.
We plaatsten een tv met alle tracking-informatie...
die we gebruikten voor de VR in Lion King.
Toen we die terugkoppelden naar het scherm...
was die snel genoeg om rond te bewegen en...
We hadden een modelhoofd van een leeuw voor een bouwwerk...
Het zag er raar uit als je...
Aan de buitenkant was het vlekkerig en raar...
maar als je door de lens keek, was het perfect.
Daarmee was het concept bewezen.
Anderen hadden ook bedacht om zulke dingen te doen...
maar alleen bij een serie worden zoveel middelen vrijgemaakt.
En je hebt iemand nodig als Kathy Kennedy die meedenkt...
en de leiding had over ILM en ook over Lucasfilm.
En ik was gefrustreerd en zocht naar zo'n doorbraak...
met een visie hoe dat zou kunnen.
Met mensen om ons heen die er al over hadden nagedacht.
Wij hadden het er al over gehad. En George Lucas was er al mee bezig...
sinds de prequels met set-extensions op greenscreen.
Dus iedereen kwam met een andere invalshoek...
en iedereen kwam samen.
En we hadden filmmakers, en dat is echt zo...
die ervoor openstonden en niet gefrustreerd raakten door de beperkingen.
Die de mogelijkheden zagen.
We hadden het over The Volume en de technologie...
maar voor mij betekende het dat ik terug was op de set.
Ik was terug waar de situatie duidelijk is, wat je kent.
Ik liep op een set met mijn acteurs...
en we praatten en bewogen en ontdekten...
de wereld en de scènes alsof die gebouwd waren.
Die vrijheid was van onschatbare waarde...
maar dat kwam allemaal doordat...
je wist hoe het eruit kwam te zien en wat je doel was.
Dus op de set dacht je niet:
Mijn god, ik word beperkt door...
Creatief gezien voelde het alsof ik vrij was om te creëren.
En Jon, jij stimuleerde dat zelfs nog meer.
Dan zei ik: Zo deden we het in pre-vis en die kant ga ik op.
Dan zei jij: Cool, maar laten we het misschien iets anders doen.
En ik: Kan dat? We hebben net al dat geld uitgegeven aan...
En jij: We doen het gewoon.
Maar zo was iedereen voorbereid. - Ja, je wordt voorbereid...
Want je hebt het verhaal, maar ook de middelen.
Bijvoorbeeld in de aflevering in het ruimtestation...
om Volumes te creëren, gebaseerd op waar je actie wilde, was onbetaalbaar.
Maar wat Bill Burr zei deed er niet zoveel toe.
We konden het aanpassen en veranderen wat er gebeurde...
zolang we visual effects en het art department genoeg tijd gaven...
om het te bouwen zodat je erin kon spelen.
Dat is wat we leerden:
We moeten plannen wat we hebben, want The Volume was...
Voor mensen die er nooit geweest zijn:
Stel dat dit tafelblad het podium is...
en de randen bestaan uit videowanden en het plafond is een videowand.
Alles wat op de vloer staat...
of binnen de videowanden staat, moet er zijn.
Als daar vuil ligt, ligt hier vuil dat erbij past.
En als we er meubels voor hadden staan of vracht, was het er neergezet.
En zelfs de Razor Crest...
We hadden een Razor Crest die in The Volume paste...
of half en de helft zag je op het paneel.
En alles was gepland, zodat wat er op de vloer was...
doorliep in de wand.
En hoe je de camera ook bewoog...
alles op het podium was correct en alles op de achtergrond had parallax...
zoals in een game, omdat we het met een game engine in realtime renderden.
Als je een van mijn droïdes beschadigt, moet je dokken.
Hou ze uit de buurt van m'n schip.
O, ja? Lijkt je dat een goed idee?
Ik denk niet dat ik hier kan uitleggen...
wat er zo fundamenteel is aan een game engine.
Ik zal mijn versie geven en dan geeft Jon het juiste antwoord.
Het is realtime, dus wat iemand ziet die een game speelt...
wordt in milliseconden berekend.
Dus als jij rechts of links draait in een scène, of je omdraait...
in een omgeving die je nog nooit gezien hebt...
gebeurt dat in milliseconden, het is realtime.
Voor het publiek:
Het is alsof je in de Battle of Hoth bent, uit Empire Strikes Back...
maar de veldslag vindt rondom jou plaats...
want je hebt de veldslag gepland. - Zo werkt een game.
Maar nu plaatsen we camera's alsof het game-reality is...
en daar maken we een filmervaring van.
We beheersen het.
Soms liep je The Volume in en besefte je niet waar de screens waren.
Want je had al die gebouwde sets...
met al die mensen erin, en personages en zo.
Zelfs het menselijke oog werd misleid...
en je kon niet goed zien waar de materiële dingen eindigden...
en de LED-screens begonnen.
Het was dus zelfs geloofwaardig voor het menselijk oog.
De hangar was voor mij de grootste. Die zat in aflevering zes.
Je bent in de hangar, je kijkt naar de sterren...
en je voelt de constructie en apparatuur.
Het schip hoorde niet bij de afspraak.
De Crest is de enige reden dat jij hier weer mocht komen.
Na een tijdje dacht ik:
Ik ga proberen te raden wat echt is, want dat zie je niet...
omdat de dozen vooraan zo goed integreren...
Bizar. - Ongelooflijk.
We deden onze walkthroughs. Soms filmden we op het achterterrein.
Na afloop kwamen we naar The Volume om de volgende dag voor te bereiden.
Vaak hadden het art department en de set dec alles geregeld.
Het ziet er goed uit, de screens zijn wit.
Dus wij zetten de screens aan en plots verscheen de set daar.
We voerden ergens een gesprek over en in het screen zag je rook kringelen...
want er werd ergens gelast.
En iemand riep: Er is brand.
Wij hadden ook zoiets toen wij een toespraak hielden.
Die werd naar Disney-mensen gestuurd. - De Disney-conferentie.
Jij zat aan de andere kant.
We zaten in kleine regisseursstoelen in de hangar.
Wij zaten te praten en we zaten in The Volume.
En later hoorden we dat niemand zich realiseerde dat we daar zaten.
Zij dachten dat we in een enorme set zaten waar al het geld aan gespendeerd was.
Ja, wij waren tv. - Het zag er fantastisch uit.
De coole dingen. Ik vond deze coole dingen verbijsterend.
Dat Jawa-kamp in aflevering 2.
Gegroet.
Ze zaten allemaal, want zo deden ze dat in...
Waar was dat, in Marokko? - In Tunesië.
In Tunesië waren maar een paar treden gebouwd en al het andere was buiten beeld.
En dus bouwden we één tree en die verlengden we.
Een daarvan vond ik heel mooi en die deed het heel goed in jouw aflevering.
Bij de Ming-Na. Nee, Ming-Na. - De hangar?
In het klif en op de voorgrond. - Ja, en Jake.
Voor de Dune Sea. En hij is op de bike.
Je ziet alleen een silhouet.
Met de juiste balans tussen licht, donker en silhouet.
VOORDELEN
Er is een lange lijst van alle voordelen van het draaien in zo'n omgeving.
Eenvoudig gezegd is het een grote belichtingsdoos.
De belichting van het onderwerp is echt.
We hoeven ons niet te verbeelden...
hoe het eruit zou zien en dat dan na te bootsen.
Als je een onderwerp in die ruimte zet, wordt het belicht door LED Volume.
Al het omgevingslicht en de weerkaatsingen zijn beschikbaar.
En ons reflecterende personage heeft daar baat bij.
De helm van het hoofdpersonage is een soort grote spiegel.
De hele omgeving reflecteert in zijn helm.
Als je dat later moet toevoegen, is dat een heel gedoe.
Bij een greenscreen moet je al het groen uit de reflectie verwijderen.
En daarna moet je een andere reflectie over het oppervlak heen leggen.
Waar anderen bij greenscreens reflecties vermijden, omarmen wij die.
Veel DP's doen wat hun geleerd is met het licht vóór hen.
Als ze op een set staan met acteurs...
en een frame met een bluescreen dat niet vier keer overbelicht is...
belichten ze wat ze voor zich zien.
En als je dan dat vier keer overbelichte ding in je frame zet...
klopt dat niet altijd.
En die balans probeer je dan kunstmatig te reproduceren.
Met onze videowand zijn ze in staat om die belichting aan te passen.
Net als in een echte omgeving.
The Volume is de allermodernste manier om een film te maken.
Mooi is dat diverse afdelingen er op een traditionelere manier mee kunnen werken...
dan met een bluescreen waarbij een DP niet weet hoe de achtergrond eruitziet...
zodat ze met een belichting komen in de hoop dat die later past.
Nu zien ze het allemaal in-camera...
de acteur, de achtergrond, en kunnen ze de belichting aanpassen.
De acteur gaat op in het beeld.
Je kunt direct een overgang maken. Het zijn geen acteurs voor 'n bluescreen.
Elke afdeling, zelfs de set dec...
We hebben fysieke vormen voor de lens die samen moeten gaan.
Je kunt door de lens kijken en zeggen:
Ja, dit moet opgeknapt worden of dit moet aangepast worden.
En dat is precies zoals de afdelingen werken.
Het evenaart wat je op een echte locatie ziet.
En door deze technologie kun je de volgende dag de montagekamer in...
soms zelfs dezelfde dag, om de beelden te bekijken...
en iets te corrigeren wat je over het hoofd hebt gezien.
Je hoeft alleen maar de beeldschermen weer in te stellen.
Je stelt de belichting in en je kunt weer draaien.
Dat was een groot voordeel. We hadden veel shots onderverdeeld...
zodat ik de second unit voor de andere regisseurs kon draaien...
die een lijstje met shots hadden.
Ik nam dan Richard of een andere cameraman mee...
om heel snel die shots op te nemen.
We konden The Volume binnen een halfuur veranderen naar een compleet andere set.
En zonder grondopnames hoefden we hem niet te veranderen...
omdat je dan nog steeds diepte en parallax en de juiste reflectie had.
En al die tools zijn gerelateerd aan animatie.
Daar voelde ik me heel prettig bij omdat dit m'n eerste live-action was.
Al die driedimensionale objecten en de parallax en de mise-en-scène...
Het was logisch voor me. George had me geleerd hoe naar Clone Wars te kijken...
en naar animatie en virtuele mise-en-scène technieken.
Creatief gezien reageerden de acteurs hier het sterkst op.
IMMERSIE
Klaar en deur open.
Maar nu hebben we een ruimte waarin je dingen kunt zien.
Ik kan op mijn TIE-fighter klimmen en de horizon zien.
Het is interactief.
Ik voel nu hoe de zon opkomt.
Eerst had je niks, maar nu heb je een set met grind en modder en een ruimteschip.
Ik heb dus iets fysieks om naar te kijken en aan te raken.
Wat een verschil. Wat een hemelsbreed verschil.
Die lavatunnel was ongekend.
Dat was zo desoriënterend. Als acteur ben je gewend...
dat je doet alsof.
Maar hier keek je naar een muur en zag je letterlijk...
de muur bewegen alsof je op de boot staat.
Als je kijkt naar het eind van de tunnel, zie je die steeds groter worden.
De uitgang wordt steeds groter.
En achter je zie je de tunnelingang kleiner worden.
En de lava stroomt en het plafond beweegt.
We hadden een projector op jou gericht. Dat was een truc uit Jungle Book.
Daar moest ik heel erg aan wennen. - Nou en of.
Ik moest daar erg aan wennen. Ik dacht: ik hoop dat ik...
Het voelde alsof je voortbewoog.
Ik word soms wagenziek, dus ik dacht...
Ik wilde niet in de lava vallen.
Dat is fijn voor een acteur om te weten. - Ik ben heel kwetsbaar.
Hoe je je voelt in The Volume...
met iets om naar te kijken, in tegenstelling tot een greenscreen.
Veel mensen vragen: Wat vinden de acteurs hiervan?
Jullie kunnen daar vast wel iets over zeggen.
Ik moet zeggen dat het voor mij heel bevrijdend werkte.
Want zodra je het accepteerde, stond je er middenin.
Je hoefde niet meer te doen alsof.
Je kon nu, wat de context ook was, meteen aan de slag.
Je hoefde het niet in je hoofd te hebben.
En wij met z'n vieren in die boot, en we varen de stroom af...
Als vier mensen niet allemaal hetzelfde zien...
krijg je vier verschillende ideeën van wat er gebeurt.
Dus in die boot zijn we een echt team.
Je hoeft niks te verzinnen. Dit is wat er gebeurt.
Dus als iemand ergens aan refereert, kun je er meteen op inhaken.
En dat geldt voor iedereen.
Dat vond ik verbazingwekkend.
Ik moet vernietigd worden.
Het is heel ironisch dat George Lucas meer dan 20 jaar geleden...
zei, en ik hoor het hem nog zeggen:
Op een dag kunnen we dit soort films in onze garage maken.
En dan ziet het er net zo realistisch uit als heel verre reizen maken.
De eerste keer dat ik in The Volume kwam, dacht ik: mijn god, dit is Georges garage.
Toen George op de set kwam en naar de wand keek...
vertelde ik hem heel blij:
Wij zijn de eersten die dit doen. Men praat erover, maar niemand doet het.
Jij had geen videowand.
Hij zegt: geen videowand, maar de prequels hadden hetzelfde effect.
Hij vertelde dat hij zoiets heel graag had willen bouwen...
aan de voet van de heuvel bij de Ranch. Hij is er nooit aan toegekomen.
Dat is precies waarmee hij bezig was.
Hij liep iets vooruit op wat de technologie kon leveren.
Hij liep altijd tien jaar vooruit.
Eenmaal digitaal konden we, vooral met bluescreen...
de scènes draaien, in bluescreen...
en het later allemaal toevoegen.
Nu kun je het op de set doen. Dat is nog beter.
We laten hem een beetje naar voor en achter glijden. Naar links.
Cool is dat andere filmmakers zich er nu ook aan gaan wagen.
Als je ziet dat iemand het kan, is het makkelijker om te evenaren.
Deze technologie is gewoon beschikbaar.
Er zit geen eigendomsrecht op.
Het is allemaal spul dat je... Het is game engine-technologie.
Het zijn videoschermen, positionele cameradata.
Alleen is dat allemaal gecombineerd op een niet eerder vertoonde manier.
Je moet weten hoe je het moet doen.
Wat ook leuk is, is dat ons AD-team, onze regisseurs...
voor de eerste keer met die technologie aan het experimenteren waren.
Al die jonge regisseurs kunnen nu aan de slag.
Ze weten hoe het moet en dus kunnen ze vooruit...
en proberen om de technologie verder te brengen.
Vertaling: Frank Bovelander