Immersie betekent eigenlijk niets anders dan volledig ergens in opgaan. Binnen leisure studies, het vakgebied dat onderzoekt hoe mensen hun vrije tijd besteden, wordt dit soort onderdompeling gezien als een belangrijk middel om iemands ervaring te optimaliseren. In de context van media verwijst immersie naar de symbolische wereld waarin mensen opgaan wanneer ze informatie tot zich nemen. Deze onderdompeling gebeurt vaak binnen een verhaalstructuur, gepresenteerd door middel van tekst, beeld of een combinatie daarvan. Dit geldt voor uiteenlopende media, zoals romans, films, televisieseries en games. Maar immersie kan ook optreden in interactie met tekens en symbolen die niet direct verwijzen naar onze alledaags ervaren werkelijkheid. Wat te zeggen van de vervoering die een abstract schilderij bij ons teweeg kan brengen? Of de (plotselinge) hevige gemoedstoestand die muziek kan oproepen?

De expositie De Grote Illusie - 200 jaar Virtual Realities, die tot en met augustus 2024 was te zien in het in het Haarlemse Teylers Museum, toonde hoe in het verleden werd gespeeld met de menselijke zintuigen om verbazingwekkende en verbijsterende ervaringen te creëren. Dit gebeurde vooral op kermissen en jaarmarkten. Met de destijds voorhanden technische middelen kregen bezoekers een illusie van de werkelijkheid voorgeschoteld. Deze illusies bereikten een dermate niveau van realisme dat ze door mensen, althans voor een moment, als betekenisvol en levensecht werden ervaren.

Overigens beperkt immersie zich niet tot door technologie gecreëerde tweede werkelijkheden. Ook wanneer je een mondeling verteld verhaal aanhoort, kan een dergelijke onderdompeling plaatsvinden. Goede vertellers kunnen met behulp van taal – in de verste verte misschien ook wel te beschouwen als een vorm van technologie – hun publiek een immersieve ervaring geven. Zo vertelt de Bijbel dat Christus zich bediende van ‘gelijkenissen’: korte en bondige verhalen waarmee hij zijn gehoor meeneemt om zijn boodschap over de alledaagse werkelijkheid verhalenderwijs te verkondigen. Ook de natuur kan mensen dermate beroeren dat ze naar een andere mentale toestand worden gebracht, zoals bij het aanschouwen van een zonsondergang of het bewonderen van een imposant berglandschap.

In alle gevallen van onderdompeling is de bereidheid van mensen om onderdeel te zijn van een ervaring die indruk maakt, een voorwaarde. Dat kan alleen wanneer een context – of die nu door technologie wordt gecreëerd, onderdeel is van de natuur of ontstaan is in directe interactie tussen mensen – als betekenisvol wordt ervaren en emotionele verbondenheid oproept met de geschetste virtuele wereld. Strikt genomen verwijst het begrip immersieve media of immersieve tech(nologie) dus niet enkel naar iets dat radicaal nieuw is, zoals vaak wordt gesuggereerd. Het verwijst vooral naar een nieuwe fase van mediale immersie of naar de technologieën die dat mogelijk maken. Het heeft dan ook niet zo veel zin om voor dit fenomeen een nieuwe aanduiding te lanceren. Gezien de mogelijke impact, is het wel meer dan de moeite waard om de huidige ontwikkeling kritisch te beschouwen en de gevolgen voor zowel de culturele en de creatieve sector, als voor de samenleving kritisch te volgen. Daarbij is het belangrijk om vooral ook aandacht te hebben voor de kansen en mogelijkheden van immersieve ervaringen.

De culturele en creatieve sector speelt een belangrijke rol in de verdere ontwikkeling en vormgeving van immersieve ervaringen alsook in de ontwikkeling van de technologieën die ze mogelijk maken. Het gaat om werken, diensten en producten die door makers en auteurs worden geproduceerd en die partijen verderop in de keten openbaar maken en exploiteren. Ook is de sector invloedrijk in de ontwikkeling van de aard en de karakteristieken van de media en technologieën die voor deze ervaringen worden gebruikt.

In 2023 publiceerde het Rathenau Instituut de resultaten van een quickscan van de stand van nieuwe immersieve technologieën. Daarin komen vooral augmented reality (AR) en virtual reality (VR) aan bod. Samen vormen zij extended reality (XR) technologie. In feite gaat het hier om een cluster van informatie- en communicatietoepassingen, van sensortechnologie tot data-analyse en algoritmiek en van interfacetechnologie tot communicatie en connectiviteit. De auteurs geven aan dat XR-toepassingen mogelijkheden bieden om een nieuw soort ‘echtheid’, een nieuw soort realiteit te ervaren, die deels of volledig virtueel is. Gebruikers ervaren de virtuele wereld, omdat ze erin verkeren met behulp van bijvoorbeeld hun smart phone, een headset of smart glasses. Ze geven er mede vorm aan, door hun eigen acties die via allerlei apparaten, van een toetsenbord, een bewegingssensor tot een camera, naar de virtuele wereld worden vertaald. De huidige toepassingen van AR en VR zijn talrijk, van commercieel en publiek tot educatief. Toepassingen zijn al te vinden in verschillende sectoren zoals de gezondheidszorg, logistiek/infrastructuur, kunst en entertainment. De totale markt voor XR-toepassingen voor 2030 wordt volgens Rathenau geschat op meer dan 800 miljard dollar wereldwijd.

De nieuwe realiteit die AR creëert legt een virtuele betekenislaag over de fysieke werkelijkheid. Het is een symbolische toevoeging aan de materiële wereld. Mensen die actief zijn in de AR interacteren vanuit de fysieke werkelijkheid met verschijnselen, objecten en wezens in de virtuele ruimte; hun ervaringen zijn hybride. Denk daarbij aan het spel Pokémon Go, waarbij virtuele karakters zich als het ware schuil houden in stad en natuur en via het scherm van de telefoon opgespoord kunnen worden, met punten als beloning. AR-toepassingen lenen zich onder meer voor simulaties als onderdeel van trainingen en voor ruimtelijke ontwikkelingstrajecten. Bijvoorbeeld voor architectuur en stedenbouw levert AR veel toegevoegde waarde. Het vergroot het voorstellingsvermogen van potentiële gebruikers van toekomstige ruimtes.

Bij VR betreden mensen een volledig verbeelde, digitale ruimte. Het gaat dan om een eigenstandige verbeelde, tweede werkelijkheid die volledig symbolisch van aard is. Die geconstrueerde werkelijkheid hoeft niet altijd referenties naar de fysieke werkelijkheid te bevatten, het kan ook gaan om een volledige, met technologie gecreëerde symbolische wereld. Vaak is er in deze virtuele ruimte wel sprake van objecten en karakters die te herleiden zijn tot de fysieke wereld, als ankerpunten voor ervaring en betekenisgeving door gebruikers. In veel gevallen is de virtuele, verbeelde werkelijkheid een kopie van (een deel van) de fysieke werkelijkheid; een digital twin.

Om onderdeel te zijn van de virtuele wereld creëren gebruikers een imaginaire versie van henzelf, ook wel avatars genoemd, met instrumenten die binnen de toepassing wordt aangeboden. Daarbij hebben ze de vrijheid om zichzelf ook kenmerken toe te kennen die ze in de fysieke wereld ontberen. Gebruikers interacteren met andere personages en objecten via een headset. Die functioneert doorgaans ook als interface tussen de gebruiker en de virtuele wereld. Dat wil zeggen dat de interactie van de gebruiker met en in de virtuele wereld gestuurd worden via de headset. De personages die ze ontmoeten in de digitale ruimte kunnen virtuele equivalenten van mensen van vlees en bloed zijn, net als zijzelf, maar ook puur virtuele karakters die hun voorkomen en identiteit stoelen op toepassingen van zelflerende software.

De VR-ervaring is nog het meest te vergelijken met het spelen van een online computer- of consolegame. Het belangrijkste verschil is dat in die toepassing de spelers minder ingebed zijn in de virtuele wereld omdat ze hun avatar vanuit de fysieke werkelijkheid aansturen, door het gebruik van hardware die handmatig bediend wordt, bijvoorbeeld een toetsenbord of een joystick. VR-deelnemers daarentegen gebruiken een headset. De aansturing van de acties en interacties gebeurt daarmee directer, via zicht en mogelijk andere zintuigen.

Cruciaal voor toepassingen van AR en VR, zo onderstreept Rathenau, is de voortdurende verzameling en verwerking van real-time data die gebruikers genereren terwijl ze in de virtuele wereld actief zijn. Die worden gebruikt om de virtuele ruimte voor de individuele gebruiker vorm te geven en in te richten en voortdurend aan te passen. Bij AR gaat het om data die gegeneerd worden door interacties van gebruikers, met de virtuele ruimte waar ze zelf niet in verkeren. Bij VR zijn de gebruikers onderdeel van de virtuele ruimte. De data die ze met hun gedrag in de virtualiteit generen, bijvoorbeeld door interacties met virtuele karakters en objecten aan te gaan, sturen de daaropvolgende ontwikkeling van die ruimte en de daarin aanwezige personages en voorwerpen. Bij VR worden de real-time data geoogst door sensoren op de hardware die de gebruiker bij zich draagt, een headset of in de toekomst wellicht een slimme bril.

Rathenau duidt dit cyclisch proces aan als de cybernetische feedbackloop, opgebouwd uit drie fasen. De eerste is het via software ‘lezen’ van de toestand en de acties van de gebruiker die deze data genereert (verzamelen). Vervolgens wordt het geleverde complex van data geanalyseerd (analyseren) en vertaald en omgezet in (onderdelen van) de virtuele ruimte (toepassen). Daarop volgen dan weer acties en reacties van de deelnemers in de virtuele ruimte en verloopt het proces weer van voren af aan. Om dit proces mogelijk te maken zijn zowel veel computerkracht als bijzonder krachtige elektronische distributienetwerken nodig. Een goed werkende applicatie vergt dat real time data, geoogst in de virtuele omgeving, onmiddellijk worden omgezet in een nieuwe, aangepaste versie van de virtuele werkelijkheid, om een natuurlijk en naadloos gedrags- en interactieproces mogelijk te maken. Wanneer dit te veel tijd neemt gaat die illusie van werkelijkheid verloren. Is deze zogenaamde latentie groter dan twintig milliseconden, dan verstoort het de VR-ervaring, zo is momenteel de gangbare inschatting. Voor AR ligt de grens op vijftig milliseconden.

Omdat de verwerkingskracht van processoren momenteel nog niet afdoende is om latentie binnen de gewenste norm te houden en de daartoe geprepareerde netwerken ontbreken, laat een substantiële uitrol van krachtige VR-toepassingen nog geruime tijd op zich wachten. Om die reden is het overgrote deel van de virtuele toepassingen vooralsnog ontwikkeld voor situaties met een beperkte variëteit aan keuzeopties voor gebruikers en een relatief bescheiden aantal en actieradius van gebruikers. Ook de hoge kosten van de headsets nodig voor deelname aan de virtuele ruimte is een serieuze hinderpaal. Dat maakt een enigszins uitgebreide online toepassing van VR momenteel nog zo goed als onmogelijk. Dat een dermate groot gebruik van rekenkracht veel energie kost en negatieve maatschappelijke gevolgen heeft door de wissel die het trekt op onze natuurlijke omgeving en schadelijk is voor een duurzame toekomst wordt vooralsnog nauwelijks aangeroerd. Op termijn is het onvermijdelijk en zal deze kwestie urgenter worden en een grotere rol gaan spelen in de discussie over XR-toepassingen.

Voor een goed functionerende toepassing van zowel AR als VR en de verdere ontwikkeling ervan speelt kunstmatige intelligentie (AI) een cruciale rol. Het zorgt onder meer voor optimalisatie van de verbeelding van informatie uit de fysieke wereld naar de digitale, maakt de simulaties die daarop volgen realistischer en zorgt daarmee voor een meer immersieve ervaring. Minstens zo belangrijk is dat AI de immersieve ervaring personaliseert, op maat van iedere gebruiker snijdt op basis van eerder gebruik van virtuele ruimtes en andere digitale diensten. Daarmee wordt de XR-ervaring voor iedere gebruiker meer betekenis- en impactvol. Ook zorgt AI voor verbetering van de kwaliteit van de interacties in de virtuele wereld door de herkenning van bewegingen, gebaren en woorden van de gebruikers en de vertaling daarvan naar de virtuele ruimte, waarmee het onderscheid tussen fysieke en virtuele wereld wordt verkleind. AI schept daarnaast veel mogelijkheden tot het ontwerpen en doorontwikkelen van realistische, digitale karakters die geen fysieke equivalent kennen in de materiële wereld en die betekenisvolle interacties kunnen aangaan met gebruikers die ook een gedaante van vlees en bloed kennen. Deze digitaal geboren personages zijn vergelijkbaar met influencers, de online opinieleiders op het gebied van mode, make-up, games, en andere lifestylezaken die veel aandacht krijgen op sociale media. In virtual reality is hun rol en betekenis mogelijk meer levensecht en daarmee hun impact groter. Dit brengt vanzelfsprekend maatschappelijke uitdagingen met zich mee. Denk aan privacy, begeleiding en bescherming van jonge gebruikers, en meer in het algemeen op het vlak van ethiek.

Een belangrijke verandering in VR ten opzichte van andere manieren van digitale informatieconsumptie, is de wijze waarop gebruikers content tot zich nemen en daarmee interacteren: de interface. In de tot nu toe bestaande interactieve toepassingen wordt het verloop van de informatiestroom die onderdeel is van de mediale ervaring, door de gebruiker handmatig aangestuurd, via een joystick, een toetsenbord of een andere fysieke soort hardware. Bij VR verdwijnt dat.

Bij virtual reality zit de technologie zowel figuurlijk als letterlijk een stuk dichter op de huid. De virtuele wereld is behalve een symbolische ook een onmiddellijke, zintuigelijke context. Het lichaam van de deelnemer vormt de verbinding van de fysieke wereld met de virtuele. Mensen zijn daarmee directer onderdeel van de actie in het virtuele, imaginaire universum waarin VR hen brengt. Dat is een cruciaal verschil met voorgaande praktijken. Interactie daarmee en daarin verloopt in principe via allerlei zintuigen; zelfs de tastzin kan worden aangesproken. De verbinding van mens met technologie is naadloos. In virtual reality gaan mensen daarmee intuïtiever, nauwelijks bewust, om met technologie, in vergelijking met de huidige online wereld met smart phone, tablet, gameconsole of laptop als interface. Bij VR toepassingen is de aansturing van ‘machines’ haptisch en zintuigelijk. Dat draagt bij aan de ervaren onderdompeling, maar reduceert het bewuste beslissingsproces over wat te doen in de virtuele omgeving en met welke tekens en signalen een relatie aan te gaan. Bewuste acties en reacties in situaties waarin interfaces nadrukkelijker aanwezig zijn, ook al zijn ze soms routineus, worden vervangen door instant reacties of zelfs impulsen, in sommige gevallen zelfs louter van de hersenen. Een belangrijke en vergaande ontwikkeling in VR is de introductie van brain computer interfacing, ook genoemd in het voornoemde Rathenau rapport. Hersenactiviteiten worden omgezet in neurodata en doorvertaald in de vormgeving van de VR-omgeving. Op basis van kunstmatige intelligentie kunnen vervolgens interactie- en reactiepatronen worden geanalyseerd en virtuele werelden die daarbij passen op maat ontworpen worden, vergelijkbaar met inmiddels gangbare online advertentiestrategieën. Dat heeft vergaande consequenties voor de autonomie van het menselijk handelen en de mogelijkheden die mensen hebben om op eigen autoriteit vorm te geven aan de eigen sociale omgeving, ook al is die virtueel. De relatie van mensen met de materiele wereld beperkt zich, wanneer hun mentale ervaringswereld zich verplaatst naar de virtuele wereld, tot een soort van primaire lijfelijkheid die ze ervaren wanneer ze bijvoorbeeld onverhoopt materiele obstakels tegenkomen in hun bewegingen om te navigeren door de virtuele ruimte of in het mogelijk ongemak van een knellende band van hun headset dat ze kunnen ervaren.

Een uitgewerkte en geaccepteerde typologie van verschillende, mogelijke toepassingen van AR en VR is nog niet voor handen. In een poging daartoe worden hier drie typen XR-diensten en producties onderscheiden. Daarbij zijn niet de toepassingsgebieden – zoals gezondheidszorg en media – leidend, maar de inhoudelijke karakteristieken van de beoogde toepassingen en ervaringen en ook de aard van de gebruikersinteractie die voorondersteld wordt.

Het eerste onderscheiden type van XR-ervaringen heeft primair tot doel gebruikers kennis te laten maken met eigenschappen en kenmerken van ruimtes en ruimtelijke contexten en hen de werking ervan te laten ervaren. In dit soort toepassingen is slechts in beperkte mate sprake van een script waarin de mogelijkheden tot gebruikersinteractie vooraf zijn vastgelegd. Ook is er niet of nauwelijks sprake van een narratieve structuur die de ervaring van gebruikers stuurt. De variëteit aan denkbare VR-toepassingen binnen dit type is groot, van het ‘van binnenuit’ exploreren en ervaren van het menselijk DNA via het verkennen van gebouwen en stadswijken tot het ontdekken van het sterrenstelsel. In alle gevallen beperkt de gebruikerservaring zich tot de vooraf bepaalde ruimtelijke context. Het educatieve spel dat wordt ontwikkeld door Mixed Reality for Culture, een project dat wordt ondersteund door het programma Innovatielabs, past binnen deze categorie. In een speciaal ontwikkelde virtuele ruimte leren de gebruikers spelenderwijs diverse aspecten van een modulaire synthesizer.

Voor AR-toepassingen geldt dat de extra betekenislaag die wordt toegevoegd aan de fysieke werkelijkheid, aansluit bij de schaal van dingen die direct door het menselijk oog in het leven van alledag kan worden waargenomen. Die extra laag krijgt immers alleen betekenis in functie van de fysieke werkelijkheid; die wordt verrijkt met een virtuele ervaring. Het fysieke en digitale vloeien samen in een hybride ervaring, het virtuele wordt onderdeel van het sociale.

De toepassing van AR kan ten dienste staan van een specifiek doel, maar ook de vorm aannemen van een permanente toevoeging en verrijking van de fysieke werkelijkheid voor individuele gebruikers, bijvoorbeeld via smart glasses. Door middel van objectherkenning kan de AR-functie geactiveerd worden en wordt de opgenomen informatie verwerkt door een algoritme en opgeslagen en wederom gebruik. Daarmee neemt de functionaliteit van de AR-toepassing toe. Ze wordt op de maat van de gebruiker toegesneden: personalisatie. Op die manier worden altijd en real-time data verzameld, verwerkt en de toepassing verrijkt, zoals hiervoor geschetst in de cybernetische feedbackloop. Dat hieruit kwesties over privacy en het gebruik van publieke ruimte resulteren, behoeft geen verdere toelichting. Het werk van AR-pionier en kunstenaar Sander Veenhof geeft interessante inzichten in dit soort AR-toepassingen.

In het tweede hier onderscheiden type is er sprake van een nadrukkelijke inhoudelijke structurering van de mogelijke ervaringen van de gebruiker, bijvoorbeeld door het toevoegen van narratieve elementen. Daarmee dragen dit soort toepassingen doorgaans het stempel van een team van makers en auteurs die vanuit hun eigen missie en motivatie met specifieke symboliek en narratieve structuur, richting geven aan de gebruikerservaring. Dit zijn typische vormen van verbeelding en storytelling die gangbaar zijn binnen de culturele en creatieve sector, in het bijzonder binnen kunst, erfgoed, media en entertainment. AR en VR bieden mogelijkheden tot innovatie van de traditionele vormen als dans, theater en muziek, maar ook van audiovisuele producties en cultureel erfgoed.

De VR-producties binnen dit type zijn vergelijkbaar met het format van online actiongames, niet per se qua inhoud, wel wat betreft de betekenis van het verhaal en de gebruikersopties. Inhoudelijk, qua symboliek en structuur, bevatten ze doorgaans referenties aan de maatschappelijke werkelijkheid als onderdeel van de gepresenteerde werkelijkheid. Ze zijn onderdeel van het script en daarmee voorgeprogrammeerd, geven betekenis en inhoud aan de buitenwereld en sturen de ontwikkeling van de handeling. Daarbinnen worden gebruikers in meer of mindere mate in staat gesteld, op basis van verschillende keuzeopties, de zich ontvouwende verhaallijn en daarmee de gebruikerservaring te beïnvloeden. Daaruit resulteert een patroon van acties en reacties, van virtuele personages met andere wezens en hun context, en uiteindelijk een persoonlijke gebruikerservaring die voor iedere gebruiker uniek is, maar doorgaans wel gerelateerd is aan die van andere gebruikers. Een interessant voorbeeld van dit format is de meermaals bekroonde VR-opera Songs for a Passerby van Studio Nergens.

De gedeelde ervaring die opgedaan wordt in dit soort producties door afzonderlijke gebruikers kan de basis vormen voor een cultureel en maatschappelijk gesprek over inhoud en betekenis ervan, in de fysieke, sociale context. De mate waarin dat het geval is, hangt af van de handelingsopties die gebruikers binnen de virtuele wereld krijgen aangeboden. Hoe meer variatie, des te groter het verschil in ervaring van verschillende gebruikers zal zijn. Dat betekent ook dat met de toegenomen gebruikersopties er minder sprake zal zijn van ervaren gemeenschappelijkheid, op basis waarvan mensen in hun fysieke, sociale context een gesprek over hun VR-ervaringen, kunnen aangaan. Daarmee vervaagt ook de eenheid van het werk en de stempel van de makers en auteurs.

Binnen dit type verschillen de mogelijkheden en de toepassingen van AR op een aantal wezenlijke punten van die in VR-producties. Ook hier geldt dat AR-toepassingen veel meer dan die in VR, nabij zijn aan de gekende fysieke praktijk, vooral in de podiumkunsten. Uit het samenkomen van virtueel en fysiek ontstaan zo hybride concepten. Door de toevoeging aan en in sommige gevallen integratie met de bestaande materiële vorm, wordt het bestaande werk verrijkt of ontstaat een nieuw werk. Twee Innovatielabs-projecten illustreren dat. Fiera del Suono laat zien dat AR-toepassingen niet noodzakelijkerwijs volledig audiovisueel zijn. Het project verrijkt de beleving van cultureel erfgoed met een virtuele audiolaag en laat zich daarbij inspireren door kermis en volkscultuur. Open culture tech onderzoekt en ontwikkelt een immersive toolkit die muzikanten in Nederland laagdrempelig toegang geeft tot betaalbare AR-toepassingen. De beoogde toepassingen verrijken de liveoptredens, bijvoorbeeld met avatars. Ook real-time interactie met on- en offline publiek wordt mogelijk. Concerten worden hybride gebeurtenissen, een combinatie van fysiek en virtueel en zijn ook online toegankelijk.

Een bijzondere en uitdagende kwestie is de rol en betekenis van gebruikersactiviteit in de context van AR-producties in de podiumkunsten. In theorie geeft het publiek dan mede vorm aan symboliek, handeling of verhaallijn in de uitvoeringspraktijk. Binnen het denken over de toekomst van de podiumkunsten wordt wel gesproken over het slechten van de vierde wand. Dit is de denkbeeldige scheiding tussen alles wat met de uitvoering te maken heeft en zich afspeelt tussen de drie wanden op het podium, en wand vier, waardoor het publiek alles waarneemt. In het artistiek vormonderzoek dat plaatsvindt in het Innovatielabs-project Moving Media Lab zijn dit soort vragen van belang. Daarin onderzoeken makers in kunst, ontwerp en wetenschap de wijze waarop, over de grenzen van verschillende disciplines heen, de toepassing van audiovisuele en mixed reality-technieken de artistieke maak- en presentatiepraktijk kunnen vernieuwen. Ze doen dat vanuit de discipline dans aan de hand van de concepten embodiment en movement. Dezelfde thema’s spelen binnen het Innovatielabs-project Venues of the Future. Daarin wordt de virtuele toekomst van de podiumkunsten onderzocht met oog voor online en hybride vormen van publieksinteractie. Doel is om de traditionele grenzen tussen maker en publiek op te rekken en de podiumkunsten meer participatief te maken. Centraal staat het creëren van agency voor het publiek; zeggenschap en een gevoel van invloed of eigenaarschap. Een belangrijke ontwerpvraag is of bij een hybride of online vorm van theater gecureerde inhoud, met regie en sturing door makers het uitgangspunt moet zijn, of dat de nadruk moet liggen op input van gebruikers. Vooralsnog is gekozen voor het eerste.

Typerend voor de podiumkunsten is dat het delen van het werk niet volledig technologie gestuurd is. Er zijn altijd acteurs en andere uitvoerenden van vlees en bloed die optreden voor een fysiek aanwezig publiek. Het is voorstelbaar dat, met inzet van technologie, het publiek de loop van voorstellingen kan beïnvloeden. Met behulp van dataverzameling- en verwerkingstechnieken kunnen de reacties van het publiek worden omgezet in een collectief signaal dat meeweegt in het verloop van afzonderlijke voorstellingen. Daardoor kan het karakter van voorstellingen per avond verschillen. Dit is vooralsnog toekomstmuziek. Een vergelijkbare praktijk bestaat wel bij muziekuitvoeringen waar het publiek de ene avond wel en mogelijk een andere niet, succesvol vraagt om een toegift.

Een andere manier om de podiumkunsten immersiever te maken is door voorstellingen te verrijken met nieuwe vormen van technologie, die een versterkt dramaturgisch en zintuigelijk effect oproepen bij het publiek. Een interessant project dat deze mogelijkheid onderzoekt, is Centre Stage Robotics. Dit door Innovatielabs ondersteunde project verkent op experimentele wijze hoe industriële robots kunnen worden ingezet in theater en kunst. Overigens wordt niet alleen in de podiumkunsten geëxperimenteerd met het verrijken van publiekservaringen door nieuwe technologieën. Culturespaces van de Franse firma Fabrique de Lumière transformeert cultureel erfgoed tot een immersieve beleving. Zonder additionele hardware als brillen of headsets, zijn bezoekers op locatie getuige van enorme projecties van thematisch gerelateerde digitale kopieën van kunstwerken, begeleid door muziek. Een van de locaties is de ruim twaalfhonderd vierkante meter grote Zuiveringshal van de Amsterdamse Westergasfabriek waar rond de honderd videoprojectoren worden ingezet in combinatie met een ruimtelijk geluidssysteem. Het totale projectieoppervlak van wanden en vloeren is 3.800 m². Daar worden onder meer de werken van oude Hollandse meesters – maar ook Gustav Klimt en Piet Mondriaan - sequentieel vertoond in de context van een voorstelling. Het ironische aan dit concept is wel dat er wordt gestreefd naar het vergroten van de impact van beeldende kunst door een immersieve ervaring voor een breed publiek te creëren, terwijl de originele, fysieke kunstwerken, die als uitgangspunt dienen, geen rol spelen in het geheel.

In het derde type staat het faciliteren van sociale interactie centraal, vaak in combinatie met co-creatie. In de VR-variant van dit type is er sprake van een virtuele wereld waarin de dynamiek afhankelijk is van de activiteit van gebruikers; zij geven er gezamenlijk vorm aan. Waar in het vorige type het gesprek over XR-ervaring en de sociale en culturele betekenis ervan, buiten de virtuele wereld in de fysieke maatschappelijke omgeving plaatsvindt, gebeurt dat hier in de virtuele wereld zelf. Sociale processen die we kennen vanuit de reële samenleving, worden onderdeel van de virtuele wereld. Ook hier zijn aspecten van gaming een goed referentiepunt. Bijvoorbeeld binnen Minecraft en Roblox is het mogelijk om gezamenlijk te bouwen aan een virtuele wereld, vanuit een basisset van mogelijkheden en instrumenten die door de game worden aangeboden. De grens tussen gaming en het creatieve maken is fluïde. Men spreekt in dit verband over een sandbox-game; co-creëren is het spel. Hier is, in vergelijking met het vorige type, nauwelijks sprake van verhalende elementen. De mate waarin dit soort virtuele ervaringen referenties bevat naar de fysieke werkelijkheid kan variëren. Er zijn concepten denkbaar waar dat maar in beperkte mate het geval is, terwijl in andere juist de relatie met (een deel van) de fysieke wereld centraal staat.

Het debat dat in veel steden wordt gevoerd over de mogelijkheden van de virtuele stad als kopie van de fysieke stad, de urban digital twin, gaat vaak uit van de termen die in dit type gelden. De context van de toepassing is dan de digitale kopie van de stad. Daarbinnen kunnen allerlei soorten gebruikers experimenteren met varianten die ontleend zijn aan de fysieke stad. Ze kunnen ze virtueel uitproberen en op basis daarvan met elkaar discussiëren. Een dergelijk concept biedt aanknopingspunten om AR en VR te integreren. Zo kunnen in de virtuele ruimte ontwikkelde initiatieven voor stedelijke ontwikkeling nader worden verkend. Door ze om te zetten in een digitale laag, die over de fysiek werkelijkheid wordt gelegd, krijgen gebruikers via een AR-ervaring op de fysieke locatie een beter beeld van de voor- en nadelen ervan. Inspraakprocedures en burgerinput kunnen daarmee aan kwaliteit en efficiency winnen. In meer algemene zin kan deze combinatie van AR en VR mede invulling gegeven aan democratische vernieuwing.

Dit type XR-toepassing kan gezien worden als een voorfase van een vooralsnog vaag toekomstbeeld van wat wel de metaverse wordt genoemd. Het verwijst naar een situatie waarin burgers naast hun bestaan in de fysieke wereld, een leven leiden als digitaal personage in een collectieve virtuele gedeelde ruimte die levensechte interacties mogelijk en die vrijwel alle levensaspecten bevat die we kennen uit de alledaagse, materiële wereld. Ze is nog ver weg omdat de realisatie ervan nog buiten bereik van de huidige technologische stand van zaken ligt, onder meer op het terrein van processorcapaciteit en de capaciteit van telecommunicatienetwerken. Het zal, als het al tot stand komt, eerder ontstaan vanuit de koppeling van virtuele werelden die de komende jaren gaan ontstaan, dan als nieuw geïntroduceerd megaplatform.

De transformatie die zich aftekent in de wijze waarop (immersieve) ervaringen steeds gewoner worden en informatie wordt gedeeld, is direct relevant voor de culturele en creatieve sector (inclusief de kunsten), de mediasector, de entertainmentindustrie, maar ook design, architectuur en ontwerp. De creatieve industrie legt zich immers toe op het deelbaar maken en benutten van kennis, creativiteit en ervaring, door gebruik van allerlei middelen, zoals face-to-face, tastbare materialen en de elektronische weg, en vervult daarmee een sleutelrol in de moderne samenleving. De ontwikkeling van de culturele en creatieve sector is bovendien nauw verbonden met de geschiedenis van informatie- en communicatietechnologie. Ontwikkelingen in ICT hebben bijna altijd consequenties voor de maatschappelijke rol en betekenis van de culturele en creatieve sector.

In dit artikel onderscheiden we drie typen XR-diensten en producties: het ervaren van driedimensionale ruimte, het stempel van makers en auteurs en sociale interacties binnen XR-omgevingen. Tegelijkertijd concluderen we dat het gebruik van (nieuwe) immersieve technologieën in de culturele en creatieve sector nog in de experimentele fase zit. Vooralsnog worden de mogelijkheden van VR-toepassingen begrenst door beperkte computerkracht. Om die reden, alsmede door een gebrek aan kennis en ervaring, zijn veel projecten waarbij immersieve technologieën worden toegepast in de culturele en creatieve praktijk nog zoekende naar de optimale virtuele gebruikerservaring. Andere uitdagingen zitten onder andere in het schaalbaar maken van de XR-ervaring en de relatief hoge kosten die XR-toepassingen veelal met zich meebrengen. Het Innovatielabs-project Open culture tech pakt (een deel van) deze uitdaging aan en werkt aan en initiatief om XR-toepassingen open source beschikbaar te maken voor makers.

Met dit alles in het achterhoofd is het geen toeval dat vanuit de culturele en creatieve sector het initiatief is genomen om de kansen en mogelijkheden van recente vormen van immersieve technologie te onderzoeken en de kracht van het Nederlandse ecosysteem op dit terrein te versterken. Het project CiiiC, Creative Industries Immersive Impact Coalition, dat ondersteund wordt door het Nationaal Groeifonds, richt zich op de ontwikkeling van kennis- en methodes voor immersive experiences, het vergroten van de talent-pool, het stimuleren van innovatie, het uitbouwen van de Nederlandse positie op de markt van immersieve belevenissen en het ontwikkelen van een infrastructuur van labs om ontwikkeling en toepassing te stimuleren. Daarnaast is het ontwikkelen van immersieve belevenissen om maatschappelijke vraagstukken aan te pakken een belangrijk doel.

Het CiiiC-project is nauw verweven met het economische discourse rond het versterken van de concurrentiepositie van het Nederlandse bedrijfsleven. Daarom is het van bijzonder belang om binnen het project aandacht te besteden aan onderzoek naar de maatschappelijke consequenties van immersieve technologie en mogelijk daaruit voortvloeiende, wenselijke ontwikkelroutes te verkennen. Mediafilosoof Marshall McLuhan (1911-1980) bedacht al in de jaren zestig de metafoor van het ‘achteruitkijkspiegeldenken’: mensen zijn in het algemeen slecht in het kennen van en inspelen op de consequenties van (informatie)technologie, vanwege het feit dat de toekomst principieel onkenbaar is. Dat wil echter niet zeggen dat we daarom naïef de toekomst in moeten gaan. Sterker nog, als we niets aan onze onwetendheid doen, is de kans groot dat dominante machten de dienst gaan uitmaken. Denk aan grote internationale Big Tech bedrijven, waarbij winststreven en dominante markposities de hoofdmotieven zijn, of staat gecontroleerde bedrijven die technologieontwikkeling inzetten vanuit mondiaal politieke machtsstreven. Met het oog daarop is het uitermate belangrijk om waar mogelijk, relatief onafhankelijk van de dominante stroom, toepassingen te ontwikkelen die gestoeld zijn op publieke waarden.

De culturele en creatieve sector kan hierbij een belangrijke rol spelen door zich (nog) nadrukkelijk(er) toe te leggen op exploratief en kritisch onderzoek van immersieve technologieën. Artistiek en kritisch ontwerponderzoek verlegt de focus van de achteruitkijkspiegel, dus waar we vandaan komen, naar waar we naartoe gaan. Het biedt handvatten om de maatschappelijke agenda voor technologieontwikkeling te bevragen en de dominante ontwerpprincipes ter discussie te stellen, wat hoe dan ook van waarde is voor de brede maatschappelijke en ethische discussie.