Comic goes Virtual.
Multimodaler Transfer der Comic-Wahrnehmung vom Bild-Medium zum Raum-Medium
Lars C. Grabbe (MĂŒnster)
Statische Bildtypen wie Comics, Fotografien, Illustrationen oder GemĂ€lde wurden stets fĂŒr die sinnliche Adressierung der Rezipient_in konzipiert, wobei der visuellen SinnesmodalitĂ€t der primĂ€re Rezeptionsfokus zugesprochen werden kann. GegenwĂ€rtige Entwicklungen im Kontext der digitalen Mediensysteme und in der Tradition der sogenannten presence-evoking media technologies (vgl. Lombard/Ditton 1997) verweisen hingegen auf eine ganzheitlichere Dimension der medialen Rezeptionssituation, die mit einer vielfĂ€ltigen Sinnesadressierung â gemÀà multisensorischer Integration (Stein et al. 2009), multisensory influence (Driver/Noesselt 2007, 11) oder multimodality of perception (vgl. Nanay 2013) â korreliert.
Auch Comics wurden in den letzten Jahren vermehrt zum Gegenstand technischer Entwicklungen, wobei nicht zwingend versucht wurde das Medium Comic als visuelles, narratives oder semiotisches Artefakt zu modifizieren, sondern vielmehr die Praxis der wahrnehmungsbasierten Bildverwendung1 zu hybridisieren (vgl. Grabbe 2015a).
Nehmen wir in einer medientheoretisch geprĂ€gten Analyse technische Systeme in den Blick, wie es hier beispielhaft am Prototypen Virtual-Comics, programmiert fĂŒr das Lesen von Comics innerhalb einer virtuellen Rezeptionssituation (mittels head mounted display), erwiesen werden soll, so lĂ€sst sich diese Medientechnologie als ein immersives Medium (vgl. Lombard/Ditton 1997) bezeichnen, in welchem die propriozeptiven und visuellen Körpererfahrungen der Rezipienten_in durch eine hochgradig perzeptive â als virtuelle RĂ€umlichkeit strukturierte â Umwelt verstĂ€rkt werden.
Der Artikel will sich einerseits mit dem Stellenwert der differenzierten WahrnehmungsmodalitĂ€ten â ganz im Sinne einer MultimodalitĂ€t der Wahrnehmung â fĂŒr die Beschreibung des Comic Readers Virtual-Comics befassen, dessen Funktionshorizont im Verlauf dieses Artikels noch detailliert geschildert wird, und hierdurch andererseits aufzeigen, dass die medial erzeugte Wahrnehmungssituation kein schlichtes Nebenprodukt der technischen Hybridisierung ist, sondern vielmehr expliziter Zielfokus dieses medialen Systems. Methodisch wird der Artikel wahrnehmungs- und bildtheoretisch argumentieren und dabei gleichermaĂen phĂ€nomenologische wie auch semiotische BezĂŒge herstellen. In dieser interdisziplinĂ€ren Verwendung wird explizit das fĂŒr die Analyse von interaktiven Medien- und Bildtechnologien entwickelte Modell und Analyseschema der PhĂ€nosemiose (vgl. Grabbe 2015b) angewendet, um die wahrnehmungsbasierte Rezeptionsdynamik aus Apparatur, Sinnesadressierung sowie Bedeutungszuordnung zu erfassen und in ihrer wechselseitigen Bestimmtheit zu systematisieren.
Wird ein Comic folglich innerhalb einer virtuellen RealitÀt prÀsentiert sowie ein interaktiver Verwendungsansatz ermöglicht, und kommt es dann zu einer multimodalen Wechselwirkung von sensorischem System2 der Wahrnehmung und spezifischen medial induzierten Inputs, dann wird aus dem Comic eine mediale Hybridform. Dieser Hybrid, so die wahrnehmungstheoretische These, lÀsst den Comic zwar noch als ein visuelles Zeichensystem lokalisierbar werden, er transformiert sich jedoch von einem klassischen, zweidimensionalen Bild-Medium (als visueller AnsichtsflÀche) in ein körperlich-partizipatives Raum-Medium. Hierdurch erweitern bzw. modifizieren sich die Àsthetischen, sensorischen und kognitiven Potentiale des ehemals analogen Comics, wobei der Funktion einer technischen Virtualisierung die Dynamik eines multimodalen Transfers zugesprochen werden kann.
Technologische Dynamisierung und Transferdynamik
Moderne Medientheorien haben unlĂ€ngst erkannt, dass ein Fokus auf die technologischen Komponenten von Medien verstehen hilft, wie sich eine Relation aus MedienmaterialitĂ€t und Rezeptionsdynamik herstellt (vgl. Mc Luhan 2001, Flusser 1997, de Kerckhove 1995). Es gilt hier neben der Annahme, dass die MaterialitĂ€t eines Mediums bereits Einfluss auf die QualitĂ€t und QuantitĂ€t der Rezeption nimmt, sogar ein erweiterter kulturtheoretischer Ansatz, welcher MedienmaterialitĂ€t als BestimmungsgröĂe einer Transformation sozialer und kultureller Prozesse bestimmt. Diese Theorieperspektive zeigt sich als eine folgenreiche medienhistorische Annahme, vor allem dann, wenn man sie zusĂ€tzlich mit den AnsĂ€tzen der virtuellen Technikforschung auf dem Gebiet des presence research (vgl. Lombard/Ditton 1997) vergleicht. In den Debatten um die Erforschung der TeleprĂ€senz oder PrĂ€senz von Mediensystemen zeigt sich Technologie als steuerbare GröĂe fĂŒr das Generieren kommunikativer Dynamiken, wobei in diesem Sinne keine Technikfeindlichkeit vorherrscht oder Anteil an den Debatten nimmt. Es gilt der Analyseansatz, dass es explizit eine progressive und ĂŒber Innovationen sich einstellende Technikentwicklung ist, die Mediensysteme mit sensorischen und perzeptiven Dynamiken der Wahrnehmung3 synchronisieren und hierdurch erweiterte und positive Freiheitsgrade der Handlung mit dem Medium oder innerhalb des medialen Szenarios determinieren. Auch wird dem menschlichen Körper ein zentraler Stellenwert zugesprochen, da dieser im Grunde den Zielfokus eines funktionierenden medialen Environments darstellt, weil sich ĂŒber diesen erst eine Rezeptions- und Erfahrungssituation einstellen kann.
Bereits im Jahr 1965 betonte Ivan Sutherland, den man als GrĂŒndervater der head mounted display-Technologie bezeichnen kann:
A display connected to a digital computer gives us a chance to gain familiarity with concepts not realizable in the physical world. It is a looking glass into a mathematical wonderland. (Sutherland 506)
Er betonte darĂŒber hinaus, dass ein »ultimate display would, of course, be a room within which the computer can control the existence of matter« (ibid. 508). Daniel Czitrom pointierte dann im Jahr 1982, dass
the dream of transcendence through machines is an ancient one, and the urge to annihilate space and time found particularly intense expression through new communications media. (ibid. 187)
1995 charakterisierten Frank Biocca, Taeyong Kim und Mark R. Levy dann die voranschreitende technische Entwicklung als ein
ancient desire for physical transcendence [...]. Seeking physical transcendence is nothing less than the desire to free the mind from the âșprisonâč of the body. (1995a, 7).
Es wird einerseits deutlich, mit welchem positiven Innovationsstreben die Medientechnologie in Verbindung gebracht wurde, andererseits zeigt sich hier ein Fokus auf die MaterialitĂ€t der Medien, deren BestimmungsgröĂe nicht mehr allein ĂŒber eine visuelle Dynamik zu erfassen ist. Es erscheint demnach als ĂŒberaus sinnvoll, wenn sich moderne Medien- und Wahrnehmungstheorie verbinden und somit den subjektiven Körper als BestimmungsgröĂe von interaktiver MedialitĂ€t bestimmen:
VR is not a technology; itâs a destination. The ultimate goal of VR interface design is nothing less than the full immersion of the human sensorimotor channels into a vivid computer-generated experience. In the ideal system, the body is wrapped in communication and pulsates with information. Media have always been environments â both radio and television dominate the rooms in which they are used and the minds that use them. But the VR environment surrounds the senses. The optimist would say VR embraces the senses; the pessimist would say it kidnaps them. (Biocca/Levy 1995b, 17).
Vor allem interaktive Mediensysteme lassen sich nicht als passive Objekte beschreiben, die sich durch die Adressierung eines Einzelsinns in der Rezeption erschlieĂen, vielmehr sind sie Modulatoren poly-sensueller und multimodaler Environments. Konkret werden Medien somit zu sensorischen Inputgebern, die den technischen Apparat mit dem sensorischen und perzeptuellen System4 der Rezipient_in synchronisieren können, was Biocca und Levy ĂŒberaus treffend als »psychosemiotics of VR« (1995b, 18) beschreiben.
Wahrnehmung und PhÀnosemiose
Warum der Terminus PhĂ€nosemiose? Es wurde bereits deutlich, dass sich ein Theoriemodell fĂŒr die Analyse interaktiver Medientechnologien verschiedenen Problembereichen zu stellen hat. Demnach sollten Systematisierungen möglich werden, welche die Körperlichkeit der Rezipienten_in und die gezielte Sinnesadressierung durch das Medium, die Beschreibung technologischer Ebenen sowie den zeichentheoretischen Einfluss von Kommunikation und Information adĂ€quat erfassen. Mit dem Terminus PhĂ€nosemiose wird ein systematisches Zustandsmodell5 eines medialen Artefakts beschrieben, wobei begrifflich explizit eine Verbindung zu phĂ€nomenologischen und semiotischen AnsĂ€tzen zum Ausdruck gebracht wird. Dieses Vorgehen ist sinnvoll, da sich hochtechnisierte, poly-sensuelle, multimodale und interaktive Mediensysteme gleichermaĂen als Impulsgeber fĂŒr sensorische Wahrnehmungen sowie kognitiv komplexe Bedeutungszuordnungen verstehen lassen.
Eine zentrale Grundannahme der PhÀnosemiose bezieht sich auf die phÀnomenologische Konzeption, nach der sich das subjektive Bewusstsein als ein PhÀnomen des Bezogen-Seins, als intentionales Gerichtet-Sein, manifestiert und stabilisiert. Somit entsteht ein spezifisches VerhÀltnis von Denk-Akt und Denk-Urteil, denn diese stiften einen
Systemzusammenhang des intentionalen Erlebnisses und prÀzisieren die korrelative VerhÀltnisbestimmung von Form und GegenstÀndlichkeit der Bewusstseinserfahrung. Der zentrale Analysefokus der PhÀnomenologie richtet sich somit auf die intentional-gerichteten Bewusstseinserfahrungen, da Bewusstsein grundsÀtzlich Bewusstsein von etwas bedeutet. (Grabbe/Rupert-Kruse 2014, 98)
Dem Aspekt âșWahrnehmungâč kommt in phĂ€nomenologischer Perspektive folglich ein besonderer Stellenwert zu, da mediale Artefakte einerseits erst durch Wahrnehmung erscheinen können, andererseits aber das Bewusstsein ĂŒberhaupt abhĂ€ngig ist von sensorischen Informationen, da es ohne den Prozess der Sinnlichkeit keine Kategorien und Formen fĂŒr ein intentionales Gerichtet-Sein gĂ€be.
Eine weitere, ebenfalls zentrale Grundannahme der PhĂ€nosemiose bezieht sich direkt auf die weit gefassten zeichentheoretischen (semiotischen) AnsĂ€tze innerhalb der Geisteswissenschaften, wobei es hier generell um die vielfĂ€ltigen Potenziale von zeichenhaften Medien und den damit verbundenen â oftmals multimodalen â Bedeutungsdynamiken geht (Lautfolge, Sprache, Text, statisches Bild, dynamisches Bild, interaktives Bild, haptische Medien, Ton, Soundscore, Musik, Filmmusik, olfaktorische Medien, gustatorische Medien etc.). Traditionell sind die semiotischen AnsĂ€tze weniger stark auf sensorisch-biologische Prozesse und psychologische Wahrnehmungsdynamiken ausgerichtet, da sie vermehrt in Richtung reprĂ€sentationaler Eigenschaften von Medien und den Systembedingungen von En- und Dekodierung argumentieren (z. B. Denotation, Konnotation, IkonizitĂ€t, IndexikalitĂ€t, SymbolizitĂ€t, Syntaktik, Semantik, Pragmatik etc.). Einerseits werden demzufolge externen Objekten, wie beispielsweise statischen Bildern, Filmen, interaktiven Video- und Computerbildern, jeweils medienspezifische Zeicheneigenschaften zugesprochen. Andererseits gilt die kognitionslogische Annahme, dass sich die mentale Dimension des subjektiven Bewusstseins ĂŒber reprĂ€sentationale Eigenschaften organisiert und stabilisiert. ReprĂ€sentationen fungieren in diesem Sinne als spezifische Zuordnungsvorschriften, mit deren Hilfe mentale Objekte (Vorstellungsbilder, Tonerinnerungen etc.) als Zeichen auf abwesende Objekte bezogen werden können (vgl. Seel 1991, 14):
âșExternalâč representations are those material signs or sign systems that are publicly available in the world, whereas mental or âșinternalâč representations can be understood as what philosophers call the representational content of a certain intention or belief about the world. (Malafouris 2007, 291)
Die differenzierten Perspektiven innerhalb von PhÀnomenologie und Semiotik lassen sich ihrerseits jeweils als wahrnehmungstheoretische und zeichentheoretische AnsÀtze klassifizieren (vgl. Wiesing 2005), wobei im Kontext von Bild-Medien die
semiotische Sicht Analogien zwischen bildhaften und sprachlichen Zeichen betont, die wahrnehmungstheoretische Bildtheorie den Bildstatus an die Bildwahrnehmung (Sachs-Hombach 2001, 17)
knĂŒpft. Klaus Sachs-Hombach hebt hervor, dass sich PhĂ€nomenologie und Semiotik dann »eher in ihrer Methodologie als in den inhaltlichen Bestimmungen des Bildbegriffs voneinander unterscheiden« (Sachs-Hombach 2001, 17). Mit dem Theorieansatz der wahrnehmungsnahen Zeichen kennzeichnen Klaus Sachs-Hombach und Jörg R. J. Schirra (vgl. Sachs-Hombach/Schirra 2008; vgl. Sachs-Hombach/Schirra 2009) spezifische Zeichendynamiken, die ihrerseits wiederum von Wahrnehmungsdynamiken abhĂ€ngig sind (z. B. das Erlernen, dass das akustische Ereignis des TĂŒr-Klingelns als ein indexikalisches Zeichen eine wartende Person reprĂ€sentiert). In Ă€hnlicher Ausrichtung entwickelt Bence Nanay in Orientierung an der »multimodality of perception« (vgl. Nanay 2012, 1) eine Systematisierung von Wahrnehmung und Zeichenstruktur im Kontext der »pragmatic representations« (vgl. Nanay 2013):
Pragmatic representations are, at first approximation, the representational components of the immediate mental antecedents of action. They are also genuine perceptual states. The immediate mental antecedents of action are what make actions genuine actions. They constitute the difference between actions and mere bodily movements. They guide our ongoing bodily activities. And pragmatic representations are the representational components of these immediate mental antecedents of action. (Nanay 2013, 3)
Nanays Argumentation in Hinblick auf die Möglichkeit von pragmatischen ReprĂ€sentationen bezieht sich einerseits darauf, dass sich diese selbst schon als Wahrnehmungszustand manifestieren und andererseits ĂŒber ihre reprĂ€sentationale Eigenschaft dann Aktionseigenschaften von Handlungen stabilisieren (rĂ€umliche Lokalisierung, GröĂe, Gewicht, Form etc.), die nötig sind fĂŒr adĂ€quate Handlungsumsetzungen:
Pragmatic representations attribute action-properties: they represent objects in an action-oriented manner. And they typically attribute these action-properties unconsciously. (Nanay 2013, 4)
Es wird deutlich, dass Zeichen zwar in gewissem Sinne spezifische Codeordnungen bzw. Zuordnungsvorschriften oder Konventionen sind, die sich im aktiven Denkprozess artikulieren, diese aber prinzipiell ĂŒber die Sinnlichkeit â als zentrales Interface zwischen subjektiver Innenwelt und objektiver AuĂenwelt â erlernt oder instantan (vgl. McLuhan, 2001) vermittelt werden. D.h. fĂŒr die Interpretation von Zeichen ist der Rekurs auf Wahrnehmungskompetenz unabdingbar (vgl. Sachs-Hombach 2003, 88). Zeichen sind demnach zwar von Interpretationen abhĂ€ngig, allerdings kann eine spezifische reprĂ€sentationale Ordnung von Informationen bereits im konkreten Wahrnehmungsakt unmittelbar stabilisiert werden.6
Zahlreiche empirische Befunde unterstĂŒtzen diese Theorieperspektive und damit auch das phĂ€nosemiotische TheorieverstĂ€ndnis, welches wiederum die Dynamik der MultimodalitĂ€t der Wahrnehmung direkt aufgreift:
Information in one sense modality can influence the information processing in another sense modality at a very early stage of perceptual processing. (Nanay 2013, 65)
Eines der prominentesten Beispiele ist sicherlich der sogenannte McGurk-Effekt, bei dem die subjektive Wahrnehmung einer akustischen Lautfolge primĂ€r abhĂ€ngig ist von dem visuellen Einfluss von sich bewegenden Lippen. Bei gleichbleibender akustischer Lautfolge (man hört die Lautfolge âșbaâč), aber Wechsel des visuellen Stimulus (die Lippenbewegung formt nun den Laut âșfaâč), passt das Gehirn den akustischen Laut an den visuellen Eindruck der Lippenbewegung an und verrechnet die Information zu Gunsten des dominanteren, visuellen Impulses. Der Proband nimmt dann in seiner subjektiven Erfahrungswirklichkeit an, dass er die Lautfolge âșfaâč hört, obwohl der physikalische Impuls die gesamte Zeit ĂŒber âșbaâč prĂ€sentiert. Ein gegenteiliger Effekt kann auch empirisch nachgewiesen werden. Experimente von Shams, Kamitani und Shimojo zeigen selbst bei minimalem visuellen Stimulusmaterial, dass akustische Reize in actu einen Einfluss auf visuelle Stimuli haben können und sich das wahrgenommene Perzept dem akustischen Impuls anpasst:
Shams and colleagues report that when subjects are shown video in which a circular black disk briefly appears or flashes one time, while presented with audio of two brief beeps, they report visually experiencing two flashes. The sound-induced flash illusion involves the modulation of visual experience by audition. (OâCallaghan 2008, 10)
Des Weiteren zeigt sich die taktile Sinnprovinz als eine oft vernachlĂ€ssigte Dimension der phĂ€nosemiotischen WahrnehmungsnĂ€he, denn die Relation aus Sehen und SpĂŒren kann ebenfalls zu beeindruckenden neurowissenschaftlichen und Ă€sthetischen QualitĂ€ten fĂŒhren. Bei der sogenannten Rubber Hand Illusion wird die visuelle Aufmerksamkeit auf eine Gummihand gelenkt, die an einem kĂŒnstlichen Arm befestigt ist, der wiederum an der Schulter eines Probanden befestigt wird. Der echte Arm wird hinter einer kleinen Wand verborgen und vor dem Blick des Probanden abgeschirmt. Dann beginnt der Versuchsleiter damit, die echten Finger (hinter der Wand verborgen) und die Finger an der Gummihand mit einem Pinsel simultan zu streicheln. Der Proband sieht, dass die Gummihand berĂŒhrt wird und empfindet den taktilen Reiz gleichzeitig an seiner verborgenen Hand. Nach einer kurzen Zeit beginnt das Gehirn, die dem taktilen Impuls ausgesetzte Gummihand mit dem eigenen Körper zu verknĂŒpfen und diese Wahrnehmung konsequent in eine konsistente Mir-Zugehörigkeit oder Meinigkeit (vgl. Metzinger 2000) als phĂ€nomenalen Gehalt der subjektiven Erfahrung zu ĂŒberfĂŒhren. Sehsinn und taktiler Impuls fĂŒhren zu einer intermodalen Konsistenz (vgl. Singer, 2009), die eine vollkommen authentische Wahrnehmung â als Modus der Beglaubigung eines Wahrnehmungseindruckes â stabilisieren kann.
Dass auch Ergebnisse im medizinischen Bereich hilfreich sind fĂŒr die Frage nach MedialitĂ€t und Wahrnehmung, lĂ€sst sich anhand der Ergebnisse von Vilayanur Ramachandran sehr gut nachvollziehen, der mit der Mirror Box den Phantomschmerz von Patienten mit Amputationen visuell behandelt. Bei der Mirror Box wird der reale Armstumpf in einer Box verborgen und an dessen eigentlich wahrnehmbarer Position wird ein Spiegel angebracht, welcher den gesunden Arm spiegelt. Der Proband hat dann den visuellen Eindruck, als wĂ€re die Amputation nicht existent. Das Spiegelbild stiftet somit einen visuellen Impuls, wĂ€hrend die Bewegungen der Arme und die subjektiv empfundene Bewegung der Phantomhand einen propriozeptiven Impuls manifestieren. Hierdurch entsteht die mental stabilisierte Meinigkeit eines gesunden Arms, die im Wahrnehmungsakt des Probanden konkret erfahrbar wird. Der Effekt ist eine visuell erzeugte Feedbackschleife. Die fehlende Hand kann kein Feedback an das Gehirn senden, doch der visuelle Impuls kann diese Aufgabe sinnvoll ĂŒbernehmen.
Die erwĂ€hnten Beispiele zeigen recht deutlich, dass sich Zeichenstrukturen und Zuordnungsvorschriften explizit im Akt der Wahrnehmung konstituieren können, indem sie direkt vom Potenzial der Sinnlichkeit â den einzelnen SinneskanĂ€len und der damit verbundenen Reizverarbeitung â abhĂ€ngig sind.
Innerhalb der Dimension verkörperter Medienerfahrungen zeigen sich zudem sensomotorische sowie propriozeptive Dynamiken als entscheidend fĂŒr die mediatisierten Wahrnehmungen. Konkret bedeutet es, dass ebenfalls Elemente des subjektiven Köperschemas eine orientierende Rolle spielen (wie hinten, vorn, oben, unten etc.), dass dem Gleichgewichtssinn und der raumzeitlichen Orientierung ein nicht zu unterschĂ€tzender Stellenwert zukommt, und dass ebenfalls leiblich-viszerale Regungen und Empfindungen, unkontrollierte Affekte, intentional gerichtete Emotionen, indirekte Stimmungen oder auch subjektive AtmosphĂ€renwahrnehmungen differenzierte Systemstufen einer medien-induzierten Erfahrung darstellen.
DarĂŒber hinaus leisten imaginative Prozesse einen evidenten Beitrag, damit die Regungen des Körper-Leib-Schemas nicht nur in die Konstitution unseres mentalen Modells der Lebenswelt ĂŒberfĂŒhrt werden, sondern ebenfalls im Kontext medialer Environments zur ĂuĂerung kommen. So wird es möglich, dass wir bildhafte Darstellungen von Verletzungen und Schnittwunden als wahrnehmungsnahe Zeichen auffassen können, welche direkt mit der persönlichen Erfahrung von Verletzungs- oder Schneideschmerzen korrelieren, und schnelle Kamerafahrten (phantom rides, rollercoaster POV) sowie unsteady footage eine gehemmte propriozeptive Synchronisierung zwischen Rezipient_in und medialem Artefakt auslösen können, so dass das Körperschema destabilisiert wird und sich die sogenannte motion sickness (nausea) in hohem MaĂe realisieren kann, oftmals als bewusst genutzter optischer Effekt im Horror- und Actionfilm. Selbst gustatorische Effekte sind nicht auszuschlieĂen, so verweist der PhĂ€nomenologe Dieter Lohmar auf die Effekte der phantasmatischen Selbstaffektion wĂ€hrend man einer Person beim Biss in eine Zitrusfrucht zusieht, wobei »Empfindungen, die nicht von Ă€uĂeren GegenstĂ€nden und auch nicht von unserem Leib herkommen, uns dennoch so vorkommen, als ob sie dies tĂ€ten« (Lohmar 2002, 67). Die Selbstaffektion initiiert
mit der Vorstellung von all dem, was mir z. B. eine Zitrone anschaulich gibt, ĂŒberhaupt erst eine begrĂŒndete Auswahl und Zusammenhang der geeigneten darstellenden Elemente in der Sinnlichkeit. (Lohmar 2008, 7)
Medien und interaktive Mediensysteme verfĂŒgen durch die Dynamik der Wahrnehmung ĂŒber eine spezifische AnschlussfĂ€higkeit fĂŒr imaginative Prozesse. Sie sind PrĂ€senzen mit einer raum-zeitlichen Bestimmtheit, jedoch sind sie mehr als ein passives Objekt. Sie folgen einem konsequenten Interaktionismus von Medium und Rezipient_in, wobei sich das Dazwischen als ein dynamischer, mediatisierter Raum konstituiert: weder nur Medium, noch ausschlieĂlich Rezipient_in, sondern vielmehr eine systemisch-relationale Wechselbestimmung beider. Auch wenn die erwĂ€hnten Beispiele fĂŒr Multisensorik und multimodale Wahrnehmung sehr erkenntnisreich sind, so muss bereits das Potenzial von zweidimensionalen Bildmedien (wie Fotografien, Illustrationen oder GemĂ€lden) betont werden, da die Imagination bereits in diesen FĂ€llen in der Lage ist, Wahrnehmungsattribute zu mobilisieren und assoziieren, die als Teilmenge subjektiver Erfahrungen mit dem visuellen Bildinhalt synchronisiert werden. Schon Maurice Merleau-Ponty argumentierte dahingehend, Bilder als imaginĂ€re ProjektionsflĂ€che zu beschreiben:
In der primordialen Wahrnehmung gibt es keinerlei Unterschied zwischen Tast- und Gesichtssinn. Erst die Wissenschaft vom menschlichen Körper bringt uns spĂ€ter bei, zwischen unseren Sinnen zu unterscheiden. Das erlebte Ding wird jedoch nicht auf der Basis von Sinnesdaten konstruiert oder rekonstruiert, sondern bietet sich von Anfang an als ein Zentrum dar, von welchem diese ausstrahlen. Wir sehen die Tiefe, das Samtene, die Weichheit, die HĂ€rte der GegenstĂ€nde â CĂ©zanne meinte sogar: ihren Duft. (Merleau-Ponty 2003, 12)
Das sensorische und perzeptuelle System fungieren als unterschiedlich operierende Funktionsstufen des medialen Körpers, wobei die einzelnen Sinne oftmals in multisensorischer Wechselwirkung Codes generieren, die dann wiederum Trigger fĂŒr das perzeptuelle System bereitstellen. Hier greift der Theorieansatz der intermodalen Konsistenz oder Kongruenz der Neurowissenschaften (z. B. Wolf Singer, Gerhard Roth), der von der Annahme einer sensorischen Hierarchie der sinnlichen Verarbeitung von AuĂenweltdaten ausgeht (vgl. Singer 2009, 105; Roth 1997, 322). Sensorische Inputs, die innerhalb des neuronalen Systems zu Perzepten werden, weisen demgemÀà spezifische Grade von IntensitĂ€t auf, je nachdem, welche exterozeptiven Sinne am Wahrnehmungsakt beteiligt sind. Der Tastsinn ĂŒbernimmt hierbei eine PrimĂ€rfunktion, hier ereignet sich das haptische Begreifen der Welt. Der Sehsinn ist nachgelagert und besitzt bereits Informationen durch den Tastsinn (also Raum, Ort, Lagebestimmung, Art und Weise von Objekten). An dritter Stelle befindet sich das Gehör, welches AtmosphĂ€ren erkennen und serielle Zeit-VorgĂ€nge kodieren kann (Musik, Sprache etc.), eine akustische Orientierung gilt allerdings als relativ unprĂ€zise. Dann folgen olfaktorische und gustatorische Sinnlichkeit. Nicht zu vergessen sind allerdings vier eigenstĂ€ndige Sinnesdimensionen der Interozeption, die als strukturelle Basissinne grundsĂ€tzlich unsere Wahrnehmungswirklichkeit konstituieren. Die Propriozeption bildet hier die Eigenwahrnehmung des individuellen Körperverhaltens im Raum aus (LageverĂ€nderung, Ortsbestimmung, körperliche Reaktion wie Ausweichen oder Ducken etc.). Die Viszerozeption hingegen stabilisiert die nach Innen gerichtete Wahrnehmung der eigenen OrgantĂ€tigkeiten. Thermozeption ermöglicht das Erfassen von Temperaturunterschieden (Hitze, KĂ€lte, angenehme WĂ€rme etc.) und die Nocizeption umfasst die Schmerzempfindung (der Stich- oder Schneideschmerz, Verbrennung, KĂ€lteschmerz etc.):
But perception is not just a matter of the classic five senses. Besides these five so-called exteroceptive senses seeing (visual), hearing (auditive), tasting (gustatory), smelling (olfactory) and touching (tactile/haptic), we also dispose of the senses of interoception: these are called proprioception, visceroception, thermoception, and nociception. Proprioception contains the vestibular sense and the sense of the concept of kinesthesia which is also called the sense of movement. The latter has been proved as a sense which includes muscle nerves activities. Visceroception means the perception of internal organs like hearing the blood flow through the veins, feeling oneâs heartbeat or sensing oneâs digestion. Thermoception is the sensing of heat and cold, and nociception means sensing pain (the latter are very closely attached to the haptic sense of touch). (Vgl. Gsöllpointner 2015, 112)
Dieses komplexe SinnesgefĂŒge innerhalb des sensorischen Systems ist kein schlichtes Mosaik von Sinnesimpulsen, sondern ein komplexes Netzwerk multimodaler Inputs (vgl. Talsma 2015). Diese Inputs dĂŒrfen nicht als Mechanismen fehlinterpretiert werden, die sich schlicht in unserem neuronalen System passiv im Sinne eines naiven Realismus abbilden (vgl. Mausfeld 2010), denn vielmehr sind die sensorischen Inputs als Erregungsmuster zu begreifen, die erst innerhalb neuronaler Konzeptordnungen zu Inhalten unserer Erfahrungswirklichkeit werden:
Denn der Input ist stets nicht mehr als ein physikalisches Energiemuster, wÀhrend alle Bedeutungskategorien gerade das Produkt mentaler AktivitÀt sind. (Mausfeld 2010, 6)
PhÀnosemiotische Zeichendynamik
Durch eine phÀnosemiotische Analyse soll die Offenlegung wahrnehmungstheoretischer und semiotischer Systemebenen von interaktiven Medientechnologien erreicht und eine ganzheitliche Perspektivierung innerhalb eines Zustandsmodells vorgenommen werden.
Die an der philosophischen Logik orientierte Darstellungsweise der phĂ€nosemiotischen Systemebenen (Abbildung 1) hat zum Ziel, zunĂ€chst die partizipierenden und ausgeprĂ€gten Variablen zu kennzeichnen und darĂŒber hinaus Auskunft ĂŒber die auffindbaren Systemebenen der verschiedenen phĂ€nosemiotischen Relationen zu geben. Die AufschlĂŒsselung der Systemebenen erfolgt als Formeldarstellung weiter unten. Das so entwickelte Modell der PhĂ€nosemiose prĂ€zisiert und kategorisiert die rezeptive Dynamik von verkörperten und mentalen Prozessen, wĂ€hrend der oftmals multimodalen bzw. multisensorischen Verarbeitung von sensorischen Inputs und perzeptuellen Konzepten.
Die PhÀnosemiose wird bewusst an der prozessualen Systemrelation der Semiotik angelehnt (mit Zeichenmittel, Objektbezug und Interpretant), um gezielt ein monokausales oder statisches VerstÀndnis von Medium und Bedeutung zu verhindern, um dann im weiteren Verlauf ebenfalls die prozessuale Dynamik von Wahrnehmungs- und Zeichenprozessen zu integrieren:
Kunstwerke sind Angebote zur Wahrnehmung. Die neuen Erkenntnisse ĂŒber die Aufnahme und die Verarbeitung von SinneseindrĂŒcken zeigen auch die Kunst in neuem Licht. (Franke 1974, 11)
Von einem Zeichen (s, sign) oder Zeichensystem lĂ€sst sich sprechen, wenn die primĂ€re Relation (r1) von Representamen (rep), Objektbezug (o) und Interpretant (i) zum Ausdruck gebracht wird (vgl. Seel 1991, 14). Wenden wir die Zeichenrelation s = r1 (rep, o, i) an dem Beispiel einer Fotografie mit dem Motiv eines Apfels an, dann zeigt sich dieses Bildzeichen als eine primĂ€re Relation (r1) der MaterialitĂ€t des Fotos (rep), der fotografisch-apparativen Darstellung des Apfel-Motivs (o) sowie der mentalen VerknĂŒpfung (i) dieser Zeichenebenen: der notwendigen und zeichenbindenden FĂ€higkeit, dass die ikonische ReprĂ€sentation des Apfels mit der kausalen (indexikalischen) Logik (der fotografischen Manifestation) eines echten Apfels in Verbindung gebracht wird. Weitere Anhaltspunkte, um den Interpretanten7 nĂ€her zu spezifizieren, liefert Charles S. Peirce, der ihn ebenfalls mit dem Konzept »Geist« (Peirce 2000, 188) und der Ordnungsfunktion von »SinneseindrĂŒcken« (Peirce 2000, 153) in Verbindung bringt. Hervorzuheben ist in moderner Perspektive besonders Lars Elleström, der die Wendung »cognitive import« (Elleström 2016) heranzieht.
Zeichen werden demnach besser verstÀndlich, wenn diese als prozessuale Zeichenrelation aufgefasst werden, wobei ein Transferprozess die materielle Dimension aus ZeichentrÀger und Objektbezug umfasst, um dann den immateriellen Funktionshorizont des Mentalen zu integrieren. Mit Hinblick auf die multimodalen und poly-sensuellen Medientechnologien erscheint eine Erweiterung der primÀren Zeichenrelation notwendig, vor allem in Hinblick auf die Dynamik der Wahrnehmung. WÀhrend die Zeichenrelation s = r1 (rep, o, i) bei einem Apfelmotiv (Fotografie) noch ausreichend ist, bedarf sie vor allem bei interaktiven Medientechnologien wie Video- und Computerspielen oder haptischen VR-Systemen (wie Aireal, Disney Research) oder olfaktorisch-gustatorischen VR-Systemen (wie MetaCookie+, Tokyo University) oder Virtual-Comics (Entwickler opamp) einer erweiterten Systematisierung, da diese Systeme die verschiedenen intero- und exterozeptiven SinnesmodalitÀten der Rezipient_in unterschiedlich adressieren.
Die Systematisierung erfolgt durch die Integration der Analyse-Variablen aus der Erforschung der Virtual Reality und den Prozessen des Empfindens medienbasierter PrÀsenz (telepresence oder presence). Telepresence (Abbildung 2) beschreibt das PhÀnomen einer »experience of presence in an environment by means of a communication medium« (Steuer 1995, 36).
Das PrĂ€senzerleben vollzieht sich in mentaler und leiblicher Relation zu einem Mediensystem, wobei presence dann durch die Korrelation von vividness (Lebendigkeit) und interactivity (InteraktivitĂ€t) hergestellt wird. Vividness integriert die Systemelemente des Umfanges einer medialen Erfahrung (breadth, b), abhĂ€ngig von den beteiligten Sinnen des sensorischen Systems, und der medialen IntensitĂ€t (depth, d), als QuantitĂ€t und QualitĂ€t der DatenĂŒbertragung, Datenmenge, Datenformat, SpeicherfĂ€higkeit oder Prozessorgeschwindigkeit des technischen Systems. Interactivity integriert die Systemelemente speed (sp), als Reaktionszeit auf den medialen Input und Einwirkzeit der temporalen Partizipation am medialen Input oder Environment. Range (ra) beschreibt den Handlungs- und Aktionsradius der aktiven Manipulation, die Einflussnahme auf Elemente des medialen Environments und die eventuell entstehende Interaktion dieser Elemente untereinander. Mapping (ma) umfasst abschlieĂend den Funktionshorizont der Verbindung von Rezipienten_in-Körper und Medium, wobei der Schwerpunkt auf der Funktionsweise und den Steuerungs- und Handlungspotentialen des Interface liegt.
Die phÀnosemiotische Zeichendynamik integriert den Funktionshorizont der (tele)presence in die Zeichenrelation s = r1 (rep, o, i), um eine Modifizierung der materiellen Mediendimensionen des Representamen (rep) und des davon abhÀngigen Objektbezugs (o) sowie eine Anpassung der immateriellen Mediendimension des Interpretanten (i) zu erreichen. Der Interpretant wird erweitert, indem die Wahrnehmungsordnung der Relation und des Transfers aus sensorischen Daten und perzeptueller Erfahrungswirklichkeit (vgl. Mausfeld 2010) integriert wird. Der Interpretant (i) ist demnach selbst abhÀngig von einer sekundÀren Relation (r2) aus sensorischem (s) und perzeptuellem (p) System: i = r2 (s, p). Hier wird deutlich, dass die VerhÀltnisbestimmung von s und p noch einer Erweiterung bedarf, die sich selbst als eine Relation dritter Ordnung darstellen lÀsst.
Werden die TheorieansĂ€tze aus Wahrnehmungstheorie, Zeichentheorie und Presence Research zusammengefĂŒhrt, dann können die verschiedenen Ebenen der Phenosemiotic Sign Relation wie folgt dargestellt werden:
ps = r1 [rep ⧠o = int (r2 (sp, ra, ma)) ⧠i (r2 (s (r3a (tac, vis, aud, olf, gust) ⧠r3b (prop, visc, therm, noci)) ⧠p)) = ⚠(r2 (b = i, d))]
Die Phenosemiotic Sign Relation (ps) konstituiert sich durch drei grundsÀtzlich zu unterscheidende Systemrelationen auf verschiedenen deskriptiven Beschreibungsebenen (r1, r2, r3a und r3b).
Die primĂ€re Relation (r1) ist das VerhĂ€ltnis aus Representamen (rep) und dem Objektbezug (o), wobei dieses Und-VerhĂ€ltnis durch einen logischen Konjunktor ausgedrĂŒckt wird (â§). Innerhalb der phĂ€nosemiotischen Relation rep ⧠o findet eine logische Entsprechung und Gleichsetzung (=) mit den SystemgröĂen der InteraktivitĂ€t (int) statt, die ihrerseits durch die sekundĂ€re Relation (r2) von speed (sp), range (ra) und mapping (ma) gebildet wird.
ErgĂ€nzt wird die primĂ€re Relation (r1) durch den Interpretanten (i), der mittels Und-VerhĂ€ltnis (â§) in Beziehung gesetzt werden kann (rep ⧠o = int ⧠i). Der Interpretant (i) und dessen sekundĂ€re Relation (r2) aus sensorischem (s) und perzeptuellem (p) System lĂ€sst sich durch die tertiĂ€re Relation von r3a ⧠r3b des sensorischen (s) Systems weiter spezifizieren. Hier reprĂ€sentiert r3a die Exterozeption des sensorischen Systems gemÀà der Annahme einer Hierarchie der Sinne von TaktilitĂ€t, VisualitĂ€t, Audition, Olfaktorik und Gustatorik (tac, vis, aud, olf, gust). Hingegen reprĂ€sentiert r3b die Interozeption des sensorischen Systems mit Propriozeption, Viszerozeption, Thermozeption und Nocizeption (prop, visc, therm, noci).
Innerhalb der Phenosemiotic Sign Relation befindet sich das SystemgefĂŒge aus i (r2 (s (r3a ⧠r3b) ⧠p) in einer logischen Entsprechung zu vividness (v), welche durch die sekundĂ€re Relation (r2) aus breadth (b) und depth (d) gebildet wird. Innerhalb der logischen Darstellung kann breadth (b) jedoch als gekĂŒrzt (durchgestrichen) dargestellt werden, da es innerhalb von presence research das theoretische Ăquivalent des Interpretanten (i) und dessen Systemrelationen darstellt: âš (r2 (b = i, d)).
Analytische Betrachtung von Virtual-Comics und Schlussfolgerung
In den jĂŒngsten Entwicklungen im Bereich der Programmierung von virtuellen Prototypen lassen sich verschiedene Versuche ausmachen, um das Konzept des analogen Lesens in den Kontext der virtuellen RealitĂ€t zu ĂŒberfĂŒhren. Hierbei handelt es sich konkret noch nicht um finale Endversionen fĂŒr Konsumenten, sondern noch um modifizierbare und teilweise unausgereifte Entwickler-Anwendungen im Kontext von Kickstarter-Kampagnen.
Mit Virtual-Comics (shared oculus community, Entwickler opamp) liegt ein durchaus als funktionsfÀhig zu betrachtender Prototyp vor, dessen Anwendungstauglichkeit in der Entwickler-Szene und den einschlÀgigen VR-Foren bereits umfangreich getestet wurde, der allerdings derzeit noch nicht kÀuflich zu erwerben und nur direkt beim Entwickler zu beziehen ist (Abbildung 3).
Abb. 3: Zach Johnson steuert in diesem Letâs Play Video mit der Kopfbewegung (links, rechts) die Visualisierung der library folder.
Nach dem Start von Virtual-Comics befindet man sich innerhalb einer virtuellen und 3D-Darstellung des Weltalls, wobei der simulative Bildraum die Rezipient_in visuell einschlieĂt (unter Einsatz eines head mounted displays). Selbst ein steiler Blick nach oben oder unten oder eine Körperdrehung nach hinten sind innerhalb der konstanten Raumerfahrung möglich. Ăber die library folder lassen sich beispielsweise nach Alphabet gespeicherte Comic-Dateien abrufen, wobei eine finale Auswahl dann ĂŒber den Druck der Maustasten möglich wird. Je schneller und weiter der Kopf nach links oder rechts bewegt wird, desto höher ist die Geschwindigkeit der Visualisierung der Wegstrecke der einzelnen folder (diese reichen von A bis Z und dann direkt anschlieĂend von 1 bis 9). WĂ€hrend die folder am visuellen Sichtfeld vorĂŒberziehen, wird die Dynamik und Geschwindigkeit der Bewegung mittels eines spezifischen Sounds reprĂ€sentiert (je schneller die Bewegung, desto schneller der Sound). Entscheidet sich die Leser_in fĂŒr einen Comic und steuert dieser den zugehörigen folder an, wird mit dem Druck auf die Maustaste auf den Comic zugegriffen. In diesem MenĂŒbereich ist die Freiheit des Blicks und der Kopfbewegung eingeschrĂ€nkt, da es innerhalb dieser Steuerungsebene konkret um die finale Auswahlentscheidung der Leser_in geht. Der visualisierte Comic ist auf dieser Ebene von beiden Seiten mit Pfeilen flankiert, die auf das Moment der Auswahl verweisen, und im erweiterten Sichtfeld sorgen visualisierte Stopp-Schilder fĂŒr die Markierung der Bild- und Blickgrenze (Abbildung 4).
Abb. 4: Im AuswahlmenĂŒ verweisen Pfeile auf die wĂ€hlbaren Comics und Stopp-Schilder markieren die Bild- und Blickgrenze.
Entscheidet sich die Leser_in fĂŒr einen Comic, wird mittels Maustaste auf diesen zugegriffen. Mit dem eigentlichen Lesemodus des Readers wird letztendlich eine dritte interaktive Systemebene des Bildraums erreicht, wobei man den Comic (mit Blick auf die regulĂ€re Titelseite) vor sich im simulativen Bildraum des virtuellen Universums schweben sieht. Mit der Steuerung der Maus (ĂŒber das scrollwheel) lĂ€sst sich dann die Distanz bzw. NĂ€he zwischen dem eigenen, virtuellen Betrachterstandpunkt und der visualisierten Comic-Seite bestimmen. Der subjektive Blick steht in der Rezeptionssituation in direkter Korrelation zur Kopfbewegung, denn die VerĂ€nderung der Lagebestimmung des eigenen Kopfes verĂ€ndert neben dem individuellen Fokus auf die Seite ebenfalls die eigene geografische Position zur Seite (hoch, runter, links und rechts).
Abb. 5: Der Blick nach unten links sorgt hier fĂŒr eine individuelle Anpassung des Betrachterstandpunkts auf den Bereich unten links.
Ebenso sind individuelle Interaktionen mit der jeweiligen Seite möglich, die sich als eine irreale oder nicht-standardisierte Lesesituation beschreiben lassen, indem dann extreme Nahaufnahmen, Steilaufsichten und extreme Kadrierungen und Perspektiven (und damit extreme ErlebnisrĂ€ume im VR-Szenario) möglich werden. Durch diese Dynamisierung der Betrachterposition entfaltet sich das visuelle Potenzial der virtuellen Raumdynamik, da erst der individuelle Blick die körperlich-partizipative Raum-Dimensionierung aktiv im Handlungsakt hervorbringt und letztlich auch koordiniert (Abbildung 6). Hierdurch wird die Comic-Erfahrung zu einem propriozeptiven und visuellen Experiment, wobei es nicht ausschlieĂlich um LesevergnĂŒgen geht, sondern um das Ausloten der medialen und körperlichen Möglichkeiten im virtuellen Raum. Der VR-Raum ist die Gesamtheit des sichtbaren Weltalls, die Comic-Seite hat nur einen kleinen visuellen Anteil. Das LesevergnĂŒgen bestimmt sich durch die Relation von verkörperter Betrachterperspektive und den extremen und durch den Rezipienten aktiv gesteuerten Darstellungsweisen der Comic-Seite.
Abb. 6: In der extremen Froschperspektive befindet sich die Comic-Seite dominant vor dem Betrachter.
Virtual-Comics zeigt sich als adÀquates Beispiel eines immersiven Mediums, wobei der Immersionsbegriff explizit auf Medien angewendet werden kann, die ein leibliches Eintauchen thematisieren oder imaginative AnnÀherungen an ein Mediensystem beschreiben. Wichtiges Kriterium ist stets eine mögliche »Verringerung der Distanz zwischen Medium und Rezipienten« (vgl. Hochscherf/KjÀr/Rupert-Kruse 2011, 10). Diese Verringerung generiert verschiedene Formen des PrÀsenzerlebens, die einerseits von den technisch-apparativen Möglichkeiten des Mediums und andererseits von den psychologischen Kompetenzen und Interaktionen der Rezipient_in abhÀngen. Mit der Differenzierung von Matthew Lombard und Theresa Ditton lassen sich hier perceptual immersion und psychological immersion unterscheiden (vgl. 1997, k. S.).
Erstere, die auch als technische oder apparative Immersion bezeichnet werden kann, beschreibt die Konstitution des Mediums als immersiv. Es wird folglich als multi-sensorische Reizquelle verstanden, welche die Sinne der Rezipienten mit vermittelten Informationen ĂŒberflutet [...]. Daneben bezieht sich die psychological immersion darauf, wie stark die mentale Modellierung der virtuellen Welt die geistigen Ressourcen der Rezipienten beansprucht. (Hochscherf/KjĂ€r/Rupert-Kruse 2011, 13)
Mit der Analyse der verschiedenen phĂ€nosemiotischen Zeichenebenen erhĂ€lt man ein analytisches Zustandsmodell von Virtual-Comics, in welchem sich die verschiedenen relationalen BezĂŒge aus ZeichentrĂ€ger(n), ObjektbezĂŒgen und der prozessualen Dynamik des Interpretanten erfassen lassen (Abbildung 7). Der Vorteil der phĂ€nosemiotischen Analyse liegt in der Integration und Offenlegung wahrnehmungstheoretischer Anteile (expliziter Bezug zur perceptual immersion), die sich wĂ€hrend der Medienrezeption ereignen, wobei hingegen das perzeptuelle System (p) die subjektive und bereits reflektierte Erfahrungswirklichkeit beschreibt.
In der Anwendung von ps = r1 [rep ⧠o = int (r2 (sp, ra, ma)) ⧠i (r2 (s (r3a (tac, vis, aud, olf, gust) ⧠r3b (prop, visc, therm, noci)) ⧠p)) = âš (r2 (b = i, d))] lĂ€sst sich der ZeichentrĂ€ger (rep) selbst als mehrteiliger und multimodaler Medienverbund bestimmen: Das head mounted display generiert den visuellen Raum, die positional camera ĂŒbertrĂ€gt die physikalische Bewegung des Kopfes des Users in das virtuelle Szenario, die Maus dient als Auswahlinstrument sowie Steuerung fĂŒr die NĂ€he-Distanz-Beziehung zwischen subjektiver Perspektive und Comic-Seite und die Tastatur fungiert als Basis-Interface. Die Objektdarstellungen oder zeichentheoretischen ObjektbezĂŒge stehen in einem gegenseitigen WechselverhĂ€ltnis, orientiert an einer Figur-Hintergrund-Beziehung, denn die virtuelle ReprĂ€sentation des Universums/Weltalls bestimmt selbst die visuelle Raumdynamik (Hintergrund) und die reprĂ€sentierte Comic-Seite bindet als zentrale Figur die primĂ€re Aufmerksamkeit und wird zum körperlich-partizipativen Aufmerksamkeitsanker fĂŒr Blick, Bewegung und Erfahrungsdynamik. In vertiefender Analyse steht speed fĂŒr die Umsetzung einer sinnvoll austarierten Reaktionszeit und des Verhinderns störender Latenzzeiten im Kontext von subjektiver Kopfbewegung und der davon abhĂ€ngigen ReprĂ€sentation der Comic-Seite. Range bezieht sich auf die rĂ€umlichen Freiheitsgrade der visuellen und propriozeptiven Interaktion mit der Comic-Seite. Mapping steht fĂŒr die realisierte Mensch-Maschine-Schnittstelle aus head mounted display, verkörperter Interaktion und der durch die Maus gesteuerten NĂ€he-Distanz-Beziehung. Die Funktionsstufe des Interpretanten gibt vertiefende Auskunft ĂŒber eine Relation extero- und interozeptiver Wahrnehmungsdynamik und liefert die sensorische BegrĂŒndung dafĂŒr, welche Sinnesbeteiligungen einen Einfluss auf die Bedeutungsstrukturen haben können. Der Exterozeption lassen sich hier die visuelle und die auditive SinnesmodalitĂ€t zuordnen, indem das Sehen den virtuellen Raum optisch erschlieĂt und spezifische Handlungen mit dargestellten Objekten akustisch charakterisiert werden. Der dominante Rezeptions-Faktor wird durch die Interozeption (hier Propriozeption) bestimmt, da die subjektive Bewegung als eine synchronisierte und verkörperte Interaktion zu beschreiben ist, von der ausgehend der virtuelle Raum, die MenĂŒfĂŒhrung und -logistik sowie die virtuelle Positionierung zur Comic-Seite erst hergestellt werden kann. Die extero- und interozeptive Dynamik steuern eine wahrnehmungstheoretische Rezeption, deren Effekt eine von Störimpulsen freie subjektive Erfahrungswirklichkeit (p) ist, in der sich die handlungslogischen Parameter mit den technischen Strukturen des Mediensystems synchronisieren. Schlussendlich zeigt sich hier die technische Dominanz und Notwendigkeit von depth als BestimmungsgröĂe von Datenmenge und DatenĂŒbertragungsrate und technische Grundbedingung fĂŒr das Funktionieren des Mediensystems.
SchlussĂŒberlegungen
Die Erforschung des Comics hat in den letzten Jahren eine zunehmende produktive Vertiefung erfahren, da sich dem komplexen Artefakt vor allem mit interdisziplinĂ€rer Verve genĂ€hert wurde (vgl. Dolle-Weinkauff 2014, Wilde 2014, Wildfeuer/Bateman 2014). Dieser Artikel hat sich bewusst fĂŒr eine andere, weniger herkömmliche Perspektive entschieden, um sich mit dem Analysegegenstand âșComicâč zu befassen, und daher explizit die StrukturgröĂen der Wahrnehmung und der MedienmaterialitĂ€t an den Ausgangspunkt der Ăberlegungen gestellt. Mit diesem Vorgehen konnte ebenfalls einer interdisziplinĂ€ren Vorgehensweise gefolgt werden, da mit dem vorgeschlagenen Analyseverfahren der PhĂ€nosemiose einerseits die Wahrnehmungsbezogenheit und andererseits die Zeichenhaftigkeit von Virtual-Comics analytisch prĂ€zisiert wurden.
Die phĂ€nosemiotische Analyse (Abbildung 7) zeigt sich als ein geeignetes Werkzeug, um eine zeichentheoretische Systematisierung von Medien, in Verbindung mit den Aspekten der Wahrnehmung und den immersionsbestimmenden Kategorien, vorzunehmen. Diese Vorgehensweise mag zwar auf den ersten Blick ungewöhnlich, technisch und medienmaterialistisch erscheinen, sie wird aber genau dann notwendig, wenn die Menge der Technologien innerhalb eines Medienverbundes eine klare Zuordnung von ZeichentrĂ€ger, Objekt und Interpretant erschwert, wenn nicht sogar völlig unmöglich macht. PhĂ€nosemiose orientiert sich dabei an der Logik der Zustandsmodelle und der informationstheoretischen Ăsthetik:
Die âșInformationsĂ€thetikâč, die mit semiotischen und mathematischen Mitteln arbeitet, kennzeichnet die âșĂ€sthetischen ZustĂ€ndeâč, die an NaturgegenstĂ€nden, kĂŒnstlerischen Objekten, Kunstwerken oder Design beobachtbar sind, durch Zahlenwerte und Zeichenklassen, das heiĂt aber, sie definiert sie als eine besondere Art von âșInformationâč, eben als âșĂ€sthetische Informationâč, die relativ zu einer Quelle, das heiĂt einem Repertoire von Elementen oder materialen Mitteln gebildet wird. Die Theorie widmet sich zwar vorwiegend âșmaterialenâč Problemen, ignoriert aber keineswegs die âșintentionalenâč. (Bense 1969, 7)
Bewusst wurde darauf verzichtet, den primĂ€ren Fokus auf das Konzept des Comics als Medium sui generis zu legen, sondern das virtuelle â und damit notwendigerweise technologische â SystemgefĂŒge von Virtual-Comics als Funktionshorizont eines virtuellen Meta-Mediums zu plausibilisieren.
Mit dem Fokus auf Technologie konnte ein produktiver Fokus auf die MaterialitĂ€t des Mediums Virtual-Comics gelegt und darĂŒber hinaus ein erweiterter Analysegegenstand in den Comic-Diskurs integriert werden, der sich durch den Methoden- und Perpektivhorizont der presence-evoking media technologies (vgl. Lombard/Ditton 1997) sinnvoll ergibt. Denn bei Virtual-Comics geht es nicht um eine schlichte technologische »Einbettung in bestimmte TrĂ€germedien« (Wilde 2016), wie beispielsweise innerhalb einer App oder eines Tablet-Readers, sondern um eine systematischere Hybridisierung des Comic-Artefakts mit den immersionsbestimmenden Kategorien vividness und interactivity, die sich erst vollstĂ€ndig ĂŒber die VR-Technologie des head mounted displays realisieren lĂ€sst. Es sind demnach die BestimmungsgröĂen von vividness und interactivity, die auf Basis der technologischen MaterialitĂ€t und Systematisierung einen direkten Einfluss nehmen auf die Rezeptions- und Wahrnehmungsweiseweise des Comics â stuff matters!
_______________________________________________________
Bibliografie
- Bense, Max: EinfĂŒhrung in die informationstheoretische Ăsthetik. Grundlegung und Anwendung in der Texttheorie. Hamburg: Rohwolt, 1969.
- Biocca, Frank et al: The Vision of Virtual Reality. In: Communication in the age of virtual reality. Hg. v. Frank Biocca u. Mark R. Levy Hillsdale (New Jersey): Lawrence Erlbaum Associates, 1995a, S. 3â14.
- Biocca, Frank u. Mark R. Levy: Virtual Reality as a Communication System. In: Communication in the age of virtual reality. Hg.:Frank Biocca u. Mark R. Levy, Hillsdale (New Jersey): Lawrence Erlbaum Associates, 1995b, S. 15â32.
- Czitrom, Daniel: Media and the American mind: From Morse to McLuhan. Chapel Hill: Univ. of North Carolina Press, 1982.
- de Kerckhove, Derrick: Schriftgeburten. Vom Alphabet zum Computer. MĂŒnchen: Wilhelm Fink Verlag, 1995.
- Dolle-Weinkauff, Bernd: Vom Einzelbild zur ErzĂ€hlung. Narrative Dynamik in Bildgeschichte und Comic. In: Auf dem Sprung zum bewegten Bild. Narration, Serie und (proto-)filmische Apparate. Hg. v. Lars C. Grabbe, Dimitri Liebsch u. Patrick Rupert-Kruse. Köln: Herbert von Halem, 2014, S. 81â113.
- Driver, Jon u . Toemme Noesselt: Multisensory Interplay Reveals Crossmodal Influences on âșSensory-Specificâč Brain Regions, Neural responses, and Judgments. In: Neuron 57, January 10, 2008, S. 11â23.
- Flusser, Vilém: Medienkultur. Frankfurt a.M.: Fischer, 1997.
- Franke, Herbert W.: PhĂ€nomen Kunst. Die kybernetischen Grundlagen der Ăsthetik, Köln: DuMont, 1974.
- Grabbe, Lars C.: Homo Immergens. Immersion als Parameter fĂŒr eine Medien- und Kulturtheorie medialer HybriditĂ€t. In: Visual Past. A Journal for the Study of Past Visual Cultures (open access), No. 1. <http://www.visualpast.de/archive/pdf/vp2015_0527.pdf>. 2015a. Letzter Zugriff am 20.06.2016.
- Grabbe, Lars C.: Cyborgian Contact with Content? The Phenosemiotics of Interactive Media Systems. In: Cyborgian Images. The Moving Image between Apparatus and Body, Yearbook of Moving Image Studies (YoMIS). Hg. v. Lars C. Grabbe, Patrick Rupert-Kruse u. Norbert M. Schmitz, Darmstadt: BĂŒchner-Verlag, 2015b, S. 67â89.
- Grabbe, Lars C. u. Patrick Rupert-Kruse: PhĂ€nomenologie/Aisthetik. In: Bild und Methode. Theoretische HintergrĂŒnde und methodische Verfahren der Bildwissenschaft, Hg. v. Netzwerk Bildphilosophie, Köln: Herbert von Halem, 2014, S. 95â105.
- Gsöllpointner, Katharina: Digital Synesthesia. The Merge of Perceiving and Conceiving. In: Yearbook of Moving Image Studies: Cyborgian Images. The Moving Image between Apparatus and Body, Issue 1. Hg. v. Lars C. Grabbe, Patrick Rupert-Kruse, Norbert M. Schmitz, Darmstadt: BĂŒchner-Verlag, 2015, S. 102â127.
- Hochscherf, Tobias; Heidi KjĂ€r, u. Patrick Rupert-Kruse: Einleitung. PhĂ€nomen und Medien der Immersion. In: Jahrbuch immersiver Medien, 2011, S. 9â20.
- Lohmar, Dieter: Ăber phantasmatische Selbstaffektion in der typisierenden Apperzeption und im inneren Zeitbewusstsein. Beitrag zur Konferenz »Attualida della Phenomenologia«, 2002. <http://www.ledonline.it/leitmotiv/Allegati/leitmotiv030304.pdf>. Letzter Zugriff am 20.06.2016.
- Lohmar, Dieter: PhÀnomenologie der schwachen Phantasie. Untersuchungen der Psychologie, Cognitive Science, Neurologie und PhÀnomenologie zur Funktion der Phantasie in der Wahrnehmung (Phaenomenologica, 185). Springer: Dordrecht, 2008.
- Lombard, Matthew u. Theresa Ditton: At the Heart of it All: The Concept of Presence. In: Journal of Computer-Mediated Communication, 3, 2. <http://onlinelibrary.wiley.com/doi/10.1111/j.1083-6101.1997.tb00072.x/full>. 1997. Letzter Zugriff am 20.06.2016.
- Malafouris, Lambros: Before and Beyond Representation. Towards an Enactive Conception of the Palaeolithic Image. In: Image and Imagination. A Global History of Figurative Representation. Hg. v. Colin Renfrew u. Iain Morley, Cambridge: McDonald Institute for Archaeological Research, 2007, S. 289â302.
- Mausfeld, Rainer: Wahrnehmungspsychologie. In: Kiel Visual Perception Lab, S. 1â30. <http://www.uni-kiel.de/psychologie/psychophysik/mausfeld/Wahrnehmung.pdf>. 2010. Letzter Zugriff am 20.06.2016.
- McLuhan, Marshall: Understanding Media. The Extensions of Men. New York u. London: Routledge, 2001.
- Merleau-Ponty, Maurice: Das Kino und die neue Psychologie. In: Philosophie des Films. Grundlagentexte, Hg. v. Dimitri Liebsch, Paderborn: mentis, 2003, S. 70â84.
- Metzinger, Thomas: Philosophische Perspektiven auf das Selbstbewusstsein. Die Selbstmodell-Theorie der SubjektivitÀt. In: Psychologie des Selbst. Psychologie Verlagsunion. Hg. v. Greve Werner. <http://www.philosophie.uni-mainz.de/metzinger/publikationen/SMT-light2UTB.pdf>. 2000. Letzter Zugriff am 20.06.2016.
- Moles, Abraham A.: Informationstheorie und Àsthetische Wahrnehmung. Köln: DuMont, 1971.
- Mosbach, Doris u. Klaus Sachs-Hombach: Bildverwendungstypen. In: Glossar der Bildphilosophie, Ausgabe 1. <http://www.gib.uni-tuebingen.de/netzwerk/glossar/index.php?title=Bildverwendungstypen>. 2013. Letzter Zugriff am 04.11.2016.
- Nanay, Bence: The Multimodal Experience of Art. In: British Journal of Aesthetics 2012, 52 (4), S. 353â363.
- Nanay, Bence: Between Perception and Action, Oxford: Oxford Univ. Press, 2013.
- OâCallaghan, Casey: Seeing What You Hear: Cross-Modal Illusions and Perception. S. 1â28. <http://caseyocallaghan.com/research/papers/ocallaghan-2008-Crossmodal.pdf>. 2008. Letzter Zugriff am 20.06.2016.
- Peirce, Charles S.: Semiotische Schriften, Band 1. Hg. v. Christian J. W. Kloesel, Helmut Pape, Frankfurt a. M.: Suhrkamp, 2000.
- Roth, Gerhard: Das Gehirn und seine Wirklichkeit. Kognitive Neurobiologie und ihre philosophischen Konsequenzen, Frankfurt a.M.: Suhrkamp, 1997.
- Sachs-Hombach, Klaus: Bildbegriff und Bildwissenschaft. In: Kunst â Gestaltung â Design, Heft 8. SaarbrĂŒcken: Verlag St. Johann, 2001, S. 3â26.
- Sachs-Hombach, Klaus: Das Bild als kommunikatives Medium. Elemente einer allgemeinen Bildwissenschaft. Köln: Herbert von Halem, 2003.
- Sachs-Hombach, Klaus u. Jörg R. J. Schirra: Anthropologie in der systematischen Bildwissenschaft: Auf der Spur des homo pictor. <http://jrjs.bplaced.net/www/Work/Papers/P11/P11-1/Anthropologie-Bildwissenschaft.pdf>. 2008. Letzter Zugriff am 20.06.2016.
- Sachs-Hombach, Klaus u. Jörg R. J. Schirra: Medientheorie, visuelle Kultur und Bildanthropologie. In: Bildtheorien. Anthropologische und kulturelle Grundlagen des Visualistic Turn. Hg. v. Klaus Sachs-Hombach, Frankfurt am Main: Suhrkamp, 2009, S. 393â426.
- Seel, Norbert M.: Weltwissen und mentale Modelle. Göttingen: Hogrefe, 1991.
- Singer, Wolf: Das Bild in uns. Vom Bild zur Wahrnehmung. In: Bildtheorien. Anthropologische und kulturelle Grundlagen des Visualistic Turn Hg. v. Klaus Sachs-Hombach, Frankfurt am Main: Suhrkamp, 2009, S. 104â126.
- Stein, Barry E., Terrence R. Stanford u. Benjamin A. Rowland: The Neural Basis of Multisensory Integration in the Midbrain. Ist Organization and Maturation. In: Hear Res. 258(1-2), 2009, S. 4â15. doi:10.1016/j.heares.2009.03.012.
- Steuer, Jonathan: Defining Virtual Reality: Dimensions Determining Telepresence. In: Communication in the age of virtual reality. Hg. v. Frank Biocca u. Mark R. Levy, Hillsdale (New Jersey): Lawrence Erlbaum Associates, 1995, S. 33â56.
- Sutherland, Ivan: The ultimate display. Proceedings of the International Federation of Information Processing Congress, 2, 1965, S. 506â508.
- Talsma, Durk: Predictive coding and multisensory integration. An attentional account of multisensory mind. In: Frontiers in Integrative Neuroscience, Volume 9, Article 19, 2015, S. 1â13.
- Wiesing, Lambert: Artifizielle PrÀsenz. Studien zur Philosophie des Bildes. Frankfurt a. M.: Suhrkamp, 2005.
- Wilde, Lukas R. A.: Was unterscheiden Comic-âșMedienâč? In: Closure. Kieler e-Journal fĂŒr Comicforschung, Nr. 1, 2014, S. 25â50.
- Wilde, Lukas R. A.: Comic. In: Glossar der Bildphilosophie, Ausgabe 1. <http://www.gib.uni-tuebingen.de/netzwerk/glossar/index.php?title=Comic#cite_note-3>. 2016. Letzter Zugriff am 04.11.2016.
- Wildfeuer, Janina u. John A. Bateman: Zwischen gutter und closure. Zur Interpretation der Leerstelle im Comic durch Inferenzen und dynamische Diskursinterpretation. In: Closure. Kieler e-Journal fĂŒr Comicforschung, Nr. 1, 2014, S. 3â24.
Abbildungsverzeichnis
- Abb. 1: Erstellt durch Grafikdesign James L. Hubbell B. A.
- Abb. 2: Nach Steuer (1995).
- Abb. 3: Virtual-Comics â Read Your Comic Books/Graphic Novels in Space! <https://www.youtube.com/watch?v=vMabX1xAgW0>.
- Abb. 4: Virtual-Comics â Read Your Comic Books/Graphic Novels in Space! <https://www.youtube.com/watch?v=vMabX1xAgW0>.
- Abb. 5: Virtual-Comics â Read Your Comic Books/Graphic Novels in Space! <https://www.youtube.com/watch?v=vMabX1xAgW0>.
- Abb. 6: Virtual-Comics â Read Your Comic Books/Graphic Novels in Space! <https://www.youtube.com/watch?v=vMabX1xAgW0>.
- Abb. 7: Lars C. Grabbe.
Â
- 1] Zum semiotischen und medientheoretischen Problem der Bildverwendung siehe Mosbach und Sachs-Hombach (2013).
- 2] »Das Sensorische System, das evolutionĂ€r Ă€lter ist, ĂŒbersetzt das auf die Sinnesrezeptoren treffende Energiemuster in sensorische Codes und transformiert diese so, dass sie an der Schnittstelle zum Perzeptuellen System lesbar sind.« (vgl. Mausfeld 2010, 15)
- 3] »Die internen Operationen des Sensorischen Systems basieren auf den physikalisch-geometrischen Datenformaten, durch die auch der Input charakterisiert wird (beispielsweise Linien, Kanten, konvexe Gebilde, Texturstatistiken), und sind rein inputbasierte Transformationen, wie Filterungsprozesse, Berechnungen von Luminanzgradienten oder andere mathematische Operationen auf dem Input. Das Sensorische System stellt eine Art Vorverarbeitung des sensorischen Inputs dar, der an die Anforderungen des Perzeptuellen Systems angepaĂt ist. Ăber die Arbeitsweise des Sensorischen Systems ist vergleichsweise viel bekannt, da in der Psychophysik und der traditionellen Wahrnehmungspsychologie der Forschungsfokus auf diesem System liegt. Das Perzeptuelle System hingegen ist dadurch gekennzeichnet, dass seine internen Operationen auf einem logisch sehr viel mĂ€chtigeren und reichhaltigeren Vokabular basieren, nĂ€mlich auf einem umfassenden System von Konzeptformen. Das Perzeptuelle System lĂ€Ăt sich also gerade als das System von Bedeutungskategorien bzw. Konzeptformen auffassen, mit denen unser Wahrnehmungssystem biologisch ausgestattet ist.« (Mausfeld 2010, 15)
- 4] »Das sensorische System generiert sensorische Codemuster, die fĂŒr das Perzeptuelle System eine Art Stichwortgeber dar[stellen], die spezifische Konzeptformen aktivieren (dies entspricht dem Konzept des Triggers in der Ethologie und dem Konzept einer Schnittstellenfunktion in der Theorie computationaler Systeme).« (Mausfeld 2010, 16)
- 5] Zustandsmodelle kommen aus der Kybernetik und kybernetischen Medientheorie. Hier wird ĂŒber die Strukturen des Artefakts ein RĂŒckschluss auf die Rezeption geschlossen (vgl. Bense 1969; Moles 1971).
- 6] Wahrnehmungsnahe Zeichen ereignen sich auf sensorischer Ebene quasi perzeptuell vorgelagert, bevor es zu einer Interpretation kommt. Aus diesem Grund ist der Bezug auf die multisensorischen PhĂ€nomene, wie z. B. McGurk, Mirror Box etc. ĂŒberaus wichtig, um die Relation aus Wahrnehmung, Sensorik und Zeichenhaftigkeit explizit zu betonen.
- 7] »Der Bezug auf einen Interpretanten wird durch das ermöglicht und gerechtfertigt, was auch den Vergleich ermöglicht und rechtfertigt. Aber das ist offensichtlich die Verschiedenartigkeit der SinneseindrĂŒcke. Wenn es nur einen Sinneseindruck gĂ€be, so brauchte man ihn weder zur Einheit zu bringen noch ihn als auf einen Interpretanten bezogen zu begreifen, und der Begriff des Bezugs auf einen Interpretanten wĂŒrde erst gar nicht entstehen. Aber da es nun eine Mannigfaltigkeit der SinneseindrĂŒcke gibt, haben wir eine Empfindung von KomplexitĂ€t und Verworrenheit, die uns dazu bringt, einen Sinneseindruck vom anderen zu unterscheiden und sie dann, als unterschiedene, auf eine Einheit zu bringen. Nun werden sie erst auf eine Einheit gebracht, wenn wir sie insgesamt als unsere betrachten, das heiĂt, wenn wir sie auf einen Begriff als ihren Interpretanten beziehen. So entsteht der Bezug auf einen Interpretanten also durch die Verbindung verschiedener SinneseindrĂŒcke, und deshalb verbindet er nicht einen Begriff mit der Substanz, wie es bei den anderen beiden BezĂŒgen der Fall ist, sondern er vereinheitlicht unmittelbar die Mannigfaltigkeit der Substanz selbst. Er ist daher im Fortschreiten vom Sein zur Substanz der letzte Begriff in der Reihenfolge.« (Peirce 2000, 153)