Statische Bildtypen wie Comics, Fotografien, Illustrationen oder Gemälde wurden stets für die sinnliche Adressierung der Rezipient_in konzipiert, wobei der visuellen Sinnesmodalität der primäre Rezeptionsfokus zugesprochen werden kann. Gegenwärtige Entwicklungen im Kontext der digitalen Mediensysteme und in der Tradition der sogenannten presence-evoking media technologies (vgl. Lombard/Ditton 1997) verweisen hingegen auf eine ganzheitlichere Dimension der medialen Rezeptionssituation, die mit einer vielfältigen Sinnesadressierung – gemäß multisensorischer Integration (Stein et al. 2009), multisensory influence (Driver/Noesselt 2007, 11) oder multimodality of perception (vgl. Nanay 2013) – korreliert.

Auch Comics wurden in den letzten Jahren vermehrt zum Gegenstand technischer Entwicklungen, wobei nicht zwingend versucht wurde das Medium Comic als visuelles, narratives oder semiotisches Artefakt zu modifizieren, sondern vielmehr die Praxis der wahrnehmungsbasierten Bildverwendung¹ zu hybridisieren (vgl. Grabbe 2015a).

Nehmen wir in einer medientheoretisch geprägten Analyse technische Systeme in den Blick, wie es hier beispielhaft am Prototypen Virtual-Comics, programmiert für das Lesen von Comics innerhalb einer virtuellen Rezeptionssituation (mittels head mounted display), erwiesen werden soll, so lässt sich diese Medientechnologie als ein immersives Medium (vgl. Lombard/Ditton 1997) bezeichnen, in welchem die propriozeptiven und visuellen Körpererfahrungen der Rezipienten_in durch eine hochgradig perzeptive – als virtuelle Räumlichkeit strukturierte – Umwelt verstärkt werden.

Der Artikel will sich einerseits mit dem Stellenwert der differenzierten Wahrnehmungsmodalitäten – ganz im Sinne einer Multimodalität der Wahrnehmung – für die Beschreibung des Comic Readers Virtual-Comics befassen, dessen Funktionshorizont im Verlauf dieses Artikels noch detailliert geschildert wird, und hierdurch andererseits aufzeigen, dass die medial erzeugte Wahrnehmungssituation kein schlichtes Nebenprodukt der technischen Hybridisierung ist, sondern vielmehr expliziter Zielfokus dieses medialen Systems. Methodisch wird der Artikel wahrnehmungs- und bildtheoretisch argumentieren und dabei gleichermaßen phänomenologische wie auch semiotische Bezüge herstellen. In dieser interdisziplinären Verwendung wird explizit das für die Analyse von interaktiven Medien- und Bildtechnologien entwickelte Modell und Analyseschema der Phänosemiose (vgl. Grabbe 2015b) angewendet, um die wahrnehmungsbasierte Rezeptionsdynamik aus Apparatur, Sinnesadressierung sowie Bedeutungszuordnung zu erfassen und in ihrer wechselseitigen Bestimmtheit zu systematisieren.

Wird ein Comic folglich innerhalb einer virtuellen Realität präsentiert sowie ein interaktiver Verwendungsansatz ermöglicht, und kommt es dann zu einer multimodalen Wechselwirkung von sensorischem System² der Wahrnehmung und spezifischen medial induzierten Inputs, dann wird aus dem Comic eine mediale Hybridform. Dieser Hybrid, so die wahrnehmungstheoretische These, lässt den Comic zwar noch als ein visuelles Zeichensystem lokalisierbar werden, er transformiert sich jedoch von einem klassischen, zweidimensionalen Bild-Medium (als visueller Ansichtsfläche) in ein körperlich-partizipatives Raum-Medium. Hierdurch erweitern bzw. modifizieren sich die ästhetischen, sensorischen und kognitiven Potentiale des ehemals analogen Comics, wobei der Funktion einer technischen Virtualisierung die Dynamik eines multimodalen Transfers zugesprochen werden kann.

Technologische Dynamisierung und Transferdynamik

Moderne Medientheorien haben unlängst erkannt, dass ein Fokus auf die technologischen Komponenten von Medien verstehen hilft, wie sich eine Relation aus Medienmaterialität und Rezeptionsdynamik herstellt (vgl. Mc Luhan 2001, Flusser 1997, de Kerckhove 1995). Es gilt hier neben der Annahme, dass die Materialität eines Mediums bereits Einfluss auf die Qualität und Quantität der Rezeption nimmt, sogar ein erweiterter kulturtheoretischer Ansatz, welcher Medienmaterialität als Bestimmungsgröße einer Transformation sozialer und kultureller Prozesse bestimmt. Diese Theorieperspektive zeigt sich als eine folgenreiche medienhistorische Annahme, vor allem dann, wenn man sie zusätzlich mit den Ansätzen der virtuellen Technikforschung auf dem Gebiet des presence research (vgl. Lombard/Ditton 1997) vergleicht. In den Debatten um die Erforschung der Telepräsenz oder Präsenz von Mediensystemen zeigt sich Technologie als steuerbare Größe für das Generieren kommunikativer Dynamiken, wobei in diesem Sinne keine Technikfeindlichkeit vorherrscht oder Anteil an den Debatten nimmt. Es gilt der Analyseansatz, dass es explizit eine progressive und über Innovationen sich einstellende Technikentwicklung ist, die Mediensysteme mit sensorischen und perzeptiven Dynamiken der Wahrnehmung³ synchronisieren und hierdurch erweiterte und positive Freiheitsgrade der Handlung mit dem Medium oder innerhalb des medialen Szenarios determinieren. Auch wird dem menschlichen Körper ein zentraler Stellenwert zugesprochen, da dieser im Grunde den Zielfokus eines funktionierenden medialen Environments darstellt, weil sich über diesen erst eine Rezeptions- und Erfahrungssituation einstellen kann.

Bereits im Jahr 1965 betonte Ivan Sutherland, den man als Gründervater der head mounted display-Technologie bezeichnen kann:

A display connected to a digital computer gives us a chance to gain familiarity with concepts not realizable in the physical world. It is a looking glass into a mathematical wonderland. (Sutherland 506)

Er betonte darüber hinaus, dass ein »ultimate display would, of course, be a room within which the computer can control the existence of matter« (ibid. 508). Daniel Czitrom pointierte dann im Jahr 1982, dass

the dream of transcendence through machines is an ancient one, and the urge to annihilate space and time found particularly intense expression through new communications media. (ibid. 187)

1995 charakterisierten Frank Biocca, Taeyong Kim und Mark R. Levy dann die voranschreitende technische Entwicklung als ein

ancient desire for physical transcendence [...]. Seeking physical transcendence is nothing less than the desire to free the mind from the ›prison‹ of the body. (1995a, 7).

Es wird einerseits deutlich, mit welchem positiven Innovationsstreben die Medientechnologie in Verbindung gebracht wurde, andererseits zeigt sich hier ein Fokus auf die Materialität der Medien, deren Bestimmungsgröße nicht mehr allein über eine visuelle Dynamik zu erfassen ist. Es erscheint demnach als überaus sinnvoll, wenn sich moderne Medien- und Wahrnehmungstheorie verbinden und somit den subjektiven Körper als Bestimmungsgröße von interaktiver Medialität bestimmen:

VR is not a technology; it’s a destination. The ultimate goal of VR interface design is nothing less than the full immersion of the human sensorimotor channels into a vivid computer-generated experience. In the ideal system, the body is wrapped in communication and pulsates with information. Media have always been environments – both radio and television dominate the rooms in which they are used and the minds that use them. But the VR environment surrounds the senses. The optimist would say VR embraces the senses; the pessimist would say it kidnaps them. (Biocca/Levy 1995b, 17).

Vor allem interaktive Mediensysteme lassen sich nicht als passive Objekte beschreiben, die sich durch die Adressierung eines Einzelsinns in der Rezeption erschließen, vielmehr sind sie Modulatoren poly-sensueller und multimodaler Environments. Konkret werden Medien somit zu sensorischen Inputgebern, die den technischen Apparat mit dem sensorischen und perzeptuellen System⁴ der Rezipient_in synchronisieren können, was Biocca und Levy überaus treffend als »psychosemiotics of VR« (1995b, 18) beschreiben.

Wahrnehmung und Phänosemiose

Warum der Terminus Phänosemiose? Es wurde bereits deutlich, dass sich ein Theoriemodell für die Analyse interaktiver Medientechnologien verschiedenen Problembereichen zu stellen hat. Demnach sollten Systematisierungen möglich werden, welche die Körperlichkeit der Rezipienten_in und die gezielte Sinnesadressierung durch das Medium, die Beschreibung technologischer Ebenen sowie den zeichentheoretischen Einfluss von Kommunikation und Information adäquat erfassen. Mit dem Terminus Phänosemiose wird ein systematisches Zustandsmodell⁵ eines medialen Artefakts beschrieben, wobei begrifflich explizit eine Verbindung zu phänomenologischen und semiotischen Ansätzen zum Ausdruck gebracht wird. Dieses Vorgehen ist sinnvoll, da sich hochtechnisierte, poly-sensuelle, multimodale und interaktive Mediensysteme gleichermaßen als Impulsgeber für sensorische Wahrnehmungen sowie kognitiv komplexe Bedeutungszuordnungen verstehen lassen.

Eine zentrale Grundannahme der Phänosemiose bezieht sich auf die phänomenologische Konzeption, nach der sich das subjektive Bewusstsein als ein Phänomen des Bezogen-Seins, als intentionales Gerichtet-Sein, manifestiert und stabilisiert. Somit entsteht ein spezifisches Verhältnis von Denk-Akt und Denk-Urteil, denn diese stiften einen

Systemzusammenhang des intentionalen Erlebnisses und präzisieren die korrelative Verhältnisbestimmung von Form und Gegenständlichkeit der Bewusstseinserfahrung. Der zentrale Analysefokus der Phänomenologie richtet sich somit auf die intentional-gerichteten Bewusstseinserfahrungen, da Bewusstsein grundsätzlich Bewusstsein von etwas bedeutet. (Grabbe/Rupert-Kruse 2014, 98)

Dem Aspekt ›Wahrnehmung‹ kommt in phänomenologischer Perspektive folglich ein besonderer Stellenwert zu, da mediale Artefakte einerseits erst durch Wahrnehmung erscheinen können, andererseits aber das Bewusstsein überhaupt abhängig ist von sensorischen Informationen, da es ohne den Prozess der Sinnlichkeit keine Kategorien und Formen für ein intentionales Gerichtet-Sein gäbe.

Eine weitere, ebenfalls zentrale Grundannahme der Phänosemiose bezieht sich direkt auf die weit gefassten zeichentheoretischen (semiotischen) Ansätze innerhalb der Geisteswissenschaften, wobei es hier generell um die vielfältigen Potenziale von zeichenhaften Medien und den damit verbundenen – oftmals multimodalen – Bedeutungsdynamiken geht (Lautfolge, Sprache, Text, statisches Bild, dynamisches Bild, interaktives Bild, haptische Medien, Ton, Soundscore, Musik, Filmmusik, olfaktorische Medien, gustatorische Medien etc.). Traditionell sind die semiotischen Ansätze weniger stark auf sensorisch-biologische Prozesse und psychologische Wahrnehmungsdynamiken ausgerichtet, da sie vermehrt in Richtung repräsentationaler Eigenschaften von Medien und den Systembedingungen von En- und Dekodierung argumentieren (z. B. Denotation, Konnotation, Ikonizität, Indexikalität, Symbolizität, Syntaktik, Semantik, Pragmatik etc.). Einerseits werden demzufolge externen Objekten, wie beispielsweise statischen Bildern, Filmen, interaktiven Video- und Computerbildern, jeweils medienspezifische Zeicheneigenschaften zugesprochen. Andererseits gilt die kognitionslogische Annahme, dass sich die mentale Dimension des subjektiven Bewusstseins über repräsentationale Eigenschaften organisiert und stabilisiert. Repräsentationen fungieren in diesem Sinne als spezifische Zuordnungsvorschriften, mit deren Hilfe mentale Objekte (Vorstellungsbilder, Tonerinnerungen etc.) als Zeichen auf abwesende Objekte bezogen werden können (vgl. Seel 1991, 14):

›External‹ representations are those material signs or sign systems that are publicly available in the world, whereas mental or ›internal‹ representations can be understood as what philosophers call the representational content of a certain intention or belief about the world. (Malafouris 2007, 291)

Die differenzierten Perspektiven innerhalb von Phänomenologie und Semiotik lassen sich ihrerseits jeweils als wahrnehmungstheoretische und zeichentheoretische Ansätze klassifizieren (vgl. Wiesing 2005), wobei im Kontext von Bild-Medien die

semiotische Sicht Analogien zwischen bildhaften und sprachlichen Zeichen betont, die wahrnehmungstheoretische Bildtheorie den Bildstatus an die Bildwahrnehmung (Sachs-Hombach 2001, 17)

knüpft. Klaus Sachs-Hombach hebt hervor, dass sich Phänomenologie und Semiotik dann »eher in ihrer Methodologie als in den inhaltlichen Bestimmungen des Bildbegriffs voneinander unterscheiden« (Sachs-Hombach 2001, 17). Mit dem Theorieansatz der wahrnehmungsnahen Zeichen kennzeichnen Klaus Sachs-Hombach und Jörg R. J. Schirra (vgl. Sachs-Hombach/Schirra 2008; vgl. Sachs-Hombach/Schirra 2009) spezifische Zeichendynamiken, die ihrerseits wiederum von Wahrnehmungsdynamiken abhängig sind (z. B. das Erlernen, dass das akustische Ereignis des Tür-Klingelns als ein indexikalisches Zeichen eine wartende Person repräsentiert). In ähnlicher Ausrichtung entwickelt Bence Nanay in Orientierung an der »multimodality of perception« (vgl. Nanay 2012, 1) eine Systematisierung von Wahrnehmung und Zeichenstruktur im Kontext der »pragmatic representations« (vgl. Nanay 2013):

Pragmatic representations are, at first approximation, the representational components of the immediate mental antecedents of action. They are also genuine perceptual states. The immediate mental antecedents of action are what make actions genuine actions. They constitute the difference between actions and mere bodily movements. They guide our ongoing bodily activities. And pragmatic representations are the representational components of these immediate mental antecedents of action. (Nanay 2013, 3)

Nanays Argumentation in Hinblick auf die Möglichkeit von pragmatischen Repräsentationen bezieht sich einerseits darauf, dass sich diese selbst schon als Wahrnehmungszustand manifestieren und andererseits über ihre repräsentationale Eigenschaft dann Aktionseigenschaften von Handlungen stabilisieren (räumliche Lokalisierung, Größe, Gewicht, Form etc.), die nötig sind für adäquate Handlungsumsetzungen:

Pragmatic representations attribute action-properties: they represent objects in an action-oriented manner. And they typically attribute these action-properties unconsciously. (Nanay 2013, 4)

Es wird deutlich, dass Zeichen zwar in gewissem Sinne spezifische Codeordnungen bzw. Zuordnungsvorschriften oder Konventionen sind, die sich im aktiven Denkprozess artikulieren, diese aber prinzipiell über die Sinnlichkeit – als zentrales Interface zwischen subjektiver Innenwelt und objektiver Außenwelt – erlernt oder instantan (vgl. McLuhan, 2001) vermittelt werden. D.h. für die Interpretation von Zeichen ist der Rekurs auf Wahrnehmungskompetenz unabdingbar (vgl. Sachs-Hombach 2003, 88). Zeichen sind demnach zwar von Interpretationen abhängig, allerdings kann eine spezifische repräsentationale Ordnung von Informationen bereits im konkreten Wahrnehmungsakt unmittelbar stabilisiert werden.⁶

Zahlreiche empirische Befunde unterstützen diese Theorieperspektive und damit auch das phänosemiotische Theorieverständnis, welches wiederum die Dynamik der Multimodalität der Wahrnehmung direkt aufgreift:

Information in one sense modality can influence the information processing in another sense modality at a very early stage of perceptual processing. (Nanay 2013, 65)

Eines der prominentesten Beispiele ist sicherlich der sogenannte McGurk-Effekt, bei dem die subjektive Wahrnehmung einer akustischen Lautfolge primär abhängig ist von dem visuellen Einfluss von sich bewegenden Lippen. Bei gleichbleibender akustischer Lautfolge (man hört die Lautfolge ›ba‹), aber Wechsel des visuellen Stimulus (die Lippenbewegung formt nun den Laut ›fa‹), passt das Gehirn den akustischen Laut an den visuellen Eindruck der Lippenbewegung an und verrechnet die Information zu Gunsten des dominanteren, visuellen Impulses. Der Proband nimmt dann in seiner subjektiven Erfahrungswirklichkeit an, dass er die Lautfolge ›fa‹ hört, obwohl der physikalische Impuls die gesamte Zeit über ›ba‹ präsentiert. Ein gegenteiliger Effekt kann auch empirisch nachgewiesen werden. Experimente von Shams, Kamitani und Shimojo zeigen selbst bei minimalem visuellen Stimulusmaterial, dass akustische Reize in actu einen Einfluss auf visuelle Stimuli haben können und sich das wahrgenommene Perzept dem akustischen Impuls anpasst:

Shams and colleagues report that when subjects are shown video in which a circular black disk briefly appears or flashes one time, while presented with audio of two brief beeps, they report visually experiencing two flashes. The sound-induced flash illusion involves the modulation of visual experience by audition. (O’Callaghan 2008, 10)

Des Weiteren zeigt sich die taktile Sinnprovinz als eine oft vernachlässigte Dimension der phänosemiotischen Wahrnehmungsnähe, denn die Relation aus Sehen und Spüren kann ebenfalls zu beeindruckenden neurowissenschaftlichen und ästhetischen Qualitäten führen. Bei der sogenannten Rubber Hand Illusion wird die visuelle Aufmerksamkeit auf eine Gummihand gelenkt, die an einem künstlichen Arm befestigt ist, der wiederum an der Schulter eines Probanden befestigt wird. Der echte Arm wird hinter einer kleinen Wand verborgen und vor dem Blick des Probanden abgeschirmt. Dann beginnt der Versuchsleiter damit, die echten Finger (hinter der Wand verborgen) und die Finger an der Gummihand mit einem Pinsel simultan zu streicheln. Der Proband sieht, dass die Gummihand berührt wird und empfindet den taktilen Reiz gleichzeitig an seiner verborgenen Hand. Nach einer kurzen Zeit beginnt das Gehirn, die dem taktilen Impuls ausgesetzte Gummihand mit dem eigenen Körper zu verknüpfen und diese Wahrnehmung konsequent in eine konsistente Mir-Zugehörigkeit oder Meinigkeit (vgl. Metzinger 2000) als phänomenalen Gehalt der subjektiven Erfahrung zu überführen. Sehsinn und taktiler Impuls führen zu einer intermodalen Konsistenz (vgl. Singer, 2009), die eine vollkommen authentische Wahrnehmung – als Modus der Beglaubigung eines Wahrnehmungseindruckes – stabilisieren kann.

Dass auch Ergebnisse im medizinischen Bereich hilfreich sind für die Frage nach Medialität und Wahrnehmung, lässt sich anhand der Ergebnisse von Vilayanur Ramachandran sehr gut nachvollziehen, der mit der Mirror Box den Phantomschmerz von Patienten mit Amputationen visuell behandelt. Bei der Mirror Box wird der reale Armstumpf in einer Box verborgen und an dessen eigentlich wahrnehmbarer Position wird ein Spiegel angebracht, welcher den gesunden Arm spiegelt. Der Proband hat dann den visuellen Eindruck, als wäre die Amputation nicht existent. Das Spiegelbild stiftet somit einen visuellen Impuls, während die Bewegungen der Arme und die subjektiv empfundene Bewegung der Phantomhand einen propriozeptiven Impuls manifestieren. Hierdurch entsteht die mental stabilisierte Meinigkeit eines gesunden Arms, die im Wahrnehmungsakt des Probanden konkret erfahrbar wird. Der Effekt ist eine visuell erzeugte Feedbackschleife. Die fehlende Hand kann kein Feedback an das Gehirn senden, doch der visuelle Impuls kann diese Aufgabe sinnvoll übernehmen.

Die erwähnten Beispiele zeigen recht deutlich, dass sich Zeichenstrukturen und Zuordnungsvorschriften explizit im Akt der Wahrnehmung konstituieren können, indem sie direkt vom Potenzial der Sinnlichkeit – den einzelnen Sinneskanälen und der damit verbundenen Reizverarbeitung – abhängig sind.

Innerhalb der Dimension verkörperter Medienerfahrungen zeigen sich zudem sensomotorische sowie propriozeptive Dynamiken als entscheidend für die mediatisierten Wahrnehmungen. Konkret bedeutet es, dass ebenfalls Elemente des subjektiven Köperschemas eine orientierende Rolle spielen (wie hinten, vorn, oben, unten etc.), dass dem Gleichgewichtssinn und der raumzeitlichen Orientierung ein nicht zu unterschätzender Stellenwert zukommt, und dass ebenfalls leiblich-viszerale Regungen und Empfindungen, unkontrollierte Affekte, intentional gerichtete Emotionen, indirekte Stimmungen oder auch subjektive Atmosphärenwahrnehmungen differenzierte Systemstufen einer medien-induzierten Erfahrung darstellen.

Darüber hinaus leisten imaginative Prozesse einen evidenten Beitrag, damit die Regungen des Körper-Leib-Schemas nicht nur in die Konstitution unseres mentalen Modells der Lebenswelt überführt werden, sondern ebenfalls im Kontext medialer Environments zur Äußerung kommen. So wird es möglich, dass wir bildhafte Darstellungen von Verletzungen und Schnittwunden als wahrnehmungsnahe Zeichen auffassen können, welche direkt mit der persönlichen Erfahrung von Verletzungs- oder Schneideschmerzen korrelieren, und schnelle Kamerafahrten (phantom rides, rollercoaster POV) sowie unsteady footage eine gehemmte propriozeptive Synchronisierung zwischen Rezipient_in und medialem Artefakt auslösen können, so dass das Körperschema destabilisiert wird und sich die sogenannte motion sickness (nausea) in hohem Maße realisieren kann, oftmals als bewusst genutzter optischer Effekt im Horror- und Actionfilm. Selbst gustatorische Effekte sind nicht auszuschließen, so verweist der Phänomenologe Dieter Lohmar auf die Effekte der phantasmatischen Selbstaffektion während man einer Person beim Biss in eine Zitrusfrucht zusieht, wobei »Empfindungen, die nicht von äußeren Gegenständen und auch nicht von unserem Leib herkommen, uns dennoch so vorkommen, als ob sie dies täten« (Lohmar 2002, 67). Die Selbstaffektion initiiert

mit der Vorstellung von all dem, was mir z. B. eine Zitrone anschaulich gibt, überhaupt erst eine begründete Auswahl und Zusammenhang der geeigneten darstellenden Elemente in der Sinnlichkeit. (Lohmar 2008, 7)

Medien und interaktive Mediensysteme verfügen durch die Dynamik der Wahrnehmung über eine spezifische Anschlussfähigkeit für imaginative Prozesse. Sie sind Präsenzen mit einer raum-zeitlichen Bestimmtheit, jedoch sind sie mehr als ein passives Objekt. Sie folgen einem konsequenten Interaktionismus von Medium und Rezipient_in, wobei sich das Dazwischen als ein dynamischer, mediatisierter Raum konstituiert: weder nur Medium, noch ausschließlich Rezipient_in, sondern vielmehr eine systemisch-relationale Wechselbestimmung beider. Auch wenn die erwähnten Beispiele für Multisensorik und multimodale Wahrnehmung sehr erkenntnisreich sind, so muss bereits das Potenzial von zweidimensionalen Bildmedien (wie Fotografien, Illustrationen oder Gemälden) betont werden, da die Imagination bereits in diesen Fällen in der Lage ist, Wahrnehmungsattribute zu mobilisieren und assoziieren, die als Teilmenge subjektiver Erfahrungen mit dem visuellen Bildinhalt synchronisiert werden. Schon Maurice Merleau-Ponty argumentierte dahingehend, Bilder als imaginäre Projektionsfläche zu beschreiben:

In der primordialen Wahrnehmung gibt es keinerlei Unterschied zwischen Tast- und Gesichtssinn. Erst die Wissenschaft vom menschlichen Körper bringt uns später bei, zwischen unseren Sinnen zu unterscheiden. Das erlebte Ding wird jedoch nicht auf der Basis von Sinnesdaten konstruiert oder rekonstruiert, sondern bietet sich von Anfang an als ein Zentrum dar, von welchem diese ausstrahlen. Wir sehen die Tiefe, das Samtene, die Weichheit, die Härte der Gegenstände – Cézanne meinte sogar: ihren Duft. (Merleau-Ponty 2003, 12)

Das sensorische und perzeptuelle System fungieren als unterschiedlich operierende Funktionsstufen des medialen Körpers, wobei die einzelnen Sinne oftmals in multisensorischer Wechselwirkung Codes generieren, die dann wiederum Trigger für das perzeptuelle System bereitstellen. Hier greift der Theorieansatz der intermodalen Konsistenz oder Kongruenz der Neurowissenschaften (z. B. Wolf Singer, Gerhard Roth), der von der Annahme einer sensorischen Hierarchie der sinnlichen Verarbeitung von Außenweltdaten ausgeht (vgl. Singer 2009, 105; Roth 1997, 322). Sensorische Inputs, die innerhalb des neuronalen Systems zu Perzepten werden, weisen demgemäß spezifische Grade von Intensität auf, je nachdem, welche exterozeptiven Sinne am Wahrnehmungsakt beteiligt sind. Der Tastsinn übernimmt hierbei eine Primärfunktion, hier ereignet sich das haptische Begreifen der Welt. Der Sehsinn ist nachgelagert und besitzt bereits Informationen durch den Tastsinn (also Raum, Ort, Lagebestimmung, Art und Weise von Objekten). An dritter Stelle befindet sich das Gehör, welches Atmosphären erkennen und serielle Zeit-Vorgänge kodieren kann (Musik, Sprache etc.), eine akustische Orientierung gilt allerdings als relativ unpräzise. Dann folgen olfaktorische und gustatorische Sinnlichkeit. Nicht zu vergessen sind allerdings vier eigenständige Sinnesdimensionen der Interozeption, die als strukturelle Basissinne grundsätzlich unsere Wahrnehmungswirklichkeit konstituieren. Die Propriozeption bildet hier die Eigenwahrnehmung des individuellen Körperverhaltens im Raum aus (Lageveränderung, Ortsbestimmung, körperliche Reaktion wie Ausweichen oder Ducken etc.). Die Viszerozeption hingegen stabilisiert die nach Innen gerichtete Wahrnehmung der eigenen Organtätigkeiten. Thermozeption ermöglicht das Erfassen von Temperaturunterschieden (Hitze, Kälte, angenehme Wärme etc.) und die Nocizeption umfasst die Schmerzempfindung (der Stich- oder Schneideschmerz, Verbrennung, Kälteschmerz etc.):

But perception is not just a matter of the classic five senses. Besides these five so-called exteroceptive senses seeing (visual), hearing (auditive), tasting (gustatory), smelling (olfactory) and touching (tactile/haptic), we also dispose of the senses of interoception: these are called proprioception, visceroception, thermoception, and nociception. Proprioception contains the vestibular sense and the sense of the concept of kinesthesia which is also called the sense of movement. The latter has been proved as a sense which includes muscle nerves activities. Visceroception means the perception of internal organs like hearing the blood flow through the veins, feeling one’s heartbeat or sensing one’s digestion. Thermoception is the sensing of heat and cold, and nociception means sensing pain (the latter are very closely attached to the haptic sense of touch). (Vgl. Gsöllpointner 2015, 112)

Dieses komplexe Sinnesgefüge innerhalb des sensorischen Systems ist kein schlichtes Mosaik von Sinnesimpulsen, sondern ein komplexes Netzwerk multimodaler Inputs (vgl. Talsma 2015). Diese Inputs dürfen nicht als Mechanismen fehlinterpretiert werden, die sich schlicht in unserem neuronalen System passiv im Sinne eines naiven Realismus abbilden (vgl. Mausfeld 2010), denn vielmehr sind die sensorischen Inputs als Erregungsmuster zu begreifen, die erst innerhalb neuronaler Konzeptordnungen zu Inhalten unserer Erfahrungswirklichkeit werden:

Denn der Input ist stets nicht mehr als ein physikalisches Energiemuster, während alle Bedeutungskategorien gerade das Produkt mentaler Aktivität sind. (Mausfeld 2010, 6)

Phänosemiotische Zeichendynamik

Durch eine phänosemiotische Analyse soll die Offenlegung wahrnehmungstheoretischer und semiotischer Systemebenen von interaktiven Medientechnologien erreicht und eine ganzheitliche Perspektivierung innerhalb eines Zustandsmodells vorgenommen werden.

Die an der philosophischen Logik orientierte Darstellungsweise der phänosemiotischen Systemebenen (Abbildung 1) hat zum Ziel, zunächst die partizipierenden und ausgeprägten Variablen zu kennzeichnen und darüber hinaus Auskunft über die auffindbaren Systemebenen der verschiedenen phänosemiotischen Relationen zu geben. Die Aufschlüsselung der Systemebenen erfolgt als Formeldarstellung weiter unten. Das so entwickelte Modell der Phänosemiose präzisiert und kategorisiert die rezeptive Dynamik von verkörperten und mentalen Prozessen, während der oftmals multimodalen bzw. multisensorischen Verarbeitung von sensorischen Inputs und perzeptuellen Konzepten.

Die Phänosemiose wird bewusst an der prozessualen Systemrelation der Semiotik angelehnt (mit Zeichenmittel, Objektbezug und Interpretant), um gezielt ein monokausales oder statisches Verständnis von Medium und Bedeutung zu verhindern, um dann im weiteren Verlauf ebenfalls die prozessuale Dynamik von Wahrnehmungs- und Zeichenprozessen zu integrieren:

Kunstwerke sind Angebote zur Wahrnehmung. Die neuen Erkenntnisse über die Aufnahme und die Verarbeitung von Sinneseindrücken zeigen auch die Kunst in neuem Licht. (Franke 1974, 11)

Von einem Zeichen (s, sign) oder Zeichensystem lässt sich sprechen, wenn die primäre Relation (r₁) von Representamen (rep), Objektbezug (o) und Interpretant (i) zum Ausdruck gebracht wird (vgl. Seel 1991, 14). Wenden wir die Zeichenrelation s = r₁ (rep, o, i) an dem Beispiel einer Fotografie mit dem Motiv eines Apfels an, dann zeigt sich dieses Bildzeichen als eine primäre Relation (r₁) der Materialität des Fotos (rep), der fotografisch-apparativen Darstellung des Apfel-Motivs (o) sowie der mentalen Verknüpfung (i) dieser Zeichenebenen: der notwendigen und zeichenbindenden Fähigkeit, dass die ikonische Repräsentation des Apfels mit der kausalen (indexikalischen) Logik (der fotografischen Manifestation) eines echten Apfels in Verbindung gebracht wird. Weitere Anhaltspunkte, um den Interpretanten⁷ näher zu spezifizieren, liefert Charles S. Peirce, der ihn ebenfalls mit dem Konzept »Geist« (Peirce 2000, 188) und der Ordnungsfunktion von »Sinneseindrücken« (Peirce 2000, 153) in Verbindung bringt. Hervorzuheben ist in moderner Perspektive besonders Lars Elleström, der die Wendung »cognitive import« (Elleström 2016) heranzieht.

Zeichen werden demnach besser verständlich, wenn diese als prozessuale Zeichenrelation aufgefasst werden, wobei ein Transferprozess die materielle Dimension aus Zeichenträger und Objektbezug umfasst, um dann den immateriellen Funktionshorizont des Mentalen zu integrieren. Mit Hinblick auf die multimodalen und poly-sensuellen Medientechnologien erscheint eine Erweiterung der primären Zeichenrelation notwendig, vor allem in Hinblick auf die Dynamik der Wahrnehmung. Während die Zeichenrelation s = r₁ (rep, o, i) bei einem Apfelmotiv (Fotografie) noch ausreichend ist, bedarf sie vor allem bei interaktiven Medientechnologien wie Video- und Computerspielen oder haptischen VR-Systemen (wie Aireal, Disney Research) oder olfaktorisch-gustatorischen VR-Systemen (wie MetaCookie+, Tokyo University) oder Virtual-Comics (Entwickler opamp) einer erweiterten Systematisierung, da diese Systeme die verschiedenen intero- und exterozeptiven Sinnesmodalitäten der Rezipient_in unterschiedlich adressieren.

Die Systematisierung erfolgt durch die Integration der Analyse-Variablen aus der Erforschung der Virtual Reality und den Prozessen des Empfindens medienbasierter Präsenz (telepresence oder presence). Telepresence (Abbildung 2) beschreibt das Phänomen einer »experience of presence in an environment by means of a communication medium« (Steuer 1995, 36).

Das Präsenzerleben vollzieht sich in mentaler und leiblicher Relation zu einem Mediensystem, wobei presence dann durch die Korrelation von vividness (Lebendigkeit) und interactivity (Interaktivität) hergestellt wird. Vividness integriert die Systemelemente des Umfanges einer medialen Erfahrung (breadth, b), abhängig von den beteiligten Sinnen des sensorischen Systems, und der medialen Intensität (depth, d), als Quantität und Qualität der Datenübertragung, Datenmenge, Datenformat, Speicherfähigkeit oder Prozessorgeschwindigkeit des technischen Systems. Interactivity integriert die Systemelemente speed (sp), als Reaktionszeit auf den medialen Input und Einwirkzeit der temporalen Partizipation am medialen Input oder Environment. Range (ra) beschreibt den Handlungs- und Aktionsradius der aktiven Manipulation, die Einflussnahme auf Elemente des medialen Environments und die eventuell entstehende Interaktion dieser Elemente untereinander. Mapping (ma) umfasst abschließend den Funktionshorizont der Verbindung von Rezipienten_in-Körper und Medium, wobei der Schwerpunkt auf der Funktionsweise und den Steuerungs- und Handlungspotentialen des Interface liegt.

Die phänosemiotische Zeichendynamik integriert den Funktionshorizont der (tele)presence in die Zeichenrelation s = r₁ (rep, o, i), um eine Modifizierung der materiellen Mediendimensionen des Representamen (rep) und des davon abhängigen Objektbezugs (o) sowie eine Anpassung der immateriellen Mediendimension des Interpretanten (i) zu erreichen. Der Interpretant wird erweitert, indem die Wahrnehmungsordnung der Relation und des Transfers aus sensorischen Daten und perzeptueller Erfahrungswirklichkeit (vgl. Mausfeld 2010) integriert wird. Der Interpretant (i) ist demnach selbst abhängig von einer sekundären Relation (r₂) aus sensorischem (s) und perzeptuellem (p) System: i = r₂ (s, p). Hier wird deutlich, dass die Verhältnisbestimmung von s und p noch einer Erweiterung bedarf, die sich selbst als eine Relation dritter Ordnung darstellen lässt.

Werden die Theorieansätze aus Wahrnehmungstheorie, Zeichentheorie und Presence Research zusammengeführt, dann können die verschiedenen Ebenen der Phenosemiotic Sign Relation wie folgt dargestellt werden:

ps = r₁ [rep ∧ o = int (r₂ (sp, ra, ma)) ∧ i (r₂ (s (r₃a (tac, vis, aud, olf, gust) ∧ r₃b (prop, visc, therm, noci)) ∧ p)) = ∨ (r₂ (b = i, d))]

Die Phenosemiotic Sign Relation (ps) konstituiert sich durch drei grundsätzlich zu unterscheidende Systemrelationen auf verschiedenen deskriptiven Beschreibungsebenen (r₁, r₂, r₃a und r₃b).

Die primäre Relation (r₁) ist das Verhältnis aus Representamen (rep) und dem Objektbezug (o), wobei dieses Und-Verhältnis durch einen logischen Konjunktor ausgedrückt wird (∧). Innerhalb der phänosemiotischen Relation rep ∧ o findet eine logische Entsprechung und Gleichsetzung (=) mit den Systemgrößen der Interaktivität (int) statt, die ihrerseits durch die sekundäre Relation (r₂) von speed (sp), range (ra) und mapping (ma) gebildet wird.

Ergänzt wird die primäre Relation (r₁) durch den Interpretanten (i), der mittels Und-Verhältnis (∧) in Beziehung gesetzt werden kann (rep ∧ o = int ∧ i). Der Interpretant (i) und dessen sekundäre Relation (r₂) aus sensorischem (s) und perzeptuellem (p) System lässt sich durch die tertiäre Relation von r₃a ∧ r₃b des sensorischen (s) Systems weiter spezifizieren. Hier repräsentiert r₃a die Exterozeption des sensorischen Systems gemäß der Annahme einer Hierarchie der Sinne von Taktilität, Visualität, Audition, Olfaktorik und Gustatorik (tac, vis, aud, olf, gust). Hingegen repräsentiert r₃b die Interozeption des sensorischen Systems mit Propriozeption, Viszerozeption, Thermozeption und Nocizeption (prop, visc, therm, noci).

Innerhalb der Phenosemiotic Sign Relation befindet sich das Systemgefüge aus i (r₂ (s (r₃a ∧ r₃b) ∧ p) in einer logischen Entsprechung zu vividness (v), welche durch die sekundäre Relation (r₂) aus breadth (b) und depth (d) gebildet wird. Innerhalb der logischen Darstellung kann breadth (b) jedoch als gekürzt (durchgestrichen) dargestellt werden, da es innerhalb von presence research das theoretische Äquivalent des Interpretanten (i) und dessen Systemrelationen darstellt: ∨ (r₂ (b = i, d)).

Analytische Betrachtung von Virtual-Comics und Schlussfolgerung

In den jüngsten Entwicklungen im Bereich der Programmierung von virtuellen Prototypen lassen sich verschiedene Versuche ausmachen, um das Konzept des analogen Lesens in den Kontext der virtuellen Realität zu überführen. Hierbei handelt es sich konkret noch nicht um finale Endversionen für Konsumenten, sondern noch um modifizierbare und teilweise unausgereifte Entwickler-Anwendungen im Kontext von Kickstarter-Kampagnen.

Mit Virtual-Comics (shared oculus community, Entwickler opamp) liegt ein durchaus als funktionsfähig zu betrachtender Prototyp vor, dessen Anwendungstauglichkeit in der Entwickler-Szene und den einschlägigen VR-Foren bereits umfangreich getestet wurde, der allerdings derzeit noch nicht käuflich zu erwerben und nur direkt beim Entwickler zu beziehen ist (Abbildung 3).

Nach dem Start von Virtual-Comics befindet man sich innerhalb einer virtuellen und 3D-Darstellung des Weltalls, wobei der simulative Bildraum die Rezipient_in visuell einschließt (unter Einsatz eines head mounted displays). Selbst ein steiler Blick nach oben oder unten oder eine Körperdrehung nach hinten sind innerhalb der konstanten Raumerfahrung möglich. Über die library folder lassen sich beispielsweise nach Alphabet gespeicherte Comic-Dateien abrufen, wobei eine finale Auswahl dann über den Druck der Maustasten möglich wird. Je schneller und weiter der Kopf nach links oder rechts bewegt wird, desto höher ist die Geschwindigkeit der Visualisierung der Wegstrecke der einzelnen folder (diese reichen von A bis Z und dann direkt anschließend von 1 bis 9). Während die folder am visuellen Sichtfeld vorüberziehen, wird die Dynamik und Geschwindigkeit der Bewegung mittels eines spezifischen Sounds repräsentiert (je schneller die Bewegung, desto schneller der Sound). Entscheidet sich die Leser_in für einen Comic und steuert dieser den zugehörigen folder an, wird mit dem Druck auf die Maustaste auf den Comic zugegriffen. In diesem Menübereich ist die Freiheit des Blicks und der Kopfbewegung eingeschränkt, da es innerhalb dieser Steuerungsebene konkret um die finale Auswahlentscheidung der Leser_in geht. Der visualisierte Comic ist auf dieser Ebene von beiden Seiten mit Pfeilen flankiert, die auf das Moment der Auswahl verweisen, und im erweiterten Sichtfeld sorgen visualisierte Stopp-Schilder für die Markierung der Bild- und Blickgrenze (Abbildung 4).

Entscheidet sich die Leser_in für einen Comic, wird mittels Maustaste auf diesen zugegriffen. Mit dem eigentlichen Lesemodus des Readers wird letztendlich eine dritte interaktive Systemebene des Bildraums erreicht, wobei man den Comic (mit Blick auf die reguläre Titelseite) vor sich im simulativen Bildraum des virtuellen Universums schweben sieht. Mit der Steuerung der Maus (über das scrollwheel) lässt sich dann die Distanz bzw. Nähe zwischen dem eigenen, virtuellen Betrachterstandpunkt und der visualisierten Comic-Seite bestimmen. Der subjektive Blick steht in der Rezeptionssituation in direkter Korrelation zur Kopfbewegung, denn die Veränderung der Lagebestimmung des eigenen Kopfes verändert neben dem individuellen Fokus auf die Seite ebenfalls die eigene geografische Position zur Seite (hoch, runter, links und rechts).

Ebenso sind individuelle Interaktionen mit der jeweiligen Seite möglich, die sich als eine irreale oder nicht-standardisierte Lesesituation beschreiben lassen, indem dann extreme Nahaufnahmen, Steilaufsichten und extreme Kadrierungen und Perspektiven (und damit extreme Erlebnisräume im VR-Szenario) möglich werden. Durch diese Dynamisierung der Betrachterposition entfaltet sich das visuelle Potenzial der virtuellen Raumdynamik, da erst der individuelle Blick die körperlich-partizipative Raum-Dimensionierung aktiv im Handlungsakt hervorbringt und letztlich auch koordiniert (Abbildung 6). Hierdurch wird die Comic-Erfahrung zu einem propriozeptiven und visuellen Experiment, wobei es nicht ausschließlich um Lesevergnügen geht, sondern um das Ausloten der medialen und körperlichen Möglichkeiten im virtuellen Raum. Der VR-Raum ist die Gesamtheit des sichtbaren Weltalls, die Comic-Seite hat nur einen kleinen visuellen Anteil. Das Lesevergnügen bestimmt sich durch die Relation von verkörperter Betrachterperspektive und den extremen und durch den Rezipienten aktiv gesteuerten Darstellungsweisen der Comic-Seite.

Virtual-Comics zeigt sich als adäquates Beispiel eines immersiven Mediums, wobei der Immersionsbegriff explizit auf Medien angewendet werden kann, die ein leibliches Eintauchen thematisieren oder imaginative Annäherungen an ein Mediensystem beschreiben. Wichtiges Kriterium ist stets eine mögliche »Verringerung der Distanz zwischen Medium und Rezipienten« (vgl. Hochscherf/Kjär/Rupert-Kruse 2011, 10). Diese Verringerung generiert verschiedene Formen des Präsenzerlebens, die einerseits von den technisch-apparativen Möglichkeiten des Mediums und andererseits von den psychologischen Kompetenzen und Interaktionen der Rezipient_in abhängen. Mit der Differenzierung von Matthew Lombard und Theresa Ditton lassen sich hier perceptual immersion und psychological immersion unterscheiden (vgl. 1997, k. S.).

Erstere, die auch als technische oder apparative Immersion bezeichnet werden kann, beschreibt die Konstitution des Mediums als immersiv. Es wird folglich als multi-sensorische Reizquelle verstanden, welche die Sinne der Rezipienten mit vermittelten Informationen überflutet [...]. Daneben bezieht sich die psychological immersion darauf, wie stark die mentale Modellierung der virtuellen Welt die geistigen Ressourcen der Rezipienten beansprucht. (Hochscherf/Kjär/Rupert-Kruse 2011, 13)

Mit der Analyse der verschiedenen phänosemiotischen Zeichenebenen erhält man ein analytisches Zustandsmodell von Virtual-Comics, in welchem sich die verschiedenen relationalen Bezüge aus Zeichenträger(n), Objektbezügen und der prozessualen Dynamik des Interpretanten erfassen lassen (Abbildung 7). Der Vorteil der phänosemiotischen Analyse liegt in der Integration und Offenlegung wahrnehmungstheoretischer Anteile (expliziter Bezug zur perceptual immersion), die sich während der Medienrezeption ereignen, wobei hingegen das perzeptuelle System (p) die subjektive und bereits reflektierte Erfahrungswirklichkeit beschreibt.

In der Anwendung von ps = r₁ [rep ∧ o = int (r₂ (sp, ra, ma)) ∧ i (r₂ (s (r₃a (tac, vis, aud, olf, gust) ∧ r₃b (prop, visc, therm, noci)) ∧ p)) = ∨ (r₂ (b = i, d))] lässt sich der Zeichenträger (rep) selbst als mehrteiliger und multimodaler Medienverbund bestimmen: Das head mounted display generiert den visuellen Raum, die positional camera überträgt die physikalische Bewegung des Kopfes des Users in das virtuelle Szenario, die Maus dient als Auswahlinstrument sowie Steuerung für die Nähe-Distanz-Beziehung zwischen subjektiver Perspektive und Comic-Seite und die Tastatur fungiert als Basis-Interface. Die Objektdarstellungen oder zeichentheoretischen Objektbezüge stehen in einem gegenseitigen Wechselverhältnis, orientiert an einer Figur-Hintergrund-Beziehung, denn die virtuelle Repräsentation des Universums/Weltalls bestimmt selbst die visuelle Raumdynamik (Hintergrund) und die repräsentierte Comic-Seite bindet als zentrale Figur die primäre Aufmerksamkeit und wird zum körperlich-partizipativen Aufmerksamkeitsanker für Blick, Bewegung und Erfahrungsdynamik. In vertiefender Analyse steht speed für die Umsetzung einer sinnvoll austarierten Reaktionszeit und des Verhinderns störender Latenzzeiten im Kontext von subjektiver Kopfbewegung und der davon abhängigen Repräsentation der Comic-Seite. Range bezieht sich auf die räumlichen Freiheitsgrade der visuellen und propriozeptiven Interaktion mit der Comic-Seite. Mapping steht für die realisierte Mensch-Maschine-Schnittstelle aus head mounted display, verkörperter Interaktion und der durch die Maus gesteuerten Nähe-Distanz-Beziehung. Die Funktionsstufe des Interpretanten gibt vertiefende Auskunft über eine Relation extero- und interozeptiver Wahrnehmungsdynamik und liefert die sensorische Begründung dafür, welche Sinnesbeteiligungen einen Einfluss auf die Bedeutungsstrukturen haben können. Der Exterozeption lassen sich hier die visuelle und die auditive Sinnesmodalität zuordnen, indem das Sehen den virtuellen Raum optisch erschließt und spezifische Handlungen mit dargestellten Objekten akustisch charakterisiert werden. Der dominante Rezeptions-Faktor wird durch die Interozeption (hier Propriozeption) bestimmt, da die subjektive Bewegung als eine synchronisierte und verkörperte Interaktion zu beschreiben ist, von der ausgehend der virtuelle Raum, die Menüführung und -logistik sowie die virtuelle Positionierung zur Comic-Seite erst hergestellt werden kann. Die extero- und interozeptive Dynamik steuern eine wahrnehmungstheoretische Rezeption, deren Effekt eine von Störimpulsen freie subjektive Erfahrungswirklichkeit (p) ist, in der sich die handlungslogischen Parameter mit den technischen Strukturen des Mediensystems synchronisieren. Schlussendlich zeigt sich hier die technische Dominanz und Notwendigkeit von depth als Bestimmungsgröße von Datenmenge und Datenübertragungsrate und technische Grundbedingung für das Funktionieren des Mediensystems.

Schlussüberlegungen

Die Erforschung des Comics hat in den letzten Jahren eine zunehmende produktive Vertiefung erfahren, da sich dem komplexen Artefakt vor allem mit interdisziplinärer Verve genähert wurde (vgl. Dolle-Weinkauff 2014, Wilde 2014, Wildfeuer/Bateman 2014). Dieser Artikel hat sich bewusst für eine andere, weniger herkömmliche Perspektive entschieden, um sich mit dem Analysegegenstand ›Comic‹ zu befassen, und daher explizit die Strukturgrößen der Wahrnehmung und der Medienmaterialität an den Ausgangspunkt der Überlegungen gestellt. Mit diesem Vorgehen konnte ebenfalls einer interdisziplinären Vorgehensweise gefolgt werden, da mit dem vorgeschlagenen Analyseverfahren der Phänosemiose einerseits die Wahrnehmungsbezogenheit und andererseits die Zeichenhaftigkeit von Virtual-Comics analytisch präzisiert wurden.

Die phänosemiotische Analyse (Abbildung 7) zeigt sich als ein geeignetes Werkzeug, um eine zeichentheoretische Systematisierung von Medien, in Verbindung mit den Aspekten der Wahrnehmung und den immersionsbestimmenden Kategorien, vorzunehmen. Diese Vorgehensweise mag zwar auf den ersten Blick ungewöhnlich, technisch und medienmaterialistisch erscheinen, sie wird aber genau dann notwendig, wenn die Menge der Technologien innerhalb eines Medienverbundes eine klare Zuordnung von Zeichenträger, Objekt und Interpretant erschwert, wenn nicht sogar völlig unmöglich macht. Phänosemiose orientiert sich dabei an der Logik der Zustandsmodelle und der informationstheoretischen Ästhetik:

Die ›Informationsäthetik‹, die mit semiotischen und mathematischen Mitteln arbeitet, kennzeichnet die ›ästhetischen Zustände‹, die an Naturgegenständen, künstlerischen Objekten, Kunstwerken oder Design beobachtbar sind, durch Zahlenwerte und Zeichenklassen, das heißt aber, sie definiert sie als eine besondere Art von ›Information‹, eben als ›ästhetische Information‹, die relativ zu einer Quelle, das heißt einem Repertoire von Elementen oder materialen Mitteln gebildet wird. Die Theorie widmet sich zwar vorwiegend ›materialen‹ Problemen, ignoriert aber keineswegs die ›intentionalen‹. (Bense 1969, 7)

Bewusst wurde darauf verzichtet, den primären Fokus auf das Konzept des Comics als Medium sui generis zu legen, sondern das virtuelle – und damit notwendigerweise technologische – Systemgefüge von Virtual-Comics als Funktionshorizont eines virtuellen Meta-Mediums zu plausibilisieren.

Mit dem Fokus auf Technologie konnte ein produktiver Fokus auf die Materialität des Mediums Virtual-Comics gelegt und darüber hinaus ein erweiterter Analysegegenstand in den Comic-Diskurs integriert werden, der sich durch den Methoden- und Perpektivhorizont der presence-evoking media technologies (vgl. Lombard/Ditton 1997) sinnvoll ergibt. Denn bei Virtual-Comics geht es nicht um eine schlichte technologische »Einbettung in bestimmte Trägermedien« (Wilde 2016), wie beispielsweise innerhalb einer App oder eines Tablet-Readers, sondern um eine systematischere Hybridisierung des Comic-Artefakts mit den immersionsbestimmenden Kategorien vividness und interactivity, die sich erst vollständig über die VR-Technologie des head mounted displays realisieren lässt. Es sind demnach die Bestimmungsgrößen von vividness und interactivity, die auf Basis der technologischen Materialität und Systematisierung einen direkten Einfluss nehmen auf die Rezeptions- und Wahrnehmungsweiseweise des Comics – stuff matters!

_______________________________________________________

Bibliografie

• Bense, Max: Einführung in die informationstheoretische Ästhetik. Grundlegung und Anwendung in der Texttheorie. Hamburg: Rohwolt, 1969.
• Biocca, Frank et al: The Vision of Virtual Reality. In: Communication in the age of virtual reality. Hg. v. Frank Biocca u. Mark R. Levy Hillsdale (New Jersey): Lawrence Erlbaum Associates, 1995a, S. 3–14.
• Biocca, Frank u. Mark R. Levy: Virtual Reality as a Communication System. In: Communication in the age of virtual reality. Hg.:Frank Biocca u. Mark R. Levy, Hillsdale (New Jersey): Lawrence Erlbaum Associates, 1995b, S. 15–32.
• Czitrom, Daniel: Media and the American mind: From Morse to McLuhan. Chapel Hill: Univ. of North Carolina Press, 1982.
• de Kerckhove, Derrick: Schriftgeburten. Vom Alphabet zum Computer. München: Wilhelm Fink Verlag, 1995.
• Dolle-Weinkauff, Bernd: Vom Einzelbild zur Erzählung. Narrative Dynamik in Bildgeschichte und Comic. In: Auf dem Sprung zum bewegten Bild. Narration, Serie und (proto-)filmische Apparate. Hg. v. Lars C. Grabbe, Dimitri Liebsch u. Patrick Rupert-Kruse. Köln: Herbert von Halem, 2014, S. 81–113.
• Driver, Jon u . Toemme Noesselt: Multisensory Interplay Reveals Crossmodal Influences on ›Sensory-Specific‹ Brain Regions, Neural responses, and Judgments. In: Neuron 57, January 10, 2008, S. 11–23.
• Flusser, Vilém: Medienkultur. Frankfurt a.M.: Fischer, 1997.
• Franke, Herbert W.: Phänomen Kunst. Die kybernetischen Grundlagen der Ästhetik, Köln: DuMont, 1974.
• Grabbe, Lars C.: Homo Immergens. Immersion als Parameter für eine Medien- und Kulturtheorie medialer Hybridität. In: Visual Past. A Journal for the Study of Past Visual Cultures (open access), No. 1. <http://www.visualpast.de/archive/pdf/vp2015_0527.pdf>. 2015a. Letzter Zugriff am 20.06.2016.
• Grabbe, Lars C.: Cyborgian Contact with Content? The Phenosemiotics of Interactive Media Systems. In: Cyborgian Images. The Moving Image between Apparatus and Body, Yearbook of Moving Image Studies (YoMIS). Hg. v. Lars C. Grabbe, Patrick Rupert-Kruse u. Norbert M. Schmitz, Darmstadt: Büchner-Verlag, 2015b, S. 67–89.
• Grabbe, Lars C. u. Patrick Rupert-Kruse: Phänomenologie/Aisthetik. In: Bild und Methode. Theoretische Hintergründe und methodische Verfahren der Bildwissenschaft, Hg. v. Netzwerk Bildphilosophie, Köln: Herbert von Halem, 2014, S. 95–105.
• Gsöllpointner, Katharina: Digital Synesthesia. The Merge of Perceiving and Conceiving. In: Yearbook of Moving Image Studies: Cyborgian Images. The Moving Image between Apparatus and Body, Issue 1. Hg. v. Lars C. Grabbe, Patrick Rupert-Kruse, Norbert M. Schmitz, Darmstadt: Büchner-Verlag, 2015, S. 102–127.
• Hochscherf, Tobias; Heidi Kjär, u. Patrick Rupert-Kruse: Einleitung. Phänomen und Medien der Immersion. In: Jahrbuch immersiver Medien, 2011, S. 9–20.
• Lohmar, Dieter: Ãœber phantasmatische Selbstaffektion in der typisierenden Apperzeption und im inneren Zeitbewusstsein. Beitrag zur Konferenz »Attualida della Phenomenologia«, 2002. <http://www.ledonline.it/leitmotiv/Allegati/leitmotiv030304.pdf>. Letzter Zugriff am 20.06.2016.
• Lohmar, Dieter: Phänomenologie der schwachen Phantasie. Untersuchungen der Psychologie, Cognitive Science, Neurologie und Phänomenologie zur Funktion der Phantasie in der Wahrnehmung (Phaenomenologica, 185). Springer: Dordrecht, 2008.
• Lombard, Matthew u. Theresa Ditton: At the Heart of it All: The Concept of Presence. In: Journal of Computer-Mediated Communication, 3, 2. <http://onlinelibrary.wiley.com/doi/10.1111/j.1083-6101.1997.tb00072.x/full>. 1997. Letzter Zugriff am 20.06.2016.
• Malafouris, Lambros: Before and Beyond Representation. Towards an Enactive Conception of the Palaeolithic Image. In: Image and Imagination. A Global History of Figurative Representation. Hg. v. Colin Renfrew u. Iain Morley, Cambridge: McDonald Institute for Archaeological Research, 2007, S. 289–302.
• Mausfeld, Rainer: Wahrnehmungspsychologie. In: Kiel Visual Perception Lab, S. 1–30. <http://www.uni-kiel.de/psychologie/psychophysik/mausfeld/Wahrnehmung.pdf>. 2010. Letzter Zugriff am 20.06.2016.
• McLuhan, Marshall: Understanding Media. The Extensions of Men. New York u. London: Routledge, 2001.
• Merleau-Ponty, Maurice: Das Kino und die neue Psychologie. In: Philosophie des Films. Grundlagentexte, Hg. v. Dimitri Liebsch, Paderborn: mentis, 2003, S. 70–84.
• Metzinger, Thomas: Philosophische Perspektiven auf das Selbstbewusstsein. Die Selbstmodell-Theorie der Subjektivität. In: Psychologie des Selbst. Psychologie Verlagsunion. Hg. v. Greve Werner. <http://www.philosophie.uni-mainz.de/metzinger/publikationen/SMT-light2UTB.pdf>. 2000. Letzter Zugriff am 20.06.2016.
• Moles, Abraham A.: Informationstheorie und ästhetische Wahrnehmung. Köln: DuMont, 1971.
• Mosbach, Doris u. Klaus Sachs-Hombach: Bildverwendungstypen. In: Glossar der Bildphilosophie, Ausgabe 1. <http://www.gib.uni-tuebingen.de/netzwerk/glossar/index.php?title=Bildverwendungstypen>. 2013. Letzter Zugriff am 04.11.2016.
• Nanay, Bence: The Multimodal Experience of Art. In: British Journal of Aesthetics 2012, 52 (4), S. 353–363.
• Nanay, Bence: Between Perception and Action, Oxford: Oxford Univ. Press, 2013.
• O’Callaghan, Casey: Seeing What You Hear: Cross-Modal Illusions and Perception. S. 1–28. <http://caseyocallaghan.com/research/papers/ocallaghan-2008-Crossmodal.pdf>. 2008. Letzter Zugriff am 20.06.2016.
• Peirce, Charles S.: Semiotische Schriften, Band 1. Hg. v. Christian J. W. Kloesel, Helmut Pape, Frankfurt a. M.: Suhrkamp, 2000.
• Roth, Gerhard: Das Gehirn und seine Wirklichkeit. Kognitive Neurobiologie und ihre philosophischen Konsequenzen, Frankfurt a.M.: Suhrkamp, 1997.
• Sachs-Hombach, Klaus: Bildbegriff und Bildwissenschaft. In: Kunst – Gestaltung – Design, Heft 8. Saarbrücken: Verlag St. Johann, 2001, S. 3–26.
• Sachs-Hombach, Klaus: Das Bild als kommunikatives Medium. Elemente einer allgemeinen Bildwissenschaft. Köln: Herbert von Halem, 2003.
• Sachs-Hombach, Klaus u. Jörg R. J. Schirra: Anthropologie in der systematischen Bildwissenschaft: Auf der Spur des homo pictor. <http://jrjs.bplaced.net/www/Work/Papers/P11/P11-1/Anthropologie-Bildwissenschaft.pdf>. 2008. Letzter Zugriff am 20.06.2016.
• Sachs-Hombach, Klaus u. Jörg R. J. Schirra: Medientheorie, visuelle Kultur und Bildanthropologie. In: Bildtheorien. Anthropologische und kulturelle Grundlagen des Visualistic Turn. Hg. v. Klaus Sachs-Hombach, Frankfurt am Main: Suhrkamp, 2009, S. 393–426.
• Seel, Norbert M.: Weltwissen und mentale Modelle. Göttingen: Hogrefe, 1991.
• Singer, Wolf: Das Bild in uns. Vom Bild zur Wahrnehmung. In: Bildtheorien. Anthropologische und kulturelle Grundlagen des Visualistic Turn Hg. v. Klaus Sachs-Hombach, Frankfurt am Main: Suhrkamp, 2009, S. 104–126.
• Stein, Barry E., Terrence R. Stanford u. Benjamin A. Rowland: The Neural Basis of Multisensory Integration in the Midbrain. Ist Organization and Maturation. In: Hear Res. 258(1-2), 2009, S. 4–15. doi:10.1016/j.heares.2009.03.012.
• Steuer, Jonathan: Defining Virtual Reality: Dimensions Determining Telepresence. In: Communication in the age of virtual reality. Hg. v. Frank Biocca u. Mark R. Levy, Hillsdale (New Jersey): Lawrence Erlbaum Associates, 1995, S. 33–56.
• Sutherland, Ivan: The ultimate display. Proceedings of the International Federation of Information Processing Congress, 2, 1965, S. 506–508.
• Talsma, Durk: Predictive coding and multisensory integration. An attentional account of multisensory mind. In: Frontiers in Integrative Neuroscience, Volume 9, Article 19, 2015, S. 1–13.
• Wiesing, Lambert: Artifizielle Präsenz. Studien zur Philosophie des Bildes. Frankfurt a. M.: Suhrkamp, 2005.
• Wilde, Lukas R. A.: Was unterscheiden Comic-›Medien‹? In: Closure. Kieler e-Journal für Comicforschung, Nr. 1, 2014, S. 25–50.
• Wilde, Lukas R. A.: Comic. In: Glossar der Bildphilosophie, Ausgabe 1. <http://www.gib.uni-tuebingen.de/netzwerk/glossar/index.php?title=Comic#cite_note-3>. 2016. Letzter Zugriff am 04.11.2016.
• Wildfeuer, Janina u. John A. Bateman: Zwischen gutter und closure. Zur Interpretation der Leerstelle im Comic durch Inferenzen und dynamische Diskursinterpretation. In: Closure. Kieler e-Journal für Comicforschung, Nr. 1, 2014, S. 3–24.

Abbildungsverzeichnis

• Abb. 1: Erstellt durch Grafikdesign James L. Hubbell B. A.
• Abb. 2: Nach Steuer (1995).
• Abb. 3: Virtual-Comics – Read Your Comic Books/Graphic Novels in Space! <https://www.youtube.com/watch?v=vMabX1xAgW0>.
• Abb. 4: Virtual-Comics – Read Your Comic Books/Graphic Novels in Space! <https://www.youtube.com/watch?v=vMabX1xAgW0>.
• Abb. 5: Virtual-Comics – Read Your Comic Books/Graphic Novels in Space! <https://www.youtube.com/watch?v=vMabX1xAgW0>.
• Abb. 6: Virtual-Comics – Read Your Comic Books/Graphic Novels in Space! <https://www.youtube.com/watch?v=vMabX1xAgW0>.
• Abb. 7: Lars C. Grabbe.

 

• 1] Zum semiotischen und medientheoretischen Problem der Bildverwendung siehe Mosbach und Sachs-Hombach (2013).
• 2] »Das Sensorische System, das evolutionär älter ist, übersetzt das auf die Sinnesrezeptoren treffende Energiemuster in sensorische Codes und transformiert diese so, dass sie an der Schnittstelle zum Perzeptuellen System lesbar sind.« (vgl. Mausfeld 2010, 15)
• 3] »Die internen Operationen des Sensorischen Systems basieren auf den physikalisch-geometrischen Datenformaten, durch die auch der Input charakterisiert wird (beispielsweise Linien, Kanten, konvexe Gebilde, Texturstatistiken), und sind rein inputbasierte Transformationen, wie Filterungsprozesse, Berechnungen von Luminanzgradienten oder andere mathematische Operationen auf dem Input. Das Sensorische System stellt eine Art Vorverarbeitung des sensorischen Inputs dar, der an die Anforderungen des Perzeptuellen Systems angepaßt ist. Ãœber die Arbeitsweise des Sensorischen Systems ist vergleichsweise viel bekannt, da in der Psychophysik und der traditionellen Wahrnehmungspsychologie der Forschungsfokus auf diesem System liegt. Das Perzeptuelle System hingegen ist dadurch gekennzeichnet, dass seine internen Operationen auf einem logisch sehr viel mächtigeren und reichhaltigeren Vokabular basieren, nämlich auf einem umfassenden System von Konzeptformen. Das Perzeptuelle System läßt sich also gerade als das System von Bedeutungskategorien bzw. Konzeptformen auffassen, mit denen unser Wahrnehmungssystem biologisch ausgestattet ist.« (Mausfeld 2010, 15)
• 4] »Das sensorische System generiert sensorische Codemuster, die für das Perzeptuelle System eine Art Stichwortgeber dar[stellen], die spezifische Konzeptformen aktivieren (dies entspricht dem Konzept des Triggers in der Ethologie und dem Konzept einer Schnittstellenfunktion in der Theorie computationaler Systeme).« (Mausfeld 2010, 16)
• 5] Zustandsmodelle kommen aus der Kybernetik und kybernetischen Medientheorie. Hier wird über die Strukturen des Artefakts ein Rückschluss auf die Rezeption geschlossen (vgl. Bense 1969; Moles 1971).
• 6] Wahrnehmungsnahe Zeichen ereignen sich auf sensorischer Ebene quasi perzeptuell vorgelagert, bevor es zu einer Interpretation kommt. Aus diesem Grund ist der Bezug auf die multisensorischen Phänomene, wie z. B. McGurk, Mirror Box etc. überaus wichtig, um die Relation aus Wahrnehmung, Sensorik und Zeichenhaftigkeit explizit zu betonen.
• 7] »Der Bezug auf einen Interpretanten wird durch das ermöglicht und gerechtfertigt, was auch den Vergleich ermöglicht und rechtfertigt. Aber das ist offensichtlich die Verschiedenartigkeit der Sinneseindrücke. Wenn es nur einen Sinneseindruck gäbe, so brauchte man ihn weder zur Einheit zu bringen noch ihn als auf einen Interpretanten bezogen zu begreifen, und der Begriff des Bezugs auf einen Interpretanten würde erst gar nicht entstehen. Aber da es nun eine Mannigfaltigkeit der Sinneseindrücke gibt, haben wir eine Empfindung von Komplexität und Verworrenheit, die uns dazu bringt, einen Sinneseindruck vom anderen zu unterscheiden und sie dann, als unterschiedene, auf eine Einheit zu bringen. Nun werden sie erst auf eine Einheit gebracht, wenn wir sie insgesamt als unsere betrachten, das heißt, wenn wir sie auf einen Begriff als ihren Interpretanten beziehen. So entsteht der Bezug auf einen Interpretanten also durch die Verbindung verschiedener Sinneseindrücke, und deshalb verbindet er nicht einen Begriff mit der Substanz, wie es bei den anderen beiden Bezügen der Fall ist, sondern er vereinheitlicht unmittelbar die Mannigfaltigkeit der Substanz selbst. Er ist daher im Fortschreiten vom Sein zur Substanz der letzte Begriff in der Reihenfolge.« (Peirce 2000, 153)