Back to the index page
This work was successfully defended on May 25th, 1998, to obtain the degree of doctor in Psychological Science.
The doctoral dissertation is not published as a whole, but is a bundle of papers that have been published (Chapters 2-4), or will be submitted for publication (Chapters 5 and 6). Chapter 1 is a Dutch introduction to, and summary of the other chapters. This dissertation was defended on May 25th, 1998, to obtain the degree of doctor in Psychological Science.
Bij het bekijken van een scène (een alledaagse situatie, zoals een keuken of een speeltuin), fixeren mensen vooral de informatierijke gebieden, zoals objectlocaties. Het identificeren van een object verloopt namelijk het snelst wanneer het bekeken wordt met het foveale gedeelte van het netvlies. Met toenemende excentriciteit neemt de visuele resolutie snel af. Saccades zijn ballistische oogbewegingen die een geselecteerd deel van de visuele stimulus in de fovea brengen. Het doel van een fixatie is in de eerste plaats de identificatie van het gefixeerde object. Dit locale proces vereist de toewijzing van selectieve visuele aandacht aan de foveale stimulus. Verondersteld wordt dat voor objectidentificatie de aanwezigheid van perifere stimulusinformatie niet vereist is. Andere, globale processen gebruiken de perifere stimulus wel, bijvoorbeeld bij de selectie van een nieuw saccadedoel.
In dit proefschrift werd het tijdsverloop van foveale en perifere informatieverwerking tijdens scène-exploratie bestudeerd, om te bepalen wanneer tijdens fixaties locale en globale perceptuele processen zich afspelen. Hierbij werd gebruik gemaakt van oogbewegingsgestuurde stimulusmanipulaties. De aanwezigheid en kwaliteit van foveale of perifere informatie werd afhankelijk gemaakt van de verstreken fixatieduur. In alle experimenten bekeken proefpersonen lijntekeningen van scènes, in het kader van een zoektaak. Hoofdstuk 1 in dit proefschrift geeft een Nederlandstalige inleiding, en vat de uitgevoerde experimenten samen. Twee speciaal ontwikkelde beeldveranderingstechnieken staan beschreven in Hoofdstukken 2 en 4. Hoofdstukken 3, 5 en 6 rapporteren tien experimenten waarin deze technieken gebruikt werden.
Hoofdstuk 3 beschrijft het eerste experiment dat in het kader van dit proefschrift werd uitgevoerd. Foveale informatie binnen een ovaal werd gemaskeerd door pixels met willekeurige grijswaarden, na een vertraging van 15, 45, 75, of 120 ms ten opzichte van het begin van fixaties. In een controleconditie vond geen maskering plaats. Het bleek dat in de 15-ms conditie de zoektaak significant langzamer werd uitgevoerd dan in de andere condities. De controleconditie en de 75- en 120-ms condities verschilden nauwelijks van elkaar. Geconcludeerd werd dat binnen 45 à 75 ms vanaf het begin van fixaties, voldoende foveale informatie verwerkt kan worden om objectidentificatie mogelijk te maken.
Hoofdstuk 5 beschrijft een viertal experimenten die foveale informatie volledig maskeerden, gedeeltelijk maskeerden, in contrast verminderden, of omlijnden met een rode ellips, na een instelbare vertraging vanaf het begin van fixaties. Het verschijnen van de rode ellips rond de fixatiepositie werd gebruikt als een alternatieve controleconditie, omdat in dat geval een temporele stimulusdiscontinuïteit aanwezig was, net als in de degradatiecondities, die de stimuluskwaliteit echter nauwelijks aantastte. De veronderstelling dat voldoende foveale encodering voor objectidentificatie plaats kan vinden aan het begin van fixaties werd bevestigd. Bovendien werd aangetoond dat fixatieduur de snelheid van foveale informatieverwerking reflecteert, tenzij foveale informatie volledig wordt verwijderd. In het laatste geval neemt in plaats van de fixatieduur het aantal fixaties toe.
Het eerste experiment in Hoofdstuk 6 is een uitgebreide replicatie van het experiment in Hoofdstuk 3. De resultaten bevestigden de conclusies van de vorige experimenten. In Experiment 2 werd foveale informatie gemaskeerd aan het begin van elke fixatie, om te onderzoeken of foveale encodering onmiddellijk start na aanvang van de fixatie. Dit bleek inderdaad het geval te zijn, getuige de stijging van fixatieduren en scène-inspectietijden naarmate de maskeringsduur toenam. Experimenten 3a en 3b vertraagden de aanbieding van perifere informatie aan het begin van fixaties. Ook dit bleek fixatieduren te verlengen, echter in mindere mate dan de foveale maskering in Experiment 2. De selectie van saccadedoelen werd al bij korte vertragingen aangetast. Experiment 4 vergeleek de effecten van foveale en perifere maskering aan het begin van fixaties. Er werd vastgesteld dat vertraging van foveale encodering een sterke invloed had op de duur van fixaties. Perifere maskering beperkte vooral het aantal beschikbare saccadedoelen, wat zich uitte in een afname van de gemiddelde saccadelengte naarmate de maskeringsduur toenam. Er werd binnen fixaties geen afgebakende periode gevonden voor het gebruik van perifere informatie.
De bevindingen van dit proefschrift zijn grotendeels compatibel met
het sequential attention model van oogbewegingscontrole tijdens
scèneperceptie (Henderson, 1992).
While viewing a scene (a real-world situation, such as a kitchen or a playground), people mainly fixate information-rich areas, such as object locations. When objects are viewed with the foveal part of the retina, identification is most efficient. Visual acuity rapidly decreases at higher eccentricities. Saccades are ballistic movements that bring a selected part of the visual stimulus to the fovea. The main goal of a fixation is to identify the fixated object. This local process requires the allocation of selective visual attention to the foveal stimulus. It is assumed that the presence of peripheral stimulus-information is not required for local object identification. Other, global processes utilize the peripheral stimulus, for example to select a saccade target.
This thesis studied the time-course of foveal and peripheral information encoding during fixations on scenes, to determine at which moments local and global processes occurred. Eye-contingent display changes were employed to achieve this. The presence and quality of foveal or peripheral information was manipulated in function of the time elapsed since the onset of fixations. In all experiments, participants explored line drawings of scenes, in the context of an object-search task. Chapter 1 of this thesis gives an introduction, and summarizes the experiments (in Dutch). Two specially designed display-change techniques are described in Chapters 2 and 4. Chapters 3, 5 and 6 report ten experiments that employed these techniques.
Chapter 3 describes the first experiment that was conducted in the context of this thesis. Foveal information within an ovoid was masked by pixels with random grey-levels, after a delay of 15, 45, 75, or 120 ms from the onset of fixations. In a control condition, no masking occurred. It was found that in the 15-ms condition, more time was required to complete the search task, compared with the other conditions. The control condition, and the 75- and 120-ms conditions hardly differed. It was concluded that for object-identification, sufficient foveal information could be encoded within the first 45 to 75 ms of fixations.
Chapter 5 reports four experiments in which foveal information was completely masked, partially masked, degraded in contrast, or outlined by a red ellipse, after a preset delay from the onset of fixations. Appearance of the red ellipse was used as an alternative control condition. It produced a temporal stimulus-discontinuity, that was also present in the degradation conditions, but hardly affected the stimulus quality. The proposition that foveal information for object-identification can be sufficiently encoded during the first part of fixations was confirmed. Moreover it was shown that a fixation duration reflects the speed of foveal information processing, unless foveal information is completely removed. In the latter case, the number of fixations increases, instead of the fixation duration.
The first experiment in Chapter 6 is an extended replication of the experiment in Chapter 3. Its results confirmed conclusions of the previous experiments. In Experiment 2, foveal information was masked at the beginning of fixations, to determine whether foveal encoding starts immediately after the onset of a fixation. This indeed seemed to be the case, since fixation durations and scene inspection times increased as the mask duration increased. Experiments 3a and 3b delayed the presentation of peripheral information after the onset of fixations. This increased the duration of fixations too, but to a lesser extent than foveal masking in the previous experiment. Saccade target selection was affected even by a short delay of the peripheral image. Experiment 4 directly compared the effects of foveal and peripheral masking at the beginning of fixations. It was found that postponement of foveal encoding strongly affected fixation durations. Peripheral masking primarily seemed to reduce the number of available saccade targets, as was reflected by a reduction of the average amplitude of saccades, as the mask duration increased. No clearly defined period during fixations appeared to be associated with the use of peripheral information.
The findings of this thesis are largely compatible with the sequential attention model of eye-movement control (Henderson, 1992).
Ik dank alle mensen die hebben bijgedragen tot de realisatie van dit proefschrift. In het bijzonder wil ik de volgende personen bedanken (in gerandomiseerde volgorde): Peter De Graef, Géry d'Ydewalle, Filip Germeys, Martien Wampers X, Marleen Devijver, John Henderson, bètatester Dimitri Larmuseau, Noël Bovens, Caroline Van Eccelpoel, Marcel Lenaerts, John Findlay, Johan Van Rensbergen, Jan Lauwereyns, en George McConkie.
I thank all people that contributed to the realization of this thesis.
Especially, I want to thank the following persons (in randomized order):
Peter De Graef, Géry d'Ydewalle, Filip Germeys, Martien Wampers
X, Marleen Devijver, John Henderson, beta-tester Dimitri Larmuseau, Noël
Bovens, Caroline Van Eccelpoel, Marcel Lenaerts, John Findlay, Johan Van
Rensbergen, Jan Lauwereyns, and George McConkie.
Visuele analyse van scènes gebeurt op tenminste twee niveau's. Op een globaal niveau worden scène-identiteit en eenvoudige eigenschappen van de aanwezige objecten, zoals objectlocaties, bepaald. Op een locaal niveau wordt een onderdeel van de scène gedetailleerd geanalyseerd, met name om de identiteit van objecten te bepalen. De gedetailleerde analyse van een locaal scène-onderdeel vereist selectieve visuele aandacht gericht op dat onderdeel (zie bijv. Henderson, 1992b; Treisman & Gelade, 1980).
Scèneperceptie kan niet simpelweg worden beschouwd als de optelsom van de perceptie van geïsoleerd aangeboden objecten. Ten eerste blijken er interacties te bestaan tussen het globale en locale niveau van scèneperceptie. Zo wordt objectherkenning beïnvloed door de relatie van het object tot de scène (zie bijv. Biederman, 1981; Boyce & Pollatsek, 1992): Een te grote mixer die zweeft in een speeltuin wordt langzamer geïdentificeerd dan een mixer van normale grootte op de keukentafel, zelfs wanneer de visuele projectie van de mixer op het netvlies in beide gevallen identiek is. Dit staat los van postperceptuele, cognitieve processen, zoals verbazing over een zwevende mixer.
Ten tweede is een bijkomende taak van het visuele systeem bij het bekijken van scènes het sturen van oogbewegingen. Wanneer mensen een stilstaande scène bekijken, bestaat hun oogbewegingspatroon uit een afwisseling van fixaties en saccades, zo nu en dan onderbroken door het knipperen met de ogen. Gedurende saccades wordt de invoer van visuele informatie onderdrukt (zie bijv. Matin, 1974; Shioiri, 1993). Hoewel we hier niets van merken, zijn we tijdens saccades dus feitelijk even blind! Tijdens een fixatie staan de ogen relatief stil, en kan informatie opgenomen worden van het beeld. De reden om een bepaald gedeelte van de stimulus te fixeren is duidelijk: Fijne details kunnen alleen onderscheiden worden door het centrale, foveale gebied van de retina. Met toenemende excentriciteit neemt de visuele resolutie snel af (zie bijv. De Valois & De Valois, 1988). Alleen door objecten in de fovea te brengen kunnen ze snel geïdentificeerd worden.
Dat niet alleen locale (foveale) informatie verwerkt wordt blijkt uit het feit dat het merendeel van de fixaties op informatierijke gebieden van de scène plaatsvindt (zie bijv. Yarbus, 1967). Bij het bekijken van een scène worden saccades voornamelijk gericht op objecten, en niet op "lege" stukken achtergrond. Soms vinden kleine saccades plaats, en wordt een ander onderdeel van hetzelfde object bekeken, maar ook grote oogbewegingen van de ene naar de andere hoek van de scène komen voor. Hieruit blijkt dat een groot deel van de scène gebruikt wordt bij het kiezen van een toekomstige fixatielocatie. Deze keuze vindt noodzakelijkwijze plaats voorafgaand aan de saccade, aangezien tijdens de saccade geen informatie verwerkt wordt. Bovendien zijn saccades ballistische bewegingen, waarvoor eerst een motorprogramma opgesteld moet worden, voordat de beweging kan starten (1).
Een gevolg van het uitzoeken van een toekomstige fixatielocatie is dat een gefixeerd object reeds in zekere mate verwerkt is tijdens de voorafgaande fixatie. Dit versnelt de identificatie van het object wanneer het vervolgens gefixeerd wordt (de zogenaamde preview benefit; zie bijv. Henderson, 1992a).
Uit het bovenstaande blijkt dat zich tijdens fixaties op scènes verschillende perceptuele processen afspelen. De foveale stimulus wordt geanalyseerd en zomogelijk geïdentificeerd, een volgende fixatielocatie wordt geselecteerd, en de informatie op deze locatie wordt reeds gedeeltelijk verwerkt. Bovendien wordt de scène-identiteit bepaald, hoewel het niet duidelijk is of dit eenmalig gebeurt tijdens de eerste fixatie op een scène, of telkens opnieuw. Daarnaast wordt een motor programma opgesteld voor de saccade, en kunnen vele postperceptuele processen plaatsvinden, zoals bijvoorbeeld benoeming en classificatie van de foveale stimulus, integratie van de foveale stimulus in het geheel, en responsselectie. Van Duren (1994) toonde aan dat de strikt perceptuele processen plaatsvinden binnen de duur van de fixatie, maar dat postperceptuele processen door kunnen gaan na het einde van de fixatie waarin zij gestart werden.
Een model voor oogbewegingscontrole tijdens het lezen en het bekijken van afbeeldingen is het sequential attention model (Henderson, 1992b). Dit model veronderstelt dat visuele aandacht aan het begin van elke fixatie toegewezen wordt aan de foveale stimulus, totdat een bepaald niveau van foveale verwerking is bereikt. Aandacht wordt vervolgens op een ander onderdeel van de stimulus gericht. Tegelijkertijd wordt een saccade geprogrammeerd naar die stimuluslocatie. De aandachtsverschuiving gaat dus vooraf aan de overeenkomstige oogbeweging, waardoor een vervolgens gefixeerd stimulus onderdeel reeds gedeeltelijk verwerkt is, wat de reeds genoemde preview benefit oplevert. Onderzoek toonde aan dat foveale verwerkingsmoeilijkheid de preview benefit vermindert (2). Om dit te verklaren werd het bovenstaande model als volgt uitgebreid (Henderson, 1992b): Verondersteld werd dat fixaties een vooraf vastgelegde maximale tijdsduur hebben. Het motor programma voor de saccade dient daardoor opgesteld te worden voordat een zogenoemde programming deadline bereikt is. Als foveale informatie niet in voldoende mate verwerkt kan worden voor de programming deadline, blijft aandacht gericht op de foveale stimulus, maar wordt er wel al een saccade geprogrammeerd. Als de foveale stimulus voldoende verwerkt is voor het bereiken van het einde van de fixatie, kan aandacht alsnog verplaatst worden naar een andere stimuluslocatie. Wanneer dit gebeurt voordat het motor programma van de saccade gestart is, kan dit programma mogelijk nog gestopt of gewijzigd worden.
Hoewel het bovenstaand model bruikbaar is als een initiële beschrijving van oogbewegingscontrole, zijn verschillende onderdelen ervan nog niet ver genoeg uitgewerkt. Zo is niet gespecificeerd welk niveau foveale verwerking moet bereiken voordat aandacht verplaatst wordt. Henderson (1992b) speculeert dat dit het niveau zou kunnen zijn waarop voldoende kenmerken van de foveale stimulus bekend zijn om identificatie mogelijk te maken, dus nog voordat identificatie daadwerkelijk bereikt is. Verder is het onduidelijk op welke basis een saccadedoel wordt geselecteerd. Henderson neemt aan dat de gehele stimulus parallel onderzocht wordt op de aanwezigheid van bepaalde, relatief simpele karakteristieken, die gewogen worden per stimulus locatie. De locatie met het zwaarste gewicht wordt gekozen als saccadedoel. Tenslotte is niet vastgelegd waardoor de maximale duur van fixaties bepaald wordt. Het lijkt echter redelijk te veronderstellen dat de maximale fixatieduur wordt aangepast aan de aard van de stimulus, gebaseerd op de gemiddelde foveale verwerkingssnelheid tijdens voorgaande fixaties.
Het sequential attention model werd in dit proefschrift gebruikt als model van oogbewegingscontrole en informatieverwerking tijdens scèneperceptie, en is compatibel met het merendeel van de geponeerde veronderstellingen.
Er bestaat geen eenduidige relatie tussen de perceptuele processen beschreven in de inleiding, en het gebruik van foveale en perifere informatie. Als foveale maskering het bekijken van scènes beïnvloedt kan dit komen doordat identificatie van de locale stimulus belemmerd wordt, maar ook doordat het foveale gedeelte van de stimulus niet beschikbaar is tijdens de globale analyse van de scène, bijvoorbeeld voor de selectie van een saccadedoel. Perifere maskering hindert mogelijk niet alleen de globale stimulusverwerking, maar ook de locale verwerking van een toekomstige perifere fixatielocatie, waardoor de preview benefit vermindert. Toch zijn genuanceerde uitspraken mogelijk, door te bekijken welke oogbewegingsparameters door de stimulusmanipulaties beïnvloed worden, en op welke wijze. Zo duidt een effect op de lengte van saccades, bijvoorbeeld, op een verstoring van het proces dat een saccadedoel selecteert, terwijl een toegenomen aantal objectfixaties aangeeft dat minder informatie per fixatie verwerkt kon worden.
Hoewel met bovenvermelde beeldmanipulaties bepaald kan worden wanneer perceptuele processen de aanwezigheid van de foveale en/of perifere stimulus vereisen, kan niet het gehele tijdsverloop van deze processen onderzocht worden. Wanneer blijkt dat foveale informatie slechts aan het begin van fixaties aanwezig hoeft te zijn om object identificatie mogelijk te maken, zegt dit weinig over de totale duur van het identificatieproces. De bepaalde verwerkingstijd zegt slechts iets over de eerste stap in de perceptuele verwerking, namelijk de omzetting van de retinotopische representatie naar een meer conceptuele stimulus-representatie, zoals een conglomeraat van eenvoudige geometrische componenten (Biederman, 1987). Deze omzetting wordt in dit proefschrift aangeduid met de term informatie encodering. Dit dient onderscheiden te worden van informatie extractie (of registratie), gedefiniëerd als het opnemen van visuele informatie van de retina, resulterend in een hiermee corresponderende neurale activatie in de visuele cortex (Blanchard, McConkie, Zola, & Wolverton, 1984). Gewoonlijk wordt deze activatie aangeduid als het iconisch geheugen, of de iconische stimulus-representatie. Deze representatie is een onbewerkte versie van de retinale invoer. Ik veronderstel dat een geëncodeerde stimulus gebruikt wordt door hogere-orde processen, zoals objectidentificatie, zonder dat hiervoor de distale stimulus aanwezig moet blijven. Maskering van een gedeelte van de distale stimulus wordt echter geacht zowel de informatie extractie, als de encodering van dat gedeelte te beëindigen.
Bij de bestudering van het tijdsverloop van visuele informatieverwerking, is van belang dat de transmissietijd van retinale stimulatie tot een overeenkomstige activatie van de visuele cortext ongeveer 60 ms bedraagt (McConkie, Underwood, Zola, & Wolverton, 1985). Hieruit volgt dat encodering van informatie pas 60 ms na aanvang van een fixatie kan beginnen (3). Toch zal in dit proefschrift geschreven
worden over encodering vanaf het begin van fixaties. In feite wordt hiermee bedoeld dat het encoderingsproces gebruik maakte van visuele informatie zoals die aan het begin van fixaties aanwezig was. Aangezien alle perceptuele processen tijdens fixaties met dezelfde transmissietijd te maken hebben levert dit voor de onderlinge vergelijking geen probleem op. In tegendeel, het voortdurend vermelden van de tijdsverschuiving tussen externe stimulusveranderingen en interne encoderingsprocessen zou slechts verwarrend werken. Slechts wanneer het ongelijk lopen van de interne en externe tijd van belang is, zal dit vermeld worden. Dit is met name het geval wanneer de oogbewegingsreactie op een visuele stimulusverandering bekeken wordt, waarbij bovendien nog een tweede tijdsverschuiving meespeelt, namelijk de vertraging van ongeveer 30 ms tussen stimulatie van de motor cortex en de daadwerkelijke beweging van de ogen. McConkie et al. (1985) beredeneerden aldus dat de minimale reactietijd voor oogbewegingen op een visuele gebeurtenis ongeveer 90 ms is.
Rayner, Inhoff, Morrison, Slowiaczek, en Bertera (1981) gebruikten de moving mask en moving window paradigma's om te bepalen hoelang foveale en perifere tekst aanwezig moeten zijn om normaal te kunnen lezen. Maskering van foveale en/of perifere tekst vond plaats vanaf het begin van fixaties, of na een vooraf vastgelegde vertraging. Men stelde vast dat de aanwezigheid van foveale informatie noodzakelijk was om een normale leessnelheid mogelijk te maken, maar dat het maskeren van foveale tekst na de eerste 50 ms van fixaties vrijwel geen nadelige effecten had op leessnelheid en oogbewegingsparameters. Daarentegen was de aanwezigheid van perifere informatie was tot na de eerste 150 ms van fixaties vereist. Merk op dat dit onderzoek aangeeft tot wanneer na de aanvang van fixaties foveale en perifere tekst gebruikt werden, maar dat niet bepaald werd vanaf wanneer dit het geval was.
In scèneperceptie-onderzoek is het moeilijker om oogbewegingsgestuurde stimulusveranderingen toe te passen. De voornaamste reden is de aard van de stimulus: Het veranderen van letters op een computerscherm vereist het schrijven van evenzoveel lettercodes naar het geheugen van de computer. De hoge snelheid waarmee dit gebeurt zorgt ervoor dat de gewenste verandering zonder al te veel vertraging op het scherm zichtbaar wordt. Een afbeelding van een scène bestaat echter uit honderdduizenden beeldpunten, elk met een in de computer opgeslagen kleur- en helderheidscode. Het aanbrengen van een verandering door eenvoudigweg deze codes aan te passen resulteert in een te grote vertraging voordat de verandering (volledig) zichtbaar wordt op het beeldscherm.
Om aan deze vertraging te ontkomen zijn speciale technieken bedacht die oogbewegingsafhankelijke beeldveranderingen mogelijk te maken voor grafische stimuli. Een voorbeeld is het onderzoek van Saida en Ikeda (1979). Zij ontwierpen een experimentele opstelling waarbij beschikbare informatie werd beperkt door een rechthoekig moving window met instelbare grootte, dat steeds gecentreerd werd op de fixatiepositie. Binnen de rechthoek was de stimulus zichtbaar, terwijl daarbuiten het beeldscherm zwart bleef. Zij lieten proefpersonen tekeningen bestuderen waarbij zowel de aanbiedingstijd, als de hoeveelheid informatie (de grootte van de rechthoek), gemanipuleerd werden. Bovendien werden twee verschillende stimulusafmetingen gebruikt. In de controleconditie was steeds de gehele stimulus zichtbaar. Proefpersonen bestudeerden de tekeningen in het kader van een geheugentaak. Het bleek dat zij in de experimentele conditie de tekeningen even goed konden bestuderen als in de controleconditie, wanneer de rechthoek een oppervlakte had die gelijk was aan de helft van het oppervlakte van de stimulus, ongeacht de absolute stimulusafmetingen. Bovendien was in dat geval de frequentiedistributie van saccadelengtes gelijkaardig aan de distributie in de controleconditie.
Bovenstaand onderzoek is een van de weinige voorbeelden van onderzoek naar het gebruik van foveale en perifere informatie tijdens scèneperceptie. De meeste moving mask en moving window technieken voor grafische stimuli lijden aan een aantal beperkingen: Vrijwel zonder uitzondering is het gebied waarbinnen of waarbuiten de stimulus gemaskeerd wordt rechthoekig van vorm. Maskering betreft meestal het wit of zwart maken van de stimulus, zodat van een echt effectieve maskering geen sprake is. Daarenboven is de beeldresolutie vaak beperkt, waardoor van een scherp, gedetailleerd beeld geen sprake is.
In het kader van dit proefschrift heb ik de moving overlay technique ontwikkeld (van Diepen, De Graef, & Van Rensbergen, 1994; zie Hoofdstuk 2.), een nieuwe beeldveranderingstechniek die de bovenstaande beperkingen niet heeft. Twee videokaarten zijn in serie gekoppeld, d.w.z. de uitgangen van de eerste videokaart gaan naar de ingangen van de tweede videokaart. De uitgangen van de tweede videokaart gaan op hun beurt naar een beeldscherm. De eerste videokaart bevat de stimulus, een grafische afbeelding van bijv. 756 x 486 beeldpunten. De tweede videokaart bevat een afbeelding van een maskering. Deze maskering is niet beperkt in grootte en inhoud. Het kan bijoorbeeld een klein ovaal ruispatroon zijn, maar ook een schermvullende maskering met een gat erin. De maskering kan zeer snel verplaatst worden ten opzichte van het beeldscherm. Op de plaatsen waar geen maskering aanwezig is, laat Videokaart 2 het beeld van Videokaart 1 door. Op het beeldscherm verschijnt de maskering op de gekozen locatie, terwijl op de overige beeldlocaties de stimulus verschijnt. De positie van de maskering wordt gestuurd door de kijkrichting van de ogen van een proefpersoon, gemeten door een oogbewegingsapparaat, waardoor een moving mask dan wel moving window gerealiseerd is. Deze methode heeft verschillende voordelen ten opzichte van de reeds bestaande technieken: Zowel de stimulus als de maskering zijn volwaardige zwart/wit- of kleurenafbeeldingen, met een hoge beeldresolutie. De maskering is niet beperkt tot een rechthoek, maar kan een willekeurige, bijvoorbeeld ovale, vorm aannemen. Een nadeel van de moving overlay techniek is dat alleen interlaced video modi mogelijk zijn met een beeldfrequentie van maximaal 60 Hz. Dit levert een onrustiger, tv-achtig beeld op, in vergelijking tot non-interlaced modi.
Na het uitvoeren van een eerste experiment met de bovenstaande techniek, (zie verder), werd een tweede techniek ontwikkeld (van Diepen, 1997a; zie Hoofdstuk 4.), die deels gebaseerd is op de eerste. Hierbij worden drie gesynchroniseerde videokaarten gebruikt, die gekoppeld zijn aan een door mij ontworpen video-switcher (4). Twee videokaarten bevatten elk een verschillende versie van een stimulus, bijvoorbeeld een normale en een in contrast verlaagde versie. Op welk gedeelte van het scherm welke stimulus versie verschijnt, wordt bepaald door de derde videokaart. Een zwarte (dan wel witte) pixel in het videogeheugen van Videokaart 3 selecteert de kleur van de overeenkomstige pixel van Videokaart 1 (dan wel Videokaart 2) als kleur voor de betreffende beeldschermlocatie. Het videogeheugen van Videokaart 3 bevat bijvoorbeeld een zwart beeld met daarop een witte ovaal. Op het beeldscherm is in dat geval overal Versie 1 van de stimulus te zien, behalve op de beeldlocaties die overeenkomen met de witte ovaal, waar Versie 2 zal verschijnen. Door het beeld van Videokaart 3 te bewegen wordt het ovale gebied waarbinnen Versie 2 verschijnt verplaatst.
Met deze techniek zijn oogbewegingsgestuurde stimulusveranderingen niet beperkt tot het maskeren van een geselecteerd stimulusgedeelte, maar kunnen gemanipuleerde versies van de stimulus getoond worden. In eerste instantie was synchronisatie van de videokaarten alleen mogelijk in interlaced video modi. Een aanpassing van de videokaarten maakte het gebruik van non-interlaced modi mogelijk (van Diepen, 1997b).
Dit proefschrift beschrijft 10 experimenten die met bovenstaande beeldveranderingstechnieken de aanwezigheid en aard van foveale en perifere informatie tijdens scèneperceptie manipuleerden. Hieronder volgt een beschrijving van deze experimenten.
Proefpersonen gaven zelf aan, door op een drukknop te duwen, wanneer zij een scène voldoende lang geïnspecteerd hadden om te bepalen hoeveel non-objecten aanwezig waren. De scènepresentatie werd dan beëindigd, en het antwoord van de proefpersoon werd geregistreerd. De duur van de scènepresentatie (de inspectietijd) werd gebruikt als een maat voor de moeilijkheidsgraad van een experimentele manipulatie. Door middel van instructies aan de proefpersonen, en feedback na elke beurt over de juistheid van het getelde aantal non-objecten, werd getracht het aantal fouten zo laag mogelijk te houden, ongeacht de moeilijkheidsgraad van de conditie.
Naast de inspectietijd en het aantal fouten werden oogbewegingsstatistieken geanalyseerd. De voornaamste zijn fixatieduur en saccadelengte. De fixatieduur wordt algemeen beschouwd als een maat voor de moeilijkheid van het verwerken van visuele informatie tijdens die fixatie. Wanneer meer tijd nodig is voor de verwerking van visuele informatie, bijvoorbeeld als gevolg van een verminderde beeldkwaliteit, zullen fixaties langer duren. Het verband tussen snelheid van informatieverwerking en fixatieduur is echter niet rechtlijnig. Als visuele informatieverwerking te traag verloopt wordt een fixatie beëindigd voordat de verwerking voltooid is. In het hierboven besproken sequential attention model (Henderson, 1992b) komt dit overeen met het bereiken van de programming deadline. Een volgende fixatie vindt dan vaak plaats in de buurt van de vorige fixatielocatie. Resumerend kan met stellen dat een verslechtering van de stimulus zal leiden tot langere en/of meer fixaties.
De saccadelengte geeft aan in hoeverre de selectie van een saccadedoel beïnvloed wordt door een stimulusmanipulatie. In eerste instantie werd steeds het effect op de gemiddelde saccadelengte geanalyseerd. Op een meer gedetailleerd niveau werden de frequentiedistributies van saccadelengtes bekeken. Wanneer, bijvoorbeeld, tijdens fixaties perifere informatie voortdurend gemaskeerd is, zal het aantal lange saccades verminderen, terwijl korte saccades vaker gemaakt zullen worden, in vergelijking tot de situatie waarin perifere informatie niet gemaskeerd wordt. De gemiddelde saccadelengte zal hierdoor dalen, en in de frequentiedistributie zal te zien zijn dat minder saccades geprogrammeerd werden naar de gemaskeerde delen van de stimulus.
Oogbewegingen werden gemeten met een Generation-V dual-Purkinje-image eye-tracker (Crane & Steele, 1985). Dit apparaat bepaalt de stand van één oog aan de hand van twee infraroodreflecties. De eerste, helderste reflectie komt van de voorkant van het hoornvlies (de zogenaamde eerste purkinjereflectie), terwijl de tweede reflectie ontstaat aan de achterkant van de ooglens (dit is de vierde purkinjereflectie). De richting van de vector tussen deze twee reflectie is een nauwkeurige maat voor de rotatie van het gemeten oog. Er worden duizend metingen per seconde verricht, met een nauwkeurigheid van één boogminuut. Deze metingen worden tijdens het experiment gebruikt voor het sturen van de beeldmanipulaties, en na het experiment voor het analyseren van het oogbewegingsgedrag.
Scène-inspectietijden bevestigden dat foveale informatie slechts gebruikt werd aan het begin van fixaties. Inspectietijden in de 75- en 120-ms condities verschilden nauwelijks van de controleconditie. In de 45-ms conditie steeg de gemiddelde inspectietijd, maar deze verschilde niet significant van de controleconditie. De langste gemiddelde inspectietijd werd gemeten in de 15-ms conditie. Deze conditie verschilde significant van de 45-, 75- en 120-ms condities, en van de controleconditie. De grootte van de maskering had geen significante invloed op de inspectietijd. Uit deze bevindingen werd geconcludeerd dat binnen 45 tot 75 ms vanaf het begin van fixaties, voldoende foveale informatie verwerkt kan worden om objectidentificatie mogelijk te maken. Dit komt overeen met de bevinding van Rayner et al. (1981), dat tijdens het lezen een gefixeerd woord binnen 50 ms verwerkt kan worden.
Saccadelengte werd niet beïnvloed door de maskeringsvertraging, maar wel door de maskeringsgrootte. Saccades waren gemiddeld het kleinst in de controleconditie, en het grootst in de condities waarbij de grote maskering gebruikt werd. Inspectie van de frequentiedistributies van saccadelengtes gaf aan dat dit veroorzaakt werd door een afname van het aantal saccades die zouden eindigen op een stimuluslocatie die gemaskeerd was aan het eind van de voorafgaande fixatie. Saccades werden bij voorkeur gericht op informatierijke, niet-gemaskeerde, stimuluslocaties. De selectie van een saccadedoel vond blijkbaar pas later gedurende fixaties plaats, aangezien het effect van foveale maskering op saccadelengtes even sterk was voor alle maskeringsvertragingen.
Fixatieduren vertoonden een onverwacht patroon. De gemiddelde fixatieduur was in alle experimentele condities langer dan in de controleconditie, hoewel de stijging alleen in de 120-ms conditie significant was. Vergelijking van de frequentiedistributies van fixatieduren in de experimentele condities met de distributie in de controlconditie gaf aan dat een bepaalde groep fixaties verlengd werd als gevolg van de plotselinge verschijning van de maskering. Het betrof steeds een groep fixaties die normaal een fixatieduur langer dan de maskeringsvertraging + 100 à 120 ms zouden hebben. Hieruit bleek dat de minimale oogbewegingsreactietijd op een stimulusverandering ongeveer 100 ms was, wat overeenkomt met de hierboven besproken neurale transmissietijden (McConkie et al., 1985).
Het effect van de plotselinge stimulusverandering op zich, los van de effecten van het beter of slechter worden van het beeld, heb ik later het stimulus-discontinuity effect genoemd. Het treedt op bij alle abrupte beeldveranderingen tijdens fixaties, ook wanneer het beeld feitelijk niet beter of slechter wordt. De temporele stimulusdiscontinuïteit is vermoedelijk in staat om aandacht vast te houden op, of terug te halen naar, de focus van de fixatie.
Voor het feit dat in dit eerste experiment, naast het effect van de stimulusdiscontinuïteit, geen ander effect op fixatieduren aanwezig leek te zijn, werd als mogelijke verklaring gegeven dat foveale informatieverwerking niet werd vertraagd, maar volledig werd stopgezet door de foveale maskering. Verlenging van fixaties zou daardoor niet leiden tot een verdere encodering van de foveale stimulus. Op grond hiervan kan zelfs verwacht worden dat fixatieduren korter zouden worden wanneer foveale informatie vroegtijdig wordt gemaskeerd. Dit was niet het geval, waarschijnlijk doordat de cognitieve activiteit om een onvolledig geëncodeerde stimulus te identificeren toenam, naarmate de maskeringsvertraging korter werd, zoals voorgesteld door Rayner et al. (1981).
De verwachtingen werden bevestigd, maar het effect van de contrastverlaging was onverwacht klein. In de 15-ms conditie steeg de gemiddelde scène-inspectietijd slechts een kwart seconde, ten opzichte van de controleconditie. De gemiddelde fixatieduur steeg in alle experimentele condities, als gevolg van de stimulus discontinuïteit. Bovendien steeg de fixatieduur naarmate de vertraging van de contrastverlaging korter werd, wat duidde op een afnemende snelheid van foveale informatieverwerking als gevolg van de contrastverlaging. De gemiddelde saccadelengte steeg wanneer het foveale contrast verlaagd werd, ongeacht de gebruikte vertraging. Frequentiedistributies van saccadelengtes bevestigden dat dit te wijten was aan een afname van het aantal kleine saccades die zouden eindigen binnen het gebied dat in contrast verlaagd was tijdens de eraan voorafgaande fixatie.
Het feit dat de foveale contrastverlaging slechts een klein effect had werd vermoedelijk veroorzaakt doordat aan het begin van de fixatie een iconische stimulusrepresentatie gevormd kon worden, die niet, of nauwelijks, door de contrastverlaging werd aangetast. Sperling (1960, in Coltheart, 1980) toonde aan dat er slechts weinig verschil bestond tussen de iconische representaties van identieke stimuli, gepresenteerd gedurende respectievelijk 15 en 50 ms.
De rode ellips werd vergeleken met de oorspronkelijke controleconditie, waarin geen stimulusverandering plaatsvond, met de foveale maskeringsconditie, en de foveale contrastverlagingsconditie. Alleen de kortst mogelijke beeldveranderingsvertraging van 15 ms werd gebruikt. De statistische analyse van dit experiment werd bemoeilijkt door het feit dat enkele proefpersonen een afwijkende strategie gebruikten om met moeilijke condities om te gaan. In plaats van scènes in moeilijke condities uitgebreider te inspecteren werden ze korter bekeken, en nam het aantal fouten toe, met name wanneer foveale informatie volledig gemaskeerd werd. Toch gaven de resultaten aan dat de rode ellips fixatieduren verlengde ten gevolge van de stimulus-discontinuïteit, maar verder geen invloed had op de scène-exploratie. De rode ellips werd daarom gebruikt als controleconditie in de volgende twee experimenten.
Verwacht werd dat geen van de stimulusdegradaties een effect zouden hebben op foveale objectidentificatie, wanneer de lange vertraging gebruikt werd. Voor de korte vertraging werd voorspeld dat fixatieduren langer zouden worden, als de foveale stimulus in contrast verlaagd, of gedeeltelijk gemaskeerd werd. Gedeeltelijke maskering werd verwacht een sterkere stijging van fixatieduren te veroorzaken dan de contrastverlaging, omdat daardoor ook de iconische stimulusreprestantie werd aangetast. Volledige maskering na de korte vertraging zou vooral een stijging van het aantal herfixaties veroorzaken, waardoor de scène-inspectietijd zou toenemen. Tenslotte werd verwacht dat in elke degradatiecondie saccadelengtes zouden toenemen ten opzichte van de rode-ellips conditie, ongeacht de vertragingsduur.
Alle verwachtingen werden bevestigd, behalve die betreffende het verschil tussen de effecten van contrastverlaging en gedeeltelijke maskering. De invloed van deze twee stimulusdegradaties op fixatieduren was van vergelijkbare grootte, waaruit bleek dat het gebruik van de iconische stimulusrepresentatie, na contrastverlaging van de foveale stimulus, waarschijnlijk van ondergeschikt belang was.
Foveale contrastverlaging en gedeeltelijke foveale maskering werden geacht fixatieduren te doen stijgen in de 0-ms conditie. Verwacht werd dat deze toename groter zou zijn in vergelijking tot het vorige experiment, wat mogelijk tot uiting zou komen in een toename van scène-inspectietijden. Wanneer de vertraging 50 ms bedroeg, werd er geen effect van foveale degradatie op objectidentificatie verwacht, omdat binnen de 50 ms daarvoor reeds voldoende informatie verwerkt kon worden. Opnieuw werd verwacht dat de gemiddelde saccadelengte evenveel toe zou nemen in de 0-ms en 50-ms degradatiecondities.
De bovenstaande verwachtingen werden bevestigd. Foveale degradatie vanaf het begin van fixaties veroorzaakte een significante stijging van de gemiddelde fixatieduur, en in geval van gedeeltelijke maskering ook van de gemiddelde scène-inspectietijd. De vergelijking van de huidige 0-ms conditie met de 15-ms conditie in het vorige experiment gaf aan dat het verlies van de onaangetaste foveale stimulus gedurende de eerste 15 ms van fixaties, een meer dan evenredig effect had op fixatieduren. Foveale informatie lijkt vanaf het begin van fixaties gebruikt te kunnen worden. Dit werd nader onderzocht in de volgende studie.
Ook foveale beelddegradatie na de eerste 50 ms van fixaties had nog een merkbaar effect op de scène-exploratie: Het aantal fouten en het aantal fixaties op objecten nam toe in de 50-ms degradatiecondities in vergelijking met de 50-ms ellips conditie, hoewel fixatieduren en scène-inspectietijden niet significant werden beïnvloed. Dit gaf aan dat 50 ms een krappe schatting is van de duur van foveale stimulusencodering voor objectidentificatie.
Verondersteld werd dat het hinderlijke effect van foveale maskering zou verdwijnen wanneer de maskeringsvertraging 45 à 70 ms bedroeg. Kortere vertragingen zouden scène-inspectietijden verlengen, als gevolg van het toegenomen aantal benodigde fixaties. Door het effect van foveale maskering te vergelijken met het effect van de rode ellips met dezelfde vertraging, kon worden nagegaan of, met name op fixatieduren, meer dan alleen het effect van de stimulusdiscontinuïteit aanwezig was in de maskeringscondities. Tenslotte werd opnieuw verwacht dat de gemiddelde saccadelengte zou stijgen wanneer foveale informatie gemaskeerd werd, ten opzichte van de controle- en rode-ellips condities, als gevolg van een afname van het aantal saccades naar het gebied dat gedurende de voorgaande fixatie gemaskeerd was.
De resultaten bevestigden de bovenstaande verwachtingen. Foveale informatieverwerking voor objectidentificatie vond plaats binnen de eerste 45 à 70 ms van fixaties. Een verschil met van Diepen et al. (1995) was echter dat de gemiddelde fixatieduur niet steeg ,ten opzichte van de controleconditie, als foveale maskering plaatsvond. Dit was wel het geval in de rode-ellips condities. Inspectie van de frequentiedistributies van fixatieduren gaf aan dat de stimulusdiscontinuïteit als gevolg van het verschijnen van de rode ellips, maar ook van de maskering, een groep fixaties verlengde. In de maskeringscondities werd deze verlenging echter teniet gedaan door een afname van het aantal lange fixaties in de staart van de distributies. Het is onduidelijk waarom in eerdere experimenten de foveale maskering er wel in slaagde om de gemiddelde fixatieduur te verlengen.
Verondersteld werd dat foveale encodering vanaf het begin van fixaties start, en dat vertraging van het foveale beeld daardoor fixatieduren zou verlengen. Verwacht werd dat het effect op fixatieduren groot genoeg zou zijn om scène-inspectietijden merkbaar te verlengen. Aangezien gedurende het latere gedeelte van fixaties de gehele stimulus beschikbaar was, werd geen effect van maskering op de selectie van saccadedoelen verwacht. Saccadelengtes zouden dus gemiddeld even lang zijn in alle condities.
Alle verwachtingen werden experimenteel bevestigd. Fixatieduren stegen gemiddeld met 61% van de maskeringsduur (gemeten ten opzichte van de 20-ms conditie om te controleren voor het effect van de stimulusdiscontinuïteit). Ook de gemiddelde scène-inspectietijd steeg lineair in functie van de maskeringsduur. De stijging kwam ongeveer overeen met de stijging van de fixatieduur, vermenigvuldigd met het aantal fixaties per scène. Saccadelengtes waren gelijk in alle condities. Geconcludeerd werd dat foveale encodering kort na, of zelfs onmiddellijk na de aanvang van fixaties begint.
Verwacht werd dat perifere informatie slechts later tijdens fixaties aanwezig diende te zijn. Om te bepalen vanaf welk moment dit het geval was, werd in Experiment 3a het perifere beeld 20, 70, 120, 170, of 220 ms vertraagd. In de controleconditie werd de perifere stimulus niet vertraagd. Het bleek dat de gemiddelde scène-inspectietijd en fixatieduur lineair stegen, terwijl de gemiddelde saccadelengte lineair daalde, naarmate vertragingsduur toenam. De stijging van scène-inspectietijden was vergelijkbaar met die in het vorige experiment, waar foveale informatie vertraagd werd. De stijging van de fixatieduur was echter veel geringer: De gemiddelde fixatieduur nam toe met ongeveer 11% van de vertragingsduur. Er waren geen aanwijzingen voor het bereiken van een horizontale asymptoot voor korte vertragingsduren.
Verschillen tussen de 20-ms conditie en de controleconditie waren mogelijk te wijten aan effecten van de stimulusdiscontinuïteit in de 20-ms conditie. Omdat bovendien de eerstvolgende vertraging 50 ms langer was, werd besloten het experiment te herhalen met dichter bij elkaar gelegen vertragingsduren (Experiment 3b), namelijk 10, 35, 60, en 85 ms. In de controleconditie werd de perifere stimulus niet vertraagd. Op deze manier werd een meer gedetailleerd beeld verkregen van het gebruik van perifere informatie gedurende het eerste deel van fixaties.
Scène-inspectietijden, fixatieduren en saccadelengtes werden nauwelijks beïnvloed in Experiment 3b. Ten opzichte van de 10-ms conditie werd de gemiddelde fixatieduur pas significant langer in de 85-ms conditie. Het percentage saccades naar perifere gebieden die volledig grijs waren aan het begin van de voorgaande fixatie, daalde echter significant ten opzichte van de controleconditie wanneer de perifere beeldvertraging 35 ms of meer bedroeg.
Uit deze experimenten blijkt dat perifere informatie reeds vroeg tijdens fixaties gebruikt kan worden. Toch lijkt de aanwezigheid van perifere informatie aan het begin van fixaties van ondergeschikt belang. In het volgende experiment werd het gebruik van foveale en perifere informatie rechtstreeks vergeleken.
Veronderstellend dat perifere informatie nauwelijks aan het begin van fixaties gebruikt wordt, werd voorspeld dat de toename van storende effecten in de 70-ms conditie, ten opzichte van de 20-ms conditie, groter zou zijn als foveale informatie gemaskeerd werd, dan wanneer perifere informatie gemaskeerd werd. Verwacht werd dat de effecten van foveale en perifere maskering in de 120-ms conditie in vergelijkbare mate toe zouden nemen ten opzichte van de 70-ms conditie.
De verwachtingen van dit experiment werden slechts gedeeltelijk bevestigd. Foveale en perifere maskering veroorzaakten een gelijkaardige stijging van de gemiddelde scène-inspectietijd, naarmate de maskeringsduur toenam. Er was geen aanwijzing dat perifere informatie later gebruikt werd dan foveale informatie. Wel bleek dat fixatieduren sterker door foveale dan door perifere maskering beïnvloed werden. De gemiddelde saccadelengte daalde wanneer het perifere beeld langer gemaskeerd werd, maar werd nauwelijks beïnvloed door foveale maskering.
Een scherp afgebakend interval voor perifere informatieverwerking werd niet gevonden. Schijnbaar wordt perifere informatie gebruikt op verschillende momenten tijdens fixaties. Dit betekent niet noodzakelijk dat perifere informatie vroegtijdig gebruikt wordt tijdens elke fixatie. Mogelijk start de globale verwerking van scènes op een per fixatie verschillend moment, dat afhangt van de uitkomst van eraan voorafgaande locale processen. Het moment waarop, bijvoorbeeld, een saccadedoel wordt geselecteerd zou kunnen afhangen van de progressie van foveale informatieverwerking, zoals verondersteld wordt door het sequential attention model. Een aanwijzing hiervoor is de observatie dat foveale maskering aan het begin van fixaties geen invloed heeft op de saccadelengte, terwijl foveale maskering aan het eind van fixaties dat wel heeft. In het eerste geval wordt foveale verwerking vertraagd, maar op het moment dat een saccadedoel gekozen wordt is de gehele scène zichtbaar. In het tweede geval wordt vaak een saccadedoel gezocht op momenten dat foveale informatie reeds is gemaskeerd.
Fixatieduren bleken vooral gevoelig voor verstoringen van de foveale informatieverwerking, en in veel mindere mate voor perifere verstoringen. Aantasting van het perifere beeld leek voornamelijk de selectie van saccadedoelen te beïnvloeden. De selectie van een saccadedoel werd niet zozeer vertraagd door de afwezigheid van perifere informatie, maar werd erdoor beperkt in keuze: Fixatieduren werden slechts in geringe mate verlengd, en saccades werden naar onaangetaste delen van de stimulus geprogrammeerd. Dit geeft aan dat het verloop van het foveale identificatieproces teruggekoppeld wordt naar de duur van de fixatie, terwijl dit niet het geval is voor programmatie van saccades.
Het merendeel van het onderzoek naar visuele perceptie maakt gebruik van geïsoleerd aangeboden objecten en geometrische vormen. Vaak worden stimuli slechts kort aangeboden. Oogbewegingen zijn vaak niet mogelijk, of worden niet geregistreerd. Het voordeel van deze benaderingen is dat de eigenschappen van stimuli goed onder controle gehouden kunnen worden. Om tot een volwaardig model van het visuele systeem te komen dient dit onderzoek aangevuld te worden met de bestudering van visuele processen tijdens scène-exploratie. Op die manier kan men tot een model komen dat niet alleen de identificatie van een object verklaart, maar ook de sturing van oogbewegingen en het gebruik van informatie verworven tijdens voorgaande fixaties, beschrijft. Dit proefschrift toont aan dat oogbewegingsgestuurde beeldmanipulaties een belangrijk hulpmiddel kunnen zijn bij het onderzoek naar scèneperceptie.
Biederman, I. (1987). Recognition-by-components: A theory of human image understanding. Psychological Review, 94, 115-117.
Blanchard, H. E., McConkie, G. W., Zola, D., & Wolverton, G. S. (1984). Time course of visual information utilization during fixations in reading. Journal of Experimental Psychology: Human Perception and Performance, 10, 75-89.
Boyce, S. J., & Pollatsek, A. (1992). Identification of objects in scenes: The role of scene background in object naming. Journal of Experimental Psychology: Learning, Memory, and Cognition, 18, 531-543.
Coltheart, M. (1980). Iconic memory and visual persistence. Perception & Psychophysics, 27, 183-228.
Crane, H. D., & Steele, C. M. (1985). Generation-V dual-Purkinje-image eyetracker. Applied Optics, 24, 527-537.
De Graef, P., Christiaens, D., & d'Ydewalle, G. (1990). Perceptual effects of scene context on object identification. Psychological Research, 52, 317-329.
De Valois, R. L., & De Valois, K. K. (1988). Spatial vision. New York: Oxford University Press.
Henderson, J. M. (1992a). Identifying objects across saccades: Effects of extrafoveal preview and flanker object context. Journal of Experimental Psychology: Learning, Memory, and Cognition, 18, 521-530.
Henderson, J. M. (1992b). Visual attention and eye movement control during reading and picture viewing. In K. Rayner (Ed.), Eye movements and visual cognition: Scene perception and reading (pp. 260-283). New York: Springer-Verlag.
Matin, E. (1974). Saccadic suppression: A review and an analysis. Psychological Bulletin, 81, 899-917.
McConkie, G. W., & Rayner, K. (1976). Asymmetry of the perceptual span in reading. Bulletin of the Psychonomic Society, 8, 365-368.
McConkie, G. W., & Rayner, K. (1975). The span of the effective stimulus during a fixation in reading. Perception & Psychophysics, 17, 578-586.
McConkie, G. W., Underwood, N. R., Zola, D., & Wolverton, G. S. (1985). Some temporal characteristics of processing during reading. Journal of Experimental Psychology: Human Perception and Performance, 11, 168-186.
Rayner, K., Inhoff, A. W., Morrison, R. E., Slowiaczek, M. L., & Bertera, J. H. (1981). Masking of foveal and parafoveal vision during eye fixations in reading. Journal of Experimental Psychology: Human Perception and Performance, 7, 167-179.
Saida, S., & Ikeda, M. (1979). Useful visual field size for pattern perception. Perception & Psychophysics, 25, 119-125.
Shioiri, S. (1993). Postsaccadic processing of the retinal image during picture scanning. Perception & Psychophysics, 53, 305-314.
Treisman, A. M., & Gelade, G. (1980). A feature-integration theory of attention. Cognitive Psychology, 12, 97-136.
van Diepen, P. M. J. (1998). Foveal stimulus degradation during scene perception. Manuscript in preparation.
van Diepen, P. M. J. (1998). Peripheral versus foveal information processing in scene perception. Manuscript in preparation.
van Diepen, P. M. J. (1997a). A pixel-resolution video switcher for eye-contingent display changes. Spatial Vision, 10, 335-344.
van Diepen, P. M. J. (1997b). PvDSTAGE Version 1.0 Reference Manual. An extension of the STAGE library for the ATVista (Psych. Rep. No. 215). Laboratory of Experimental Psychology, University of Leuven, Leuven, Belgium.
van Diepen, P. M. J., De Graef, P., & d'Ydewalle, G. (1995). Chronometry of foveal information extraction during scene perception. In J. M. Findlay, R. Walker, & R. W. Kentridge (Eds.), Eye movement research: Mechanisms, processes and applications (pp. 349-362). Amsterdam: Elsevier.
van Diepen, P. M. J., De Graef, P., & Van Rensbergen, J. (1994). On-line control of moving masks and windows on a complex background using the ATVista Videographics Adapter. Behavior Research Methods, Instruments, & Computers, 26, 454-460.
van Duren, L. (1994). Signal Processing During Eye Fixations and Saccades. Unpublished doctoral dissertation, Vrije Universiteit Amsterdam, Amsterdam.
Yarbus, A. L. (1967). Eye movements and vision. New York: Plenum
Press.
1 Normaal gesproken zal de keuze van een saccadedoel plaatsvinden tijdens de voorafgaande fixatie, op grond van de visuele informatie die verwerkt is gedurende die fixatie. Soms vinden echter zeer korte fixaties plaats, waarin nauwelijks informatie verwerkt kan worden. Men vermoedt dat in die gevallen een motor programma dat werd opgesteld in de voorgaande fixatie nog tijdens die fixatie werd gevolgd door een tweede motor programma dat echter pas na een korte tussenliggende fixatie kon worden uitgevoerd.
2 Merk op dat de termen locaal en globaal niet hetzelfde betekenen als foveaal en foveaal+perifeer. Met globale verwerking wordt een proces aangeduid dat de gehele stimulus, of tenminste een groot gedeelte ervan, als onderwerp heeft. Locale verwerking duidt op een proces dat een relatief klein gedeelte van de stimulus verwerkt (bijv. een object). Aangenomen wordt dat globale processen een stimulus parallel verwerken, terwijl locale verwerking selectieve aandacht vereist is. Identificatie van de foveale stimulus, maar ook de voor-verwerking van een saccadedoel waar visuele aandacht naar verschoven is, zijn locale processen.
3 In principe zou aan het begin van een fixatie encodering plaats kunnen vinden van de stimulus die aanwezig was aan het eind van de vorige fixatie, tenzij de tussenliggende saccade langer was dan 60 ms. Dit "iconisch nabeeld" wordt vervolgens door de retinal smear (het gevolg van de saccadische beweging) weggeveegd.
4 Met dank aan Noël Bovens voor zijn hulp bij de componentkeuze.
5 In dit experiment werd nog geen
onderscheid gemaakt tussen extractie en encodering van visuele informatie.
De toegepaste foveale maskering wordt echter geacht zowel de extractie,
als de encodering van foveale informatie te beëindigen, zodat de uitspraken
betreffende informatie extractie kunnen worden doorgetrokken naar informatie
encodering.