search query: @supervisor Jääskeläinen, Iiro / total: 25
reference: 9 / 25
« previous | next »
Author:Tujunen, Juuso
Title:The Effect of Visual Speech on FM-Sweep Evoked MEG Responses
Visuaalisen puheen vaikutus FM-pyyhkäisyiden aiheuttamiin MEG vasteisiin
Publication type:Master's thesis
Publication year:2006
Pages:73      Language:   eng
Department/School:Sähkö- ja tietoliikennetekniikan osasto
Main subject:Laskennallinen tekniikka   (S-114)
Supervisor:Jääskeläinen, Iiro
Instructor:Kauramäki, Jaakko
Electronic version URL: http://urn.fi/urn:nbn:fi:tkk-007609
OEVS:
Electronic archive copy is available via Aalto Thesis Database.
Instructions

Reading digital theses in the closed network of the Aalto University Harald Herlin Learning Centre

In the closed network of Learning Centre you can read digital and digitized theses not available in the open network.

The Learning Centre contact details and opening hours: https://learningcentre.aalto.fi/en/harald-herlin-learning-centre/

You can read theses on the Learning Centre customer computers, which are available on all floors.

Logging on to the customer computers

  • Aalto University staff members log on to the customer computer using the Aalto username and password.
  • Other customers log on using a shared username and password.

Opening a thesis

  • On the desktop of the customer computers, you will find an icon titled:

    Aalto Thesis Database

  • Click on the icon to search for and open the thesis you are looking for from Aaltodoc database. You can find the thesis file by clicking the link on the OEV or OEVS field.

Reading the thesis

  • You can either print the thesis or read it on the customer computer screen.
  • You cannot save the thesis file on a flash drive or email it.
  • You cannot copy text or images from the file.
  • You cannot edit the file.

Printing the thesis

  • You can print the thesis for your personal study or research use.
  • Aalto University students and staff members may print black-and-white prints on the PrintingPoint devices when using the computer with personal Aalto username and password. Color printing is possible using the printer u90203-psc3, which is located near the customer service. Color printing is subject to a charge to Aalto University students and staff members.
  • Other customers can use the printer u90203-psc3. All printing is subject to a charge to non-University members.
Location:P1 Ark S80     | Archive
Keywords:magnetoencephalography
event-related potential
audiovisual integration
magnetoenkefalografia
herätepotentetiaali
audiovisuaalinen integraatio
Abstract (eng):Multimodality (combination of information coming from several senses as a unified perception) is a common property of central nervous system.
One example of this is combination of auditory and visual information; that is, what is seen and what is heard.
One of the better known and most impressive examples of this is the McGurk illusion, where a sound of a syllable and a video picture of a person pronouncing another syllable produce a completely new audio sensation, which is different from the audio and visual stimuli alone.

This experiment examined the effect of visual speech on brain responses evoked by formant like sine wave sweeps using magnetoencephalography (MEG) as a research method.
MEG measures the magnetic field outside the head, which is caused by electrical currents on our brains; from this magnetic field the electric current distribution inside the head is then deducted.
Visual speech stimuli were either a video of a person pronouncing /ba/, pronouncing /ga/ or a still picture of the same person.
Auditory stimuli were six different sine sweeps, with the following initial and final frequencies: 200-700 (F1), 400-1800 (F2a), 1000-1800 (F2b), 1600-1800 (F2c), 2200-1800 (F2d) and 2800-1800 Hz (F2e).
The hypothesis was that when auditory and visual stimulus match each other, the activation in the brains would be stronger, than when they do not match each other.
In the experiment, a series of /ba/-, /ga/- or still situation came from the video, during which the subject heard sound stimuli coming in a random order.
The order of visual series was random.
Whenever the visual series changed to another, the subject was supposed to answer by lifting a finger.

The results of the experiment were contradictory: when the data was observed as a hole, no interaction effect between the visual and audio stimulus was observed.
When the effect of visual stimuli in different situations was being observed, there might have been some kind of interaction effect present in isolated cases, but this is uncertain.
Possible visual effects were tested with several statistical tests.
Differences in activations were present in the left hemisphere.
A potential interaction effect between auditory and visual stimuli was detected, but the exact nature of this effect remains unclear.
The experiment did, however, reveal other effects.
The heard sound affected both in the left and in the right hemisphere, with both amplitude and latency to that, which kind of activation occurred.
Abstract (fin):Multimodaalisuus eli useiden eri aisteista tulevan tiedon yhdistäminen yhdeksi yhtenäiseksi havainnoksi on keskushermoston yleinen ominaisuus.
Tämä koskee myös audiovisuaalista toimintaa eli kuullun ja nähdyn yhdistämistä.
Eräs tunnetuimmista ja vaikuttavimmista esimerkeistä tästä on niin sanottu McGurk-illuusio, jossa tiettyä tavua vastaava ääni ja eri tavua vastaava videokuva puhuvasta henkilöstä aiheuttavat kuuloaistimuksen, joka eroaa näistä kahdesta ärsykkeestä.

Tässä kokeessa tutkittiin visuaalisen puheen vaikutusta formantin kaltaisten sinipyyhkäisyiden aiheuttamiin aivovasteisiin käyttämällä magnetoenkefalografiaa (MEG) tutkimusmenetelmänä.
MEG mittaa aivoissa olevien sähkövirtojen pään ympärille muodostamaa magneettikenttää; tästä kentästä päätellään taas aivoissa tapahtuvat aktivaatiot.
Visuaalisina puheärsykkeinä toimi joko henkilö toistamassa tavua /ba/, tavua /ga/ tai still-kuva samasta henkilöstä.
Auditorisina ärsykkeinä toimi kuusi sinipyyhkäisyä, joiden alku ja lopputaajuudet olivat seuraavat: 200-700 (F1), 400-1800 (F2a), 1000-1800 (F2b), 1600-1800 (F2c), 2200-1800 (F2d) ja 2800-1800 Hz (F2e).
Tutkimusoletuksena oli, että kun visuaalinen ja auditorinen ärsyke vastaisivat toisiaan, aktivaatio aivoissa olisi voimakkaampaa tai heikompaa, kun jos ne eivät vastaisi toisiaan.
Myös vasteiden latenssit saattaisivat erota toisistaan.
Kokeessa tuli aina sarja joko /ba/-, /ga/- tai still-tilannetta videolta, joiden aikana kuului sinipyyhkäisyjä satunnaisessa järjestyksessä.
Visuaaliset tilanteet vaihtuivat myös satunnaisesti.
Koehenkilöiden tuli aina visuaalisen tilanteen vaihtuessa toiseksi vastata nostamalla sormeaan.

Kokeen lopputulokset olivat ristiriitaiset: kun dataa tarkasteltiin yhtenä kokonaisuutena, mitään yhteisvaikutusta nähdyn ja kuullun ärsykkeen välillä ei havaittu.
Kun taas nähdyn ärsykkeen vaikutusta aivovasteisiin tutkittiin eri tilanteissa, havaittavissa saattaa olla tietyissä yksittäistapauksissa esiintyvää modulaatiota vasteiden amplitudeissa, mutta tämä on epävarmaa.
Mahdollisia visuaalisia efektejä testattiin useammalla tilastollisella testillä.
Eroja aktivaatioista löytyi vasemmalta puolelta aivoja.
Mahdollinen interaktioefekti visuaalisen ja auditorisen ärsykkeen välillä oli olemassa, mutta tämän efektin tarkka luonne on epäselvä.
Koe kuitenkin paljasti muita ärsykkeisiin liittyviä efektejä.
Kuultu ääni vaikutti sekä vasemmassa että oikeassa aivopuoliskossa sekä mitattaessa amplitudia että latenssia siihen, millainen aktivaatio syntyi.
ED:2006-11-28
INSSI record number: 33089
+ add basket
« previous | next »
INSSI