search query: @supervisor Pulkki, Ville / total: 21
reference: 7 / 21
| Author: | Paasonen, Juhani |
| Title: | Implementation of virtual reality demonstrations with time-frequency-domain audio engine |
| Virtuaalitodellisuusdemonstraation toteuttaminen käyttäen aika-taajuus-tason audiomoottoria | |
| Publication type: | Master's thesis |
| Publication year: | 2015 |
| Pages: | 49+10 Language: eng |
| Department/School: | Sähkötekniikan korkeakoulu |
| Main subject: | Akustiikka ja äänenkäsittely (S3004) |
| Supervisor: | Pulkki, Ville |
| Instructor: | Pihlajamäki, Tapani |
| Electronic version URL: | http://urn.fi/URN:NBN:fi:aalto-201512165663 |
| Location: | P1 Ark Aalto 3401 | Archive |
| Keywords: | spatial audio virtual world directional audio coding hearing tilaääni virtuaalimaailma kuulo |
| Abstract (eng): | Directional audio coding (DirAC) is a system originally developed for analyzing recordings of spatial audio and synthesizing them with arbitrary loudspeaker setups or headphones. It is based on knowledge of human hearing, psychoacoustics. In analysis, the input is divided to frequency bands. For each frequency band, the direction of arrival and the diffuseness of sound are estimated. In synthesis, the result is divided to diffuse and non-diffuse stream. The diffuse stream is non-directional, and it is output decorrelated from all loudspeakers. The non-diffuse stream contains the directional audio. Vector base amplitude panning (VBAP) is used in synthesis for sound positioning. In recent years, DirAC has evolved to virtual worlds. In the process, it has gained features only available in virtual realities. These are the extent of a sound source, allowing a monophonic audio source to have an arbitrary size, and projection of a B-format recording on a convex hull, allowing the avatar to move inside a recording originally made in a single point. In this work, a compilation of virtual reality demonstrations is implemented. The work is done using Cycling 74 software Max version 6. It is done using Max patching system and JavaScript for scripting and controlling the virtual reality. Previously made Max extension module implementation of DirAC was used as audio engine. The work consists of several scenes, designed for demonstration purposes for different kinds of audiences. Specifically, the aforementioned virtual worlds features are demonstrated. In addition, the computationally effective DirAC reverberator is shown. The work also makes it possible for the user to create own, custom made scenes with JavaScript. The work is designed to be used in several environments, such as a screen and loudspeakers, listening room and the A-paja of the Acoustics laboratory of Aalto University, laptop, headphones and a head tracker, and Oculus Rift head-mounted display and headphones. In this thesis, prerequisite information about spatial audio and DirAC are discussed in addition to detailed description of the resulting software. |
| Abstract (fin): | Directional audio coding (DirAC) kehitettiin alunperin tilaäänitallenteiden analysointiin ja toistamiseen satunnaisilla kaiutinkokoonpanoilla tai kuulokkeilla. Se perustuu ihmiskuulon tuntemukseen eli psykoakustiikkaan. Sen analyysin keskiössä on äänen tulosuunnan ja diffuusiuden selvittäminen taajuuskaistoittain. Synteesi on jaettu diffuusiin ja ei-diffuusiin audiovirtaan. Diffuusilla äänellä ei ole havaittavaa suuntaa, ja ääni toistetaan dekorreloituna kaikista kaiuttimista. Ei-diffuusilla äänellä on suunta, joka halutaan toistaa. Äänen havaittava suunta asetetaan vektorikantaisella amplitudipanoroinnilla (vector base amplitude panning, VBAP). Viime vuosien aikana DirAC on kehitetty soveltuvaksi virtuaalimaailmoihin. Samassa yhteydessä siihen on kehitetty ominaisuuksia, jotka soveltuvan yksinomaan virtuaalimaailmaan. Nämä ovat äänilähteen koon muuttaminen, jonka avulla monofoninen äänilähde saadaan kuulostamaan halutun kokoiselta sekä B-formaattitallenteen projektio kuperalle pinnalle, tehden mahdolliseksi liikkumisen äänitteessä, joka on alun perin tallennettu vain yhdessä pisteessä. Tässä työssä on toteutettu kokoelma virtuaalimaailmaan sijoittuvia havainnolistuksia. Työ on toteutettu Cycling 74 -yhtiön Max-ohjelmiston versiolla 6. Työ on ohjelmoitu Maxin graafisella ohjelmointikiellä sekä JavaScriptillä. Jälkimmäistä on käytetty erityisesti virtuaalimaailman ja sen näytöksien toteuttamisessa. Audiomoottorina käytetään Maxille aiemmin kirjoitettua DirAC-laajennosta. Työ koostuu useista näytöksistä, jotka on suunniteltu esittelytarkoituksiin eritasoisille yleisöille. Erityisesti työssä esitellään aiemmin mainitut DirACin virtuaalimaailman ominaisuudet. Lisäksi esitellään DirACin laskennallisesti tehokas kaiunta-algoritmi. Työ mahdollistaa omien esitysten kirjoittamisen JavaScriptillä. Työ on suunniteltu käytettäväksi erilaisissa ympäristöissä. Näitä ovat valkokangas ja kaiuttimet, akustiikan laboratorion kuunteluhuone ja A-paja, kannettava tietokone, kuulokkeet ja pään asentoa seuraava laite sekä virtuaalitodellisuusnäyttö Oculus Rift ja kuulokkeet. Työn kirjallisessa osuudessa esitellään tarvittavat tilaäänikuulon tiedot sekä tarvittavat perustiedot DirACista. Lisäksi toteutus kuvataan yksityiskohtaisesti. |
| ED: | 2016-01-17 |
INSSI record number: 52787
+ add basket
INSSI