search query: @keyword computer vision / total: 23
reference: 7 / 23
« previous | next »
Author:Karppa, Matti
Title:Estimating Hand Configurations from Sign Language Videos
Käden konfiguraatioiden estimointi viittomakielisistä videoista
Publication type:Master's thesis
Publication year:2014
Pages:76 s. + liitt. 26      Language:   eng
Department/School:Perustieteiden korkeakoulu
Main subject:Informaatiotekniikka   (T3006)
Supervisor:Oja, Erkki
Instructor:Laaksonen, Jorma
Electronic version URL: http://urn.fi/URN:NBN:fi:aalto-201408292557
OEVS:
Electronic archive copy is available via Aalto Thesis Database.
Instructions

Reading digital theses in the closed network of the Aalto University Harald Herlin Learning Centre

In the closed network of Learning Centre you can read digital and digitized theses not available in the open network.

The Learning Centre contact details and opening hours: https://learningcentre.aalto.fi/en/harald-herlin-learning-centre/

You can read theses on the Learning Centre customer computers, which are available on all floors.

Logging on to the customer computers

  • Aalto University staff members log on to the customer computer using the Aalto username and password.
  • Other customers log on using a shared username and password.

Opening a thesis

  • On the desktop of the customer computers, you will find an icon titled:

    Aalto Thesis Database

  • Click on the icon to search for and open the thesis you are looking for from Aaltodoc database. You can find the thesis file by clicking the link on the OEV or OEVS field.

Reading the thesis

  • You can either print the thesis or read it on the customer computer screen.
  • You cannot save the thesis file on a flash drive or email it.
  • You cannot copy text or images from the file.
  • You cannot edit the file.

Printing the thesis

  • You can print the thesis for your personal study or research use.
  • Aalto University students and staff members may print black-and-white prints on the PrintingPoint devices when using the computer with personal Aalto username and password. Color printing is possible using the printer u90203-psc3, which is located near the customer service. Color printing is subject to a charge to Aalto University students and staff members.
  • Other customers can use the printer u90203-psc3. All printing is subject to a charge to non-University members.
Location:P1 Ark Aalto  1757   | Archive
Keywords:computer vision
sign language
machine learning
metric space
computer graphics
free software
konenäkö
viittomakieli
koneoppiminen
metriset avaruudet
tietokonegrafiikka
vapaa ohjelmisto
Abstract (eng): A computer vision system is presented that can locate and classify the handshape from an individual sign-language video frame, using a synthetic 3D model.
The system requires no training data; only phonetically-motivated descriptions of sign-language hand configuration classes are required.

Experiments were conducted with realistically low-quality sign-language video dictionary footage to test various features and metrics to fix the camera parameters of a fixed synthetic hand model to find the best match of the model to the input frame.
Histogram of Oriented Gradients (HOG) features with Euclidean distance turned out to be suitable for this purpose.
A novel approach, called Trimmed HOGs, with Earth Mover's Distance, as well as simplistic contours and Canny edges with the chamfer distance, also performed favorably.
Minimizing the cost function built from these measures with gradient descent optimization further improved the camera parameter fitting results.
250LClassification of images of handshapes into hand configuration classes with nearest-neighbor classifiers built around the chamfer distance between contours and Canny edges, and chi2 distance between Pyramidal HOG descriptors turned out to yiel24Ld reasonable accuracy.

Although the system displayed only moderate success rates in a full 26-class scenario, the system was able to reach nearly perfect discriminatory accuracy in a binary classification case, and up to 40 % accuracy when images from a restricted set of 12 classes were classified into six hand configuration groups.
Considering that the footage used to evaluate the system was of very poor quality, with future improvements, the methods evaluated may be used as basis for a practical system for automatic annotation of sign language video corpora.
Abstract (fin):Työssä esitetään tietokonenäköjärjestelmä, joka pystyy löytämään ja luokittelemaan käsimuotoja yksittäisistä viittomakielisten videoiden ruuduista synteettistä 3D-mallia käyttäen.
Järjestelmä ei vaadi opetusdataa; pelkät foneettisesti motivoidut kuvaukset käden konfiguraatioluokista riittävät.

Kokeissa testattiin erilaisia piirteitä ja metriikoita staattisen käsimallin kameraparametrien kiinnittämiseksi, jotta löydettäisiin paras vastaavuus mallin ja syötekuvan välillä.
Kokeet ajettiin realistisen heikkolaatuisella videoaineistolla.
Gradienttihistogrammit euklidisella etäisyydellä osoittautuivat sopiviksi tähän tarkoitukseen.
Uusi työssä esitetty lähestymistapa, jota kutsutaan trimmatuksi gradienttihistogrammiksi, maansiirtäjän etäisyyden (Earth Mover's Distance) kanssa toimi myös hyvin, kuten myös yksinkertaiset ääriviivat ja Canny-reunat chamfer-etäisyyden kanssa.
Gradienttilaskeumaoptimointi (gradient descent optimization) paransi kameraparametrien sovitustuloksia.
Syötekuvia luokiteltiin lähimmän naapurin luokittimilla, ja ääriviiva- ja Canny-reunapiirteiden chamfer-etäisyyteen sekä pyramidisten gradienttihistogrammien chi-etäisyyteen pohjautuvat luokittimet osoittautuivat toimiviksi.

Vaikka järjestelmän luokittelutarkkuus jäi vaatimattomaksi täydessä 26 luokan tapauksessa, järjestelmä saavutti liki täydellisen luokittelutarkkuuden binääriluokittelutapauksessa, ja saavutti jopa 40 % tarkkuuden, kun 12 luokan osajoukosta poimittuja kuvia luokiteltiin kuuteen eri ryhmään.
Ottaen huomioon aineiston heikosta laadusta johtuvan vaativuuden, voidaan pitää uskottavana, että esitettyjä menetelmiä voidaan käyttää käytännöllisen korpusaineiston automaattiseen annotointiin soveltuvan järjestelmän pohjana.
ED:2014-08-31
INSSI record number: 49685
+ add basket
« previous | next »
INSSI