Dual Bayesian and Morphology-based Approach for Markerless Human Motion Capture in Natural Interaction Environments


Première édition

The goal of this work has been to tackle the problem of gestural human-computer interfaces in its most natural form, i.e. without markers or invasive devices. In that sense a complete system is proposed in order to classify and track in real-time a sufficient number of human features that allow novel forms of gestural man-machine interaction. The algorithm is basically composed of an intra-image phase and an inter-image phase. The first one takes advantage of several mathematical morphology tools in order to analyze the user silhouette and robustly extract head, hands and feet. The second phase works in an inter-image Bayesian framework in order to achieve the classification and tracking of the previously extracted features. Due to its low computational complexity, the system can run at real-time paces on standard Personal Computers, with an average error rate range between 2% and 7% in realistic situations, depending on the context and segmentation quality.


Livre broché - En anglais 41,00 €

InfoPour plus d'informations à propos de la TVA et d'autres moyens de paiement, consultez la rubrique "Paiement & TVA".

Spécifications


Éditeur
Presses universitaires de Louvain
Partie du titre
Numéro 101
Auteur
Pedro Correa Hernandez,
Collection
Thèses de l'École polytechnique de Louvain
Langue
anglais
Catégorie (éditeur)
Sciences appliquées > Électricité
BISAC Subject Heading
TEC000000 TECHNOLOGY & ENGINEERING
Code publique Onix
06 Professionnel et académique
CLIL (Version 2013-2019 )
3069 TECHNIQUES ET SCIENCES APPLIQUEES
Date de première publication du titre
01 janvier 2006
Type d'ouvrage
Thèse

Livre broché


Date de publication
2006
ISBN-13
9782874630293
Ampleur
Nombre de pages de contenu principal : 135
Code interne
74041
Format
16 x 24 x 0,8 cm
Poids
393 grammes
Prix
41,00 €
ONIX XML
Version 2.1, Version 3

Google Livres Aperçu


Publier un commentaire sur cet ouvrage

Sommaire


List of figures

1 Introduction 1

1.1 Context of theWork . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Goal and Motivations . . . . . . . . . . . . . . . . . . . . . . . 4

1.3 Targeted Applications . . . . . . . . . . . . . . . . . . . . . . 6

1.4 RelatedWork . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.5 Algorithm Overview . . . . . . . . . . . . . . . . . . . . . . . 15

1.5.1 About Silhouette Segmentation . . . . . . . . . . . . . 16

1.6 Thesis Organization . . . . . . . . . . . . . . . . . . . . . . . . 17

2 Intra-Image Feature Extraction 19

2.1 The Crucial Point Set . . . . . . . . . . . . . . . . . . . . . . . 19

2.2 Image Pre-Processing . . . . . . . . . . . . . . . . . . . . . . . 21

2.3 Crucial Point Extraction . . . . . . . . . . . . . . . . . . . . . 21

2.3.1 Geodesic Distance Map Computation . . . . . . . . . 23

Geodesic Distances and Geodesic Maps . . . . . . . . 23

Geodesic Maps Computation . . . . . . . . . . . . . . 25

Center of Gravity . . . . . . . . . . . . . . . . . . . . . 26

2.3.2 Geodesic Distance Map Computation Optimization . 28

2.3.3 Analysis of the Geodesic Distance Function . . . . . . 30

2.3.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2.4 Intra-Image Classification . . . . . . . . . . . . . . . . . . . . 41

2.4.1 Morphological Skeletons . . . . . . . . . . . . . . . . . 41

2.4.2 Selective pruning and robust skeletons . . . . . . . . 44

2.4.3 Feature Classification . . . . . . . . . . . . . . . . . . 45

Holes and Loops . . . . . . . . . . . . . . . . . . . . . 53

2.4.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

Morphological Skeletons . . . . . . . . . . . . . . . . . 57

Extraction and Labelling Results . . . . . . . . . . . . 57

2.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

3 Inter-Image Feature Labelling and Tracking 69

3.1 Crucial Point Extraction . . . . . . . . . . . . . . . . . . . . . 69

3.2 Tracking Step . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

3.2.1 Mahalanobis Distance and Gating . . . . . . . . . . . 73

3.2.2 Sequencing versus Global Classification Approach . 75

3.3 Detection Step . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

3.3.1 Prior probability maps . . . . . . . . . . . . . . . . . . 79

3.4 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . 85

3.5 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

3.5.1 Synthetic results . . . . . . . . . . . . . . . . . . . . . 88

3.5.2 Real segmentation results . . . . . . . . . . . . . . . . 92

General movement range . . . . . . . . . . . . . . . . 92

Possible application: Virtual aerobic home training . 94

Testing the algorithm flexibility. Application: Virtual Tennis game . . . . . . . . . . . . . . . . 96

Testing the algorithm flexibility: Wheelchair user . . 98

Testing the algorithm robustness limits: Segmentation. Application: Gestural navigation . . . 100

Testing the algorithm robustness limits: Challenging postures . . . . . . . . . . . . . . . . . . . . . 102

3.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

4 Experimenting with possible extensions and perspectives 107

4.1 Stepping into 3D . . . . . . . . . . . . . . . . . . . . . . . . . 107

4.1.1 Triangulation . . . . . . . . . . . . . . . . . . . . . . . 108

4.1.2 Reliability coefficient . . . . . . . . . . . . . . . . . . . 110

4.1.3 3D Tracking . . . . . . . . . . . . . . . . . . . . . . . . 113

4.1.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

4.2 Taking Crucial Points as input for animation . . . . . . . . . 117

4.2.1 Inverse kinematics . . . . . . . . . . . . . . . . . . . . 117

4.2.2 2D animation model . . . . . . . . . . . . . . . . . . . 119

4.2.3 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

5 Conclusion 123

5.1 Conclusions and contributions . . . . . . . . . . . . . . . . . 123

5.2 Publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

5.3 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

Bibliography 131