Please use this identifier to cite or link to this item:
Title: Human activity recognition using temporal templates and soft features
Other Titles: Αναγνώριση ανθρώπινων δραστηριοτήτων με χρήση χρονικών προτύπων και ήπιων χαρακτηριστικών
Authors: Σταγάκης, Νικόλαος
Keywords: Computer vision
Human activity recognition
Keywords (translated): Υπολογιστική όραση
Αναγνώριση ανθρώπινης δραστηριότητας
Abstract: This diploma thesis is on Human Activity Recognition using Temporal Templates and Soft Features. Emphasis was given in the design and training of a system, which given a video input of a human, categorizes the undergoing activity into the closest possible option given a set of pre-learned actions. This work is heavily inspired by the previous work done in a similar field [11, 12] and seeks to improve upon those methods. This system processes a video of a human performing an action, creates images that show the nature and general space of the movement. These images are called Motion Energy Images (MEI for short) and are essentially templates with pixels of higher brightness signifying regions of more recent movement. Our system then proceeds to extract shape descriptors with Hue Moments which can be used to describe, characterize, and quantify the shape of the movement in the image. That way we managed to transform a human intuitive object, such as an image, to a mathematical vector which can be more easily handled by the computer. These moments help us project the movement to a higher dimensional space, which can be used to cluster the movements of the same type and thus form a database for our system to use for decision making in future inputs. Noise cancelling techniques are used in the whole part of the process to clean our data base from imperfections that will have a negative impact on the effectiveness of the system. Soft Features such as direction of movement and stride speed are later extracted from the image series for augmenting the decision capabilities of the system, since the Hue Moments used in our analysis fall prey to some standard tricks in the recognition process, thus lowering our discriminative effectiveness. Those soft features, while not able to provide with decent discriminative ability on their own, gretly increasing its effectiveness. Lastly, a system combining everything together is put together and show- cases the results of adding soft features in identification process and how they affect the overall efficiency.
Abstract (translated): Αυτή η διπλωματική εργασία αφορά την αναγνώριση ανθρώπινων δραστηριοτήτων με χρήση τεχνικών υπολογιστικής όρασης. Το σύστημα που παρουσιάζεται εδώ χρησιμοποιεί βίντεο ως είσοδο το οποίο επεξεργάζεται κατάλληλα για να δημιουργήσει τα χρονικά πρότυπα και να εξαγάγει τα λεγόμενα ήπια χαρακτηριστικά. Η κύρια έμπνευση αυτής της προσέγγισης προκύπτει από προηγούμενες δουλείες στον χώρο της αναγνώρισης ανθρώπινων δραστηριοτήτων [11], [12]. Αυτά τα πρότυπα στην αγγλική ορολογία λέγονται Spatial Templates και αυτά που χρησιμοποιούμε εμείς λέγονται Εικόνα Ενέργειας κίνησης (Motion Energy Image, ή MEI). Αυτά τα πρότυπα ουσιαστικά απεικονίζουν την εξέλιξη μιας δραστηριότητας στον χρόνο και είναι ένα από τα βασικά κομμάτια πάνω στο οποίο το σύστημα βασίζετε για την εκπαίδευση αλλά και για την αναγνώριση. Ήπια χαρακτηριστικά, ή αλλιώς με την αγγλική ορολογία τους soft features, είναι χαρακτηριστικά τα οποία ενώ δεν διαθέτουν την διακριτική ικανότητα άλλων χαρακτηριστικών όπως τα πρότυπα, βοηθούν πολύ και βελτιώνουν πολλά από τα ελαττώματα του συστήματος με το να του παρέχουν παραπάνω πληροφορία. Αυτά τα χαρακτηριστικά εξάγονται από το υποκείμενο που εκτελεί την πράξη. Με βάση όλα αυτά, ένα σύστημα το οποίο χρησιμοποιεί σαν βάση τα πρότυπα και επαυξάνει τις δυνατότητες τους με την χρήση ήπιων χαρακτηριστικών. Επίσης, παρουσιάζεται και η επίδραση των εν λόγω χαρακτηριστικών στην απόδοση του συστήματος. Εφαρμογές αυτών των τεχνικών υπάρχουν σε ιατρικούς τομείς (ανάρωση ασθενών)[13], σε εργοστασιακό περιβάλλον για αυτόματο έλεγχο ποιότητας [7][8] καθώς επίσης και σε διαδραστικά παιχνίδια και διαδραστική μάθηση[9][10].
Appears in Collections:Τμήμα Ηλεκτρολ. Μηχαν. και Τεχνολ. Υπολογ. (ΔΕ)

Files in This Item:
File Description SizeFormat 
Nemertes_Stagakis(ele).pdf2.41 MBAdobe PDFView/Open

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.