Please use this identifier to cite or link to this item: http://hdl.handle.net/10889/9344
Title: Υπολογιστική όραση και μηχανική μάθηση για αναγνώριση συμβόλων νοηματικής γλώσσας
Other Titles: Computer vision and machine learning for sign language gesture recognition
Authors: Καζλάροφ, Βαγγέλ
Keywords: Περιγράμματα
Κυρτές θήκες
Χειρονομίες
Υπολογιστική όραση
Μηχανική μάθηση
Δέντρα απόφασης
Keywords (translated): Contours
Convex hulls
Convexity defects
Random forest
Gestures
Computer vision
Machine learning
Decision trees
Defects
Abstract: Η διπλωματική αυτή εργασία παρουσιάζει την όραση των υπολογιστών που σε συνδυασμό με τη χρήση μεθόδων μηχανικής μάθησης, μπορούν να δημιουργήσουν εφαρμογές που αναγνωρίζουν μοτίβα, όπως χειρονομίες. Αρχικά, γίνεται μια ιστορική αναδρομή στις επιστήμες της υπολογιστικής όρασης και της μηχανικής μάθησης, όπως και στην αναγνώριση χειρονομιών. Στη συνέχεια, αναλύεται περισσότερο η υπολογιστική όραση, μελετώντας αλγόριθμους εύρεσης περιγράμματος και κυρτής θήκης αντικειμένων, και μεθόδων βελτίωσής τους μέσα από την επεξεργασία εικόνας. Εν συνεχεία, γίνεται αναφορά σε μεθόδους μηχανικής μάθησης, εστιάζοντας στους αλγόριθμους ταξινόμησης και ιδιαίτερα στον Random Forest ταξινομητή. Τέλος, κατασκευάζεται και αναλύεται μια εφαρμογή, η οποία αναγνωρίζει δεκαεφτά χειρονομίες μέσα από την εύρεση του περιγράμματός τους και της κυρτής τους θήκης, δημιουργώντας έτσι και εκπαιδεύοντας ένα σύνολο δεδομένων αποτελούμενο από τις αποστάσεις μεταξύ του περιγράμματος και της κυρτής θήκης. Επιπλέον, η εφαρμογή είναι ικανή να υπολογίζει αριθμητικές πράξεις, να κατασκευάζει πίνακες και να εφαρμόζει άλγεβρα πινάκων όπως επίσης και να υπολογίζει συναρτήσεις και να εφαρμόζει ανάλυση μιας μεταβλητής, μέσα από χειρονομίες και ενός βοηθητικού πάνελ.
Abstract (translated): This master thesis presents the computer vision in combination with machine learning techniques, in order to develop applications that recognize patterns, such as hand gestures. Initially, there is a throwback to the disciplines of computer vision and machine learning, in addition to the recognition of hand gestures. Then, there is a deeper analysis in computer vision, by studying contour finding and convex hull algorithms, and the way they are improved through image processing. After that, there is a reference in machine learning techniques, focusing on classification algorithms, especially the Random Forest classifier. Finally, an application is developed and analyzed, which recognizes seventeen hand gestures, through their contour and the convex hull, and by generating and training a dataset with the defects. Additionally, the application is capable of arithmetic calculations, of constructing matrices and applying basic algebra on them as well as of creating functions and applying analysis, through hand gestures and a helper panel.
Appears in Collections:Τμήμα Μαθηματικών (ΜΔΕ)

Files in This Item:
File Description SizeFormat 
Kazllarof(math).pdf2.16 MBAdobe PDFView/Open


This item is licensed under a Creative Commons License Creative Commons