Please use this identifier to cite or link to this item: http://hdl.handle.net/10889/2794
Title: On Descent Spectral CG algorithms for Training Recurrent Neural Networks
Authors: Λιβιέρης, Ιωάννης
Αποστολοπούλου, Μαριάννα
Σωτηρόπουλος, Δημήτρης
Σιούτας, Σπύρος
Πιντέλας, Παναγιώτης
Issue Date: 2010-04-08T08:06:36Z
Keywords: Recurrent neural networks
Descent spectral conjugate gradient methods
Sufficient descent property
Keywords (translated): Ανατροφοδοτούμενα νευρωνικά δίκτυα
Abstract: Σε αυτήν την εργασία, αξιολογούμε την απόδοση των μεθόδων των καθοδικών συζυγών κλίσεων για την εκπαίδευση ανατροφοδοτούμενων νευρικών δικτύων. Οι προτεινόμενες μέθοδοι διατηρούν τα πλεονεκτήματα των κλασσικών μεθόδων συζυγών κλίσεων και εκμεταλλεύονται την απουσία των συχνά αναπαποτελεσματικών επανεκκινήσεων. Παρουσιάζονται επίσης αριθμητικά αποτελέσματα χρησιμοποιώντας τρεις διαφορετικούς τύπους ανατροφοδοτούμενων νευρωνικών δικτύων σε μια ποικιλία προβλημάτων βιοπληροφορικής.
Abstract (translated): In this paper, we evaluate the performance of a new class of conjugate gradient methods for training recurrent neural networks which ensure the sufficient descent property. The presented methods preserve the advantages of classical conjugate gradient methods and simultaneously avoid the usually inefficient restarts. Simulation results are also presented using three different recurrent neural network architectures in a variety of benchmarks.
Appears in Collections:Τμήμα Μαθηματικών (Τεχνικές Αναφορές)

Files in This Item:
File Description SizeFormat 
Nimertis_TR_OnDescentSpectral.pdf160.58 kBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.