Rprop
Rprop , en förkortning för resilient backpropagation , är en inlärningsheuristik för övervakad inlärning i artificiella neurala nätverk för feedforward . Detta är en första ordningens optimeringsalgoritm . Denna algoritm skapades av Martin Riedmiller och Heinrich Braun 1992.
I likhet med Manhattan-uppdateringsregeln tar Rprop endast hänsyn till tecknet för den partiella derivatan över alla mönster (inte magnituden), och agerar oberoende på varje "vikt". För varje vikt, om det fanns en teckenändring av den partiella derivatan av den totala felfunktionen jämfört med den senaste iterationen, multipliceras uppdateringsvärdet för den vikten med en faktor η − , där η − < 1. Om den senaste iterationen producerade samma tecken multipliceras uppdateringsvärdet med en faktor η + , där η + > 1. Uppdateringsvärdena beräknas för varje vikt på ovanstående sätt, och slutligen ändras varje vikt med sitt eget uppdateringsvärde, i motsatsen riktningen för den viktens partiella derivata, för att minimera den totala felfunktionen. η + är empiriskt satt till 1,2 och η − till 0,5. [ citat behövs ]
RPROP är en batchuppdateringsalgoritm. Utöver kaskadkorrelationsalgoritmen och Levenberg–Marquardt-algoritmen är Rprop en av de snabbaste viktuppdateringsmekanismerna. [ citat behövs ]
Variationer
Martin Riedmiller utvecklade tre algoritmer, alla med namnet RPROP. Igel och Hüsken tilldelade dem namn och lade till en ny variant:
- RPROP+ definieras i A Direct Adaptive Method for Faster Backpropagation Learning: The RPROP Algorithm .
- RPROP− definieras vid Advanced Supervised Learning in Multi-layer Perceptrons – From Backpropagation to Adaptive Learning Algorithms . Backtracking tas bort från RPROP+.
- iRPROP− definieras i Rprop – Beskrivning och genomförandedetaljer och uppfanns på nytt av Igel och Hüsken. Denna variant är väldigt populär och enklast.
- iRPROP+ definieras vid Improving the Rprop Learning Algorithm och är mycket robust och vanligtvis snabbare än de andra tre varianterna.