Mathematische Optimierung
Adam Optimizer
Mechanismus
Kombination aus stochastischem Momentum und RMSprop zur adaptiven Anpassung individueller Lernraten pro Parameter.
Implikation
Der De-facto-Standard-Optimierer für tiefe Netze, da er extrem robust gegenüber rauschigen Gradienten und dünnbesetzten Daten ist.