Mathematische Optimierung
SGD (Stochastic Gradient Descent)
Mechanismus
Gradientenabstieg, bei dem der Gradient pro Iterationsschritt auf Basis eines einzigen zufälligen Datenpunkts geschätzt wird.
Implikation
Extrem schnell pro Schritt, führt jedoch zu starken Oszillationen auf der Verlustoberfläche.