Netzwerkarchitektur
ReLU (Rectified Linear Unit)
Mechanismus
Aktivierungsfunktion definiert als , die negative Werte hart auf null setzt.
Implikation
Extrem recheneffizient und reduziert das Problem der verschwindenden Gradienten (Vanishing Gradient Problem) in tiefen Netzen.