Regularisierung
Bild von maniacvector auf Freepik
Regularisierung ist eine Technik im maschinellen Lernen und statistischen Modellieren, die dazu dient, ein Modell zu verhindern, zu komplex zu werden und dadurch überangepasst (overfitted) zu sein. Ziel der Regularisierung ist es, das Modell zu vereinfachen, um so die Generalisiertheit zu erhöhen und die Gefahr von Overfitting zu verringern.
Übermäßige Komplexität in einem Modell kann dazu führen, dass es nur die Trainingsdaten gut beschreibt, aber schlecht auf unbekannte Daten generalisiert. Regularisierung hilft, dieses Problem zu vermeiden, indem sie eine Strafe für zu große Modellparameter hinzufügt.
Wie funktioniert Regularisierung?
Bei der Regularisierung wird eine zusätzliche Strafterm zu der Fehlerfunktion (auch Verlustfunktion genannt) des Modells hinzugefügt. Diese Strafe sorgt dafür, dass das Modell entweder kleinere Koeffizienten oder eine einfachere Struktur bevorzugt. Dadurch wird die Komplexität des Modells eingeschränkt, was zu einer besseren Generalisierbarkeit führt.
Es gibt zwei Hauptarten der Regularisierung: L1-Regularisierung und L2-Regularisierung.
Arten der Regularisierung
1️⃣ L1-Regularisierung (Lasso)
- Bei der L1-Regularisierung wird die Betragsgröße der Modellkoeffizienten (also der Gewichtungen der Eingabefunktionen) bestraft. Das bedeutet, dass die Größe der Koeffizienten in der Verlustfunktion mit der absoluten Summe der Koeffizienten in Beziehung gesetzt wird.
- Mathematisch: Verlust=Fehlerterm+λ∑∣wi∣\text{Verlust} = \text{Fehlerterm} + \lambda \sum |w_i|
- Hierbei ist wiw_i der Gewichtungsparameter und λ\lambda ein Regularisierungsparameter.
- Auswirkung: Die L1-Regularisierung führt dazu, dass viele Gewichtungen genau null werden, was eine Feature-Selektion zur Folge hat. Es wird also ein sparsames Modell erzeugt, das nur die wichtigsten Merkmale verwendet.
2️⃣ L2-Regularisierung (Ridge)
- Bei der L2-Regularisierung wird die Quadratsumme der Modellkoeffizienten bestraft. Das bedeutet, dass große Gewichtungen weniger bevorzugt werden, aber im Gegensatz zu L1-Regularisierung keine Gewichtungen auf null gesetzt werden.
- Mathematisch: Verlust=Fehlerterm+λ∑wi2\text{Verlust} = \text{Fehlerterm} + \lambda \sum w_i^2
- Auswirkung: Die L2-Regularisierung führt zu kleineren Gewichtungen, jedoch nicht zu einer vollständigen Eliminierung von Parametern. Es hilft, die Komplexität des Modells zu reduzieren, ohne wichtige Merkmale zu verlieren.
3️⃣ Elastic Net
- Eine Kombination aus L1 und L2-Regularisierung wird als Elastic Net bezeichnet. Sie kombiniert die Vorteile beider Regularisierungen, indem sie sowohl sparsames Lernen (L1) als auch die Reduktion der Koeffizienten ohne Nullsetzung (L2) ermöglicht.
- Mathematisch: Verlust=Fehlerterm+λ1∑∣wi∣+λ2∑wi2\text{Verlust} = \text{Fehlerterm} + \lambda_1 \sum |w_i| + \lambda_2 \sum w_i^2
Vorteile der Regularisierung
- Vermeidung von Overfitting
- Regularisierung reduziert das Risiko, dass ein Modell zu stark auf Trainingsdaten abgestimmt wird, und fördert die Generalisiertheit des Modells.
- Verbesserte Modellkomplexität
- Regularisierung hilft dabei, Modelle einfacher zu gestalten, indem sie unnötige Komplexität (z. B. große Gewichtungen) reduziert. Das führt zu weniger Fehlern und einer besseren Performance bei unbekannten Daten.
- Feature-Selektion (bei L1)
- Durch die L1-Regularisierung (Lasso) werden irrelevante Merkmale vollständig auf null gesetzt, was zu einer automatischen Feature-Selektion führt.
- Stabilität
- Regularisierung trägt dazu bei, dass das Modell auch bei geringen Datenmengen stabil bleibt und nicht zu stark von zufälligen Schwankungen in den Trainingsdaten beeinflusst wird.
Herausforderungen bei der Regularisierung
⚠ Übermäßige Regularisierung
- Wenn der Regularisierungsparameter λ\lambda zu hoch gewählt wird, kann das Modell zu stark vereinfacht werden, was zu Underfitting führt. In diesem Fall verliert das Modell seine Fähigkeit, die zugrunde liegenden Muster in den Daten zu lernen.
⚠ Wahl des richtigen Regularisierungsparameters
- Es erfordert oft Experimente und Hyperparameter-Optimierung, um den optimalen Wert für den Regularisierungsparameter zu finden. Ein zu kleiner Wert könnte zu Overfitting führen, während ein zu großer Wert zu Underfitting führen kann.
Anwendungsbeispiele für Regularisierung
- Lineare und logistische Regression
- Regularisierung wird in linearen Regressionen und logistischen Regressionen verwendet, um Überanpassungen an den Trainingsdaten zu verhindern, besonders bei einer hohen Anzahl von Eingabefunktionen.
- Neuronale Netze
- Auch in Deep Learning-Modellen wird Regularisierung eingesetzt, um Overfitting zu vermeiden, vor allem, wenn das Modell sehr komplex ist oder die Datenmenge klein ist.
- Feature-Engineering und Modellvereinfachung
- In vielen Fällen hilft Regularisierung bei der Selektion von relevanten Features, insbesondere bei großen Datensätzen mit vielen Eingabevariablen.
Fazit
Regularisierung ist eine entscheidende Technik, um Modelle zu verhindern, dass sie zu komplex werden und nur die Trainingsdaten perfekt anpassen (Overfitting). Durch den Hinzufügen von Strafen für große Modellparameter verbessert Regularisierung die Generalisiertheit und Stabilität des Modells und führt zu besseren Vorhersagen auf neuen, unbekannten Daten.
Du möchtest zu diesen Begriff oder einem anderen Thema mit uns ins Gespräch kommen?
Dann kontaktiere uns einfach hier! 😊