Abstrakt

Anwendung des Gradient-Boosting-Algorithmus in der statistischen Modellierung

Hamid A Adamu, Murtala Muhammad und Abdullahi Mohammed Jingi

Gradient Boosting (GB) ist eine maschinelle Lerntechnik für Regression, die genauere Vorhersagemodelle in Form von Ensemble-Modellen mit schwacher Vorhersage erzeugt. Es handelt sich um einen iterativen Algorithmus, der einfache parametrisierte Funktionen mit schwacher Leistung (hoher Vorhersagefehler) kombiniert, um durch Minimierung der Fehler eine hochgenaue Vorhersage zu erzielen [1]. Daher untersucht dieser Artikel die Anwendung des Gradient-Boosting-Algorithmus in verallgemeinerten linearen Modellen (GLM) und verallgemeinerten additiven Modellen (GAM), um anhand von Münchener Mietdaten bessere Vorhersagen zu erzielen. Interessanter ist der Vergleich der Leistung klassischer GLMs und GAMs und ihrer entsprechenden Boosting-Pakete bei der Vorhersage. Bei Boosting-Algorithmen werden jedoch optimale Boosting-Iterationen dringend empfohlen, um eine Überanpassung zu vermeiden. Sie spielen eine wichtige Rolle bei der Anpassung des Modells. Daher verwenden wir die auf dem Akaike Information Criterion (AIC) basierende Technik, um die geeignete Boosting-Iteration zu bestimmen, die die optimale Vorhersage liefert. Wir haben die AIC- und Kreuzvalidierungstechniken (CV) angewendet, um die optimalen Boosting-Iterationen zu bestimmen. Die erhaltenen Ergebnisse werden dann verglichen, um den genaueren Algorithmus zu ermitteln. Es fällt auf, dass Gamboost (Boosted GAM) standardmäßig Modelle anpasst, die Smooth Base-Learner (BBS) verwenden. Ebenso wird darauf hingewiesen, dass die Koeffizienten des angepassten Modells Matrixform haben, wenn Smooth Base-Learner verwendet werden, während sie bei Verwendung von Linear Base-Learnern einfach linear sind.