Gradient Boosting in Regression
Eugeniusz Gatnar · University of Lodz Repository (University of Łódź) · 2005
Szeroko stosowane w praktyce metody nieparametryczne wykorzystujące tzw. drzewa regresyjne mają jedną istotną wadę. Otóż wykazują one niestabilność, która oznacza, że niewielka zmiana wartości cech obiektów w zbiorze uczącym może prowadzić do powstania zupełnie innego modelu. Oczywiście wpływa to negatywnie na ich trafność prognostyczną. Tę wadę można jednak wyeliminować, dokonując agregacji kilku indywidualnych modeli w jeden. Znane są trzy metody agregacji modeli i wszystkie opierają się na losowaniu ze zwracaniem obiektów ze zbioru uczącego do kolejnych prób uczących: agregacja bootstrapowa (boosting), losowanie adaptacyjne (bagging) oraz metoda hybrydowa, łącząca elementy obu poprzednich. W analizie regresji szczególnie warto zastosować gradientową, sekwencyjną, odmianę metody boosting. W istocie polega ona wykorzystaniu drzew regrcsyjnych w kolejnych krokach do modelowania reszt dla modelu uzyskanego w poprzednim kroku.