LogitBoost

Inom maskininlärning och beräkningsteori är LogitBoost en förstärkningsalgoritm formulerad av Jerome Friedman , Trevor Hastie och Robert Tibshirani . Den ursprungliga uppsatsen gjuter AdaBoost -algoritmen i ett statistiskt ramverk. Specifikt, om man betraktar AdaBoost som en generaliserad additiv modell och sedan tillämpar kostnadsfunktionen för logistisk regression , kan man härleda LogitBoost-algoritmen.

Minimerar LogitBoost-kostnadsfunktionen

LogitBoost kan ses som en konvex optimering . Specifikt med tanke på att vi söker en additiv modell av formen

$f=\sum _{t}\alpha _{t}h_{t}$

LogitBoost-algoritmen minimerar den logistiska förlusten :

$\sum _{i}\log \left(1+e^{-y_{i}f(x_{i})}\ höger)$

Se även

• Gradientförstärkning
• Logistisk modellträd