Dubbel nedstigning
| Del av en serie om |
|
maskininlärning och datautvinning |
|---|
 |
Inom statistik och maskininlärning är dubbel descent fenomenet där en statistisk modell med ett litet antal parametrar och en modell med ett extremt stort antal parametrar har ett litet fel, men en modell vars antal parametrar är ungefär detsamma som antalet av datapunkter som används för att träna modellen kommer att ha ett stort fel. Detta fenomen verkar motsäga bias-varians-avvägningen i klassisk statistik, som säger att att ha för många parametrar kommer att ge ett extremt stort fel.
Se även
- Mikhail Belkin; Daniel Hsu; Ji Xu (2020). "Två modeller av dubbel härkomst för svaga funktioner" . SIAM Journal on Mathematics of Data Science . 2 (4). doi : 10.1137/20M1336072 .
- Preetum Nakkiran; Gal Kaplun; Yamini Bansal; Tristan Yang; Boaz Barak; Ilya Sutskever (29 december 2021). "Djup dubbel härkomst: där större modeller och mer data gör ont". Journal of Statistical Mechanics: Theory and Experiment . IOP Publishing Ltd och SISSA Medialab srl. 2021 . arXiv : 1912.02292 . doi : 10.1088/1742-5468/ac3a74 .
- Song Mei; Andrea Montanari (april 2022). "Generaliseringsfelet av slumpmässig regression: Exakt asymptotik och den dubbla nedstigningskurvan". Meddelanden om ren och tillämpad matematik . 75 (4). arXiv : 1908.05355 . doi : 10.1002/cpa.22008 .
- Xiangyu Chang; Yingcong Li; Samet Oymak; Christos Thrampoulidis (2021). "Bevisbara fördelar med överparameterisering i modellkomprimering: från dubbel nedstigning till beskärning av neurala nätverk". Handlingar från AAAI-konferensen om artificiell intelligens . 35 (8). arXiv : 2012.08749 .
- Mikhail Belkin; Daniel Hsu; Siyuan Ma; Soumik Mandal (2019). "Att förena modern maskininlärning med den klassiska avvägningen mellan partiskhet och varians" . Proceedings of the National Academy of Sciences of the United States of America . 116 (32). doi : 10.1073/pnas.1903070116 .
- Marco Loog; Tom Viering; Alexander Mey; Jesse H. Krijthe; David MJ Skatt (2020). "En kort förhistoria av dubbel härkomst" . Proceedings of the National Academy of Sciences of the United States of America . 117 (16). doi : 10.1073/pnas.2001875117 .
externa länkar
- Brent Werness; Jared Wilber. "Double Descent: Del 1: En visuell introduktion" .
- Brent Werness; Jared Wilber. "Double Descent: Del 2: En matematisk förklaring" .
| |||||||||||||||||||||||||||
| |||||||||||||||||||||||||||
| |||||||||||||||||||||||||||
| |||||||||||||||||||||||||||
| |||||||||||||||||||||||||||
| |||||||||||||||||||||||||||
