We are searching data for your request:
Upon completion, a link will appear to access the found materials.
Pokúšam sa nájsť príklad učebného stroja/neurónovej siete, ktorý dosahuje nulový rozptyl, ale ťažko hľadám príklad kdekoľvek.
Odchýlka je definovaná ako chyba generalizácie pre neurónovú sieť alebo inými slovami rozdiel medzi funkciou učenia odvodenou z konkrétnej vzorky a funkciou odvodenou zo všetkých vzoriek školenia.
Vie niekto príklad, ktorý môžu zdieľať? Akákoľvek pomoc by bola veľmi cenená.
Po prvé, definícia, ktorá je v podstate to, čo ste povedali, ale odkazuje na prvky v doméne funkcie: „Učebný algoritmus má vysokú odchýlku pre konkrétny vstup x, ak predpovedá rôzne výstupné hodnoty, keď je trénovaný na rôznych tréningových množinách.“ Aby teda mal nulový rozptyl, stroj/NN musí produkovať presne rovnakú hodnotu pre x cez tréningové sady. Jediný spôsob, ako dosiahnuť nulový rozptyl vzhľadom na všetky možné x, je, ak máte konštantný (neučiaci sa) stroj/NN (pretože potom bude triviálne udržiavať svoj výkon/funkciu), alebo ak máte cvičné vzorky dokonale vzorkované z rovnaká (vypočítateľná vo vašom zariadení/NN!) bez šumu. Príkladom takýchto školiacich údajov by mohli byť vzorky pozostávajúce z prvkov (x, y), všetky vzorkované z rovnakej lineárnej funkcie. Vo väčšine aplikácií v reálnom svete to tak nebude. Okrem toho nie je nevyhnutne vhodné minimalizovať odchýlky, pretože dôjde k nadmernému generalizovaniu (predpokladáme, že funkcia pre podkladovú distribúciu je príliš jednoduchá).
Zdroj:
S. Geman, E. Bienenstock a R. Doursat (1992). Neurónové siete a dilema zaujatosti/rozptylu. Neural Computation 4, 1-58.
