Akú úlohu hrá objektívna funkcia pri optimalizácii modelov strojového učenia?

Objektívna funkcia hrá A rozhodujúcu a ústrednú úlohu Pri optimalizácii modelov strojového učenia. Tu je rozpis jej funkcie a významu:

Aká je cieľová funkcia:

* Cieľ: Je to matematická funkcia, ktorá kvantifikuje, ako „dobrý“ model vykonáva svoju zamýšľanú úlohu. Formálne definuje, čo sa model snaží dosiahnuť.

* skóre: Berie predpovede modelu a porovnáva ich so skutočnými cieľovými hodnotami (pozemná pravda). Na základe tohto porovnania vypočíta skóre (jedno číslo).

* minimalizácia alebo maximalizácia: V závislosti od definície je objektívna funkcia navrhnutá tak, aby bola buď * minimalizovaná * (napr. Chyba, strata, náklady) alebo * maximalizovaná * (napr. Presnosť, zisk, odmena). Cieľom procesu optimalizácie je nájsť parametre modelu, ktoré vedú k najlepšiemu možnému skóre (buď najnižšie alebo najvyššie).

Úloha v optimalizácii:

1. Definovanie úspechu: Objektívna funkcia * definuje, čo to znamená, aby bol model úspešný. * Ak je cieľom minimalizovať strednú štvorcovú chybu medzi predpovedami a skutočnými hodnotami, potom sa model považuje za úspešný, keď predpovedá hodnoty, ktoré sú v priemere veľmi blízko skutočným hodnotám.

2. Poskytovanie cieľa: Objektívna funkcia slúži ako cieľ A * pre algoritmus optimalizácie. * Úlohou algoritmu je upraviť parametre modelu (napr. Hmotnosti v nervovej sieti, koeficienty v lineárnej regresii) takým spôsobom, aby sa objektívna funkcia zlepšovala (t.

3. Vedenie vyhľadávania: Tvar objektívnej funkcie (jej deriváty a zakrivenie) vedie hľadanie najlepších parametrov modelu optimalizačný algoritmus. Algoritmy, ako je zostup gradientu, používajú gradient (sklon) funkcie objektívu na určenie smeru, v ktorom sa chcete upraviť parametre tak, aby sa dosiahlo lepšie skóre.

4. Vyhodnotenie výkonu: Objektívna funkcia sa dá použiť na * vyhodnotenie výkonu rôznych modelov alebo rôznych množín parametrov * pre ten istý model. Porovnaním hodnoty objektívnej funkcie pre rôzne konfigurácie si môžete vybrať model, ktorý najlepšie funguje podľa vašich definovaných kritérií.

Bežné typy objektívnych funkcií:

* regresia:

* Priemerná štvorcová chyba (MSE): Priemer štvorcových rozdielov medzi predpokladanými a skutočnými hodnotami. Dobré na meranie celkovej presnosti predpovede.

* Priemerná absolútna chyba (MAE): Priemer absolútnych rozdielov medzi predpokladanými a skutočnými hodnotami. Robustnejšie pre odľahlé hodnoty ako MSE.

* Klasifikácia:

* Strata krížovej entropie (strata log): Meria rozdielnosť medzi predpokladanou pravdepodobnosťou rozdelením a skutočnými štítkami. Bežne sa používajú v logistickej regresii a neurónových sieťach.

* Strata závesu: Používa sa v podporných vektorových strojoch (SVMS). Penalizuje nesprávne klasifikácie a podporuje maržu medzi triedami.

* klastrovanie:

* v rámci klastra štvorcov (WCSS): Meria kompaktnosť klastrov. Cieľom algoritmov ako K-prostriedky sa zameriava na minimalizáciu WCSS.

* Výučba posilnenia:

* Funkcia odmeňovania: Definuje odmenu (alebo trest), ktorú agent prijíma za podniknutie určitých opatrení v prostredí. Cieľom agenta je maximalizovať kumulatívnu odmenu.

Dôležité úvahy:

* Výber objektívnej funkcie: Výber objektívnej funkcie je * kritický * a do značnej miery závisí od konkrétnej úlohy strojového učenia a požadovaného správania modelu. Zlabo zvolená objektívna funkcia môže viesť k modelu, ktorý sa dobre darí na školiacich údajoch, ale zovšeobecňuje zle na neviditeľné údaje, alebo sa nezhoduje so skutočnými cieľmi aplikácie.

* regularizácia: Objektívne funkcie sa často zvyšujú * regularizačnými výrazmi * (napr. L1 alebo L2 regularizácia). Regularizácia penalizuje komplexné modely a pomáha predchádzať nadmernému pripevňovaniu, čo vedie k lepšej zovšeobecnení. Termín regularizácie sa pridáva k hlavnej zložke straty objektívnej funkcie.

* Optimalizačný algoritmus: Výber algoritmu optimalizácie * * by mal byť kompatibilný s objektívnou funkciou. Niektoré algoritmy sú vhodnejšie pre určité typy objektívnych funkcií (napr. Convex vs. ne-konvex).

* Lokálne minima (nekonvexná optimalizácia): Mnoho objektívnych funkcií v strojovom učení, najmä v hlbokom učení, sú *nekonvexné *. To znamená, že optimalizačná krajina má viac miestnych minimá a algoritmus optimalizácie sa môže uviaznuť v jednom z týchto miestnych minima namiesto toho, aby našli globálne minimum (najlepšie možné riešenie). Na zmiernenie tohto problému sa používajú techniky, ako je starostlivá inicializácia, dynamika a miera adaptívneho učenia.

V súhrne je objektívna funkcia srdcom optimalizačného procesu v strojovom učení. Definuje, čo by mal model dosiahnuť, vedie hľadanie najlepších parametrov modelu a umožňuje nám vyhodnotiť a porovnávať rôzne modely.

• Predchádzajúca strana: Aká je definícia algoritmu a ako sa používa v informatike? 
• Ďalšia strana: No