Čo je deterministická sieť?

Deterministická sieť je sieť, v ktorej je výstup úplne určený vstupom. Inými slovami, vzhľadom na rovnaký vstup sieť vždy vytvorí rovnaký výstup. Nezahŕňa žiadnu náhodnosť ani stochasticitu.

To je v kontraste so stochastickou sieťou (alebo pravdepodobnostnou sieťou), kde je výstup ovplyvnený náhodnými prvkami, čo znamená, že ten istý vstup môže viesť k rôznym výstupom na rôznych cykloch.

Tu je porucha:

* Deterministické siete: Tieto siete sú predvídateľné. Akonáhle je architektúra (hmotnosti, vrstvy, aktivačné funkcie atď.), Odpoveď na daný vstup je vždy rovnaká. Väčšina tradičných neurónových sietí vpred s pevnou hmotnosťou je deterministická.

* stochastické siete: Tieto siete zahŕňajú náhodnosť, často prostredníctvom techník, ako je výpadok (dočasne ignorovanie neurónov počas tréningu), pridávanie šumu do vstupov alebo váh alebo pomocou stochastických aktivačných funkcií. Táto náhodnosť môže zlepšiť zovšeobecnenie a robustnosť, ale spôsobí, že výstup je menej predvídateľný pre daný vstup.

implikácie:

* reprodukovateľnosť: Deterministické siete sú vysoko reprodukovateľné. Rovnaké výsledky je možné dosiahnuť opakovane.

* ladenie: Ľahšie laditeľné, pretože správanie je konzistentné a predvídateľné.

* Tréning: V niektorých prípadoch by sa v niektorých prípadoch mohlo zblížiť pomalšie alebo uviaznuť v miestnej optime v porovnaní so stochastickými sieťami.

* Zovšeobecnenie: Niekedy môže viesť k nadmernému prispôsobeniu, ak nie je starostlivo navrhnutá.

Stručne povedané, kľúčový rozdiel spočíva v prítomnosti alebo neprítomnosti náhodnosti v prevádzke siete. Výber medzi deterministickou a stochastickou sieťou závisí od konkrétnej aplikácie a jej požiadaviek na predvídateľnosť, robustnosť a zovšeobecňovaciu schopnosť.

• Predchádzajúca strana: Prečo je prevádzka promiskuitného režimu dôležitá pre analýzu protokolu? 
• Ďalšia strana: Aké sú hrozby a jej protiopatrenie v dôvernosti?