Entrópia

V predchádzajúcej časti sme zistili že pravdepodobnosť sledovaných javov zvyčajne nebýva rovnaká. Otázka je akú priemernú informáciu získame pri rozoznaní nejakého javu s pravdepodobnosťou p_i. Odpoveď na našu otázku dáva veličina označovaná ako entrópia.

Entrópia je stredná hodnota informácie.

Majme n rôzných možností, každá možnosť sa vyskytuje s pravdepodobnosťou p_i, potom pod strednou hodnotou informácie rozumieme číslo

H = - \sum_{i = 1}^{n} p_{i} * \log_{2} (p_{i})

Úloha

Vezmime si najjednoduchší prípad - dve možnosti a sledujme informačnú entrópiu. Ak jedna možnosť sa bude vyskytovať s pravdepodobnosťou p, tak druhá možnosť sa bude vyskytovať s pravdepodobnosťou 1-p kde p Î <0,1>

Napíšte rovnicu pre výpočet Entrópie. Pomocou tabuľkového kalkulátora (napríklad Excel) vypočítajte hodnoty entrópie pre hodnoty p od 0 po 1 s krokom 0,01 (100 hodnôt). Vykreslite graf kde na x osi je hodnota p a na y osi je hodnota entrópie. Z grafu zistite kedy je informáčná hodnota javu najväčšia. Ďalej