Definícia, výpočet informácie

Ako prvý si zoberme pojem dáta. Poskúsme sa čo najpresnejšie definovať čo to dáta sú. Určite budete súhlasiť že čísla, písmená, text sú data. Ďalším príkladom dát môže byť obraz na papieri, zvuk zaznamenaný na magnetofónovej kazete alebo CD. Údaje ale môžu byť skryté aj v DNA bunky. V prvom rade si všimnime že údaje odrážajú určitú skutočnosť i keď konkrétnych spôsobov fyzikálnej reprezentácie môže byť veľa.

Dáta/údaje

Údaje sú akékoľvek vyjadrenie skutočnosti v podobe určitých symbolov vhodných pre komunikáciu, uloženie a spracovanie.

V technickej praxi pri prenose infprmácie sa dosť často používa podobne definovaný pojem správa.

Správa je postupnosť akýchoľvek rozlíšiteľných prvkov - symbolov
To je pekné že sme si takto definovali data (údaje, správy). Lenže použili sme k tomu pojem symbol. Takže sme si vlastne až tak moc nepomohli. Teraz potrebujeme definovať čo je to symbol.

Symbol

Symbol je nejaký rozlíšiteľný prvok správy (údaja). Pokiaľ má symbol grafické znázornenie hovoríme mu znak. Znak je grafická podoba symbolu reprezentujúci údaj.

Na zobrazenie alebo prenos správy nám ale nestačí jeden symbol. Potrebujeme ich zvyčajne viac (minimálne dva). Zavedieme preto pojem abeceda.

Abeceda

Abeceda je množina všetkých prvkov ktoré slúžia k zobrazeniu správy. Abeceda može byť konečná, alebo to môže byť interval v určitom obore hodnôt. Abeceda nie je viazaná na žiadnu fyzikálnu podstatu je to abstrakcia. Ak chceme správu preniesť alebo zaznamenať musí mať správa nejakého fyzikálneho nositeľa. Jedna a tá istá správa môže byť vyjadrená pomocou rôznych abecied.

Kódovanie

Kódovanie je transformácia správy z jednej abecedy do inej.

Informácia

Informácia je vsťah mezdi symbolmi správy a okolným svetom.

Informácia obsiahnutá v správe sa dá posudzovať z troch rôznych pohľadov:

Podme teraz hlbšie porozmýšlať čo je to informácia. Nie je náhodou slovo informácia ďalším synonymom pre údaje? Dalo by sa povedať že informácia je skrytá vo význame údajov. To je však veľmi mlhavá definícia. A tažko by nám umožnila napríklad merať množstvo informácie. Môžeme postaviť otázku aj inak. Ak získam nejaké údaje, získam zároveň aj nejakú informáciu? Teraz by už malo byť jasné, že rozdiel medzi údajmi a informáciou je obrovský. V zásade nás teda zaujíma informácia pragmatická - samotný význam správy

Informácia

Informácia je správa, ktorá spôsobí zmenšenie neurčitosti.

Je nesporné že text napísaný v japončine sú údaje. Pochybujem však že pre niekoho z nás takáto správa prináša aj informáciu. Podobne to je napríklad s obsahom súboru s príponou GIF. Sú tu síce tisíce údajov, ale kto nepozná ich význam nedozvie sa vôbec nič. Rovnako sa nedozviem žiadnu informáciu ak údaje obsahujú vopred známu informáciu. V nedávnej dobe sa podarilo prečítať písmená ľudskej DNA. Veľkú informáciu nám to však zatiaľ neprinieslo pretože naďalej nepoznáme kompletné zostavenie jednotlivých génov a vzájomné súvislosti zatial iba slepo odhadujeme. Boj s vírosovými ochoreniami ako sme nedávno mohli na vlastné oči vidieť zatiaľ skôr pripomína tipovanie v lotérii, než že presne vieme ako čo a prečo funguje.

Neurčitosť odstánime ak sa dozvieme jednu možnosť z ostatných alternatív. Ak bude alternatíva jediná nedozvieme sa žiadnu informáciu. Neurčitosť je možné zjednodušene chápať ako pravdepodobnosť nejakého javu. Čím bude pravdepodobnosť menšia tak informácia ktorú sa dozviem bude väčšia. Napríklad ak hážem kockou je 6 možností, informácia ktorú sa dozviem bude iná ako keď si vytiahnem jednu kartu (32 možností) alebo dokonca keď sa dozviem výhernú číselnú kombináciu v lotérii.

Výpočet veľkosti informácie

Majme nejaký jav ktorý nastáva s pravdepodobnosťou p dá sa ľahko uveriť že ak

p=1 tak I=0

Ak viem že jav nastáva s pravdepodobnosťou 1 tak sa nedozviem žiadnu informáciu (neurčitosť je nulová).

Nasledovná vlastnosť je tiež ľahko pochopiteľná. Majme teraz dva javy každý nastáva s pravdepodobnosťou p1, p2

ak p1<p2 potom I1>I2

No a ešte jedna vlastnosť sa dá v celku ľahko uveriť. Ak teraz sledujeme či oba javy nastanú súčasne tak pravdepodobnosť bude

p=p1*p2 a pre množstvo informácie by malo platiť I= I1+I2

Pre výpočet informácie hľadáme teda takú funkciu I=f(p), ktorá spĺňa nasledovné podmienky:

Keď dáte takúto otázku dobrému matematikovi okamžite odpovie že takú funkciu pozná, je to funkcia logaritmus. Pre ďalšie vlastnosti hľadanej funkcie nakoniec došli kybernetici ku vzťahu:

I=-log(p)

Pri hádzaní kockou je pravdepodobnosť že padne ľubovolná možnosť rovná 1/6=0,166.. Informačná hodnota teda bude

I=-log(1/6)=0,778 [dit]

Matematik sa však pýta a pri akom základe má byť ten logaritmus. Musí to byt desiatkový nemohol by to byť napríklad prirodzený alebo nebodaj ešte iný. Odpoveď znie že mohol a dokonca aj sa používa základ 2, takže

I=-log2(1/6)=2,584 [bit]

Takto teda volíme do akej číselnej sústavy prepočítavame informačnú hodnotu javu. A tomu zodpovedá aj príslušná jednotka.

Úlohy

  1. Zopakujte si z matematiky výpočet logaritmu pri ľubovolnom základe.
  2. Vypočítajte aká je informačná hodnota javu že na dvoch hracích kockách padne súčet 7 v bitoch.
  3. Vypočítajte aká je informačná hodnota ak kúzelník uhádne ktorú kartu z obyčajných hracích kariet ste si vybrali.
  4. Vypočítajte akú informáciu má ak vám prezradí niekto deň a mesiac narodenia
  5. Vypočítajte akú informačnú hodnotu má ak sa dozviem koľko je hodín s presnosťou na minúty.
  6. Vypočítajte akú informačnú hodnotu má ak sa dozviem akú fabu má nejaký objekt (predpokladajte že oko rozlíši 16 miliónov rozných farieb a odtieňov).
Ďalej