Vzájemné informace

Výpočet vzájemné informace

Požadované informace

K výpočtu vzájemné informace je třeba znát pravděpodobnost (náhodu) všech možných událostí a pravděpodobnost, že nastanou současně. Například pro měření vzájemné informace mezi měsícem a teplotou bychom potřebovali vědět, kolik dní v roce je 10 stupňů Celsia, kolik dní z roku je březen a konečně kolik dní je v březnu 10 stupňů Celsia.

Vzorec

Vzorec vyžaduje sčítání mnoha členů nebo čísel. Každý možný výsledek má svůj vlastní člen. Z výše uvedeného výpočtu vzájemné informace mezi měsícem a teplotou použijeme následující proměnné:

• p(x,y) = pravděpodobnost, že v měsíci y bude x stupňů Celsia
• t(x) = pravděpodobnost, že bude x stupňů Celsia (v kterýkoli den v roce)
• m(y) = pravděpodobnost, že se jedná o měsíc y

To znamená, že m(3) se rovná pravděpodobnosti, že náhodně vybraný den připadne na březen. Je to 31/365, tedy přibližně 0,085, protože 31 z 365 dnů v roce připadá na březen.

Jeden termín by byl následující:

p ( x , y ) log ( p ( x , y ) t ( x ) m ( y ) ) {\displaystyle p(x,y)\log {\left({\frac {p(x,y)}{t(x)m(y)}}\right)}\,\! }

V tomto vzorci znamená "log" logaritmus.

Součtem všech možných výrazů získáme hodnotu vzájemné informace.

Porozumění vzájemné informaci

Možné hodnoty

Čím větší je vzájemná informace, tím více se dozvíte o jedné náhodné hodnotě (např. měsíci), když vám řekneme jinou (např. teplotu).

• Pokud je vzájemná informace nulová, nemůžete o jedné hodnotě určit nic, pokud je dána jiná hodnota.
• Pokud například víte, zda jste minule hodili mincí hlavou, nebo orel, nic vám to neřekne o tom, co se stane příště.

• Pokud je vzájemná informace malá, nemusí být žádná vzájemná informace. Někdy se zdá, že náhodné události mají krátkodobě určitý vzorec, ale celkově neexistuje žádná vzájemná informace.

• Pokud je vzájemná informace velká, je pravděpodobné, že mezi oběma sledovanými věcmi existuje nějaká souvislost.
• Protože teplota a měsíc spolu souvisejí, jejich vzájemná informace by byla mnohem větší než nula.
• Není snadné zjistit, zda je vzájemná informace významná nebo velká.

• Pokud je vzájemná informace jedna, pak vám znalost jedné hodnoty přesně řekne hodnotu druhou.
• Pokud je například ve třídě vybrána náhodná lavice, může učitel přesně vědět, který žák v ní bude sedět. Když víme, která lavice byla vybrána, přesně víme, který student je k ní připojen.

Důležitá fakta

Vzájemná informace se nemění v závislosti na tom, která ze dvou náhodných hodnot je odhalena. To znamená, že o teplotě víme stejně, když nám sdělíme měsíc, jako o měsíci, když nám sdělíme teplotu.

Vzájemné informace se obtížně porovnávají. Pokud vypočítáme vzájemnou informaci pro počasí a jinou hodnotu pro karetní hru, nelze tyto dvě hodnoty snadno porovnat.

Související stránky

• Teorie informací