Základy teorie informace a statistické entropie
V této bakalářské práci se na začátku věnujeme úvodu do teorie informace a vzniku Shannonovy entropie, kterou si v následující části odvodíme a definujeme. Ve třetí kapitole si uvedeme další pojmy založené na entropii, jako je podmíněná entropie, relativní entropie nebo vzájemná informace. V závěreč...
Uloženo v:
| Hlavní autor: | |
|---|---|
| Další autoři: | |
| Typ dokumentu: | VŠ práce nebo rukopis |
| Jazyk: | Čeština |
| Vydáno: |
2013
|
| Témata: | |
| On-line přístup: | http://is.muni.cz/th/357619/prif_b/ |
| Shrnutí: | V této bakalářské práci se na začátku věnujeme úvodu do teorie informace a vzniku Shannonovy entropie, kterou si v následující části odvodíme a definujeme. Ve třetí kapitole si uvedeme další pojmy založené na entropii, jako je podmíněná entropie, relativní entropie nebo vzájemná informace. V závěrečné části se pak zabýváme diferenciální entropií. V textu jsou také spočítány entropie některých známých rozdělení pravděpodobnosti, jako je normální nebo geometrické rozdělení. On the beginning of this thesis we are interested in introduction to information theory and formation of Shannon entropy, which we derive and define in the next part. The third chapter is dedicated to introduce another terms based on the entropy such as conditional entropy, relative entropy or mutual information. In the closing part we look into differential entropy. In this thesis we also calculate the entropies of some well-known probability distributions such as normal distribution or geometric distribution. |
|---|---|
| Popis jednotky: | Vedoucí práce: Ondřej Pokora |
| Fyzický popis: | 42 l. |