Základy teorie informace a statistické entropie - Vaculík, Karel; Pokora, Ondřej, 1981-; Masarykova univerzita. Ústav matematiky a statistiky (2013)
V této bakalářské práci se na začátku věnujeme úvodu do teorie informace a vzniku Shannonovy entropie, kterou si v následující části odvodíme a definujeme. Ve třetí kapitole si uvedeme další pojmy založené na entropii, jako je podmíněná entropie, relativní entropie nebo vzájemná informace. V závěrečné části se pak zabýváme diferenciální entropií. V textu jsou také spočítány entropie některých známých rozdělení pravděpodobnosti, jako je normální nebo geometrické rozdělení.
On the beginning of this thesis we are interested in introduction to information theory and formation of Shannon entropy, which we derive and define in the next part. The third chapter is dedicated to introduce another terms based on the entropy such as conditional entropy, relative entropy or mutual information. In the closing part we look into differential entropy. In this thesis we also calculate the entropies of some well-known probability distributions such as normal distribution or geometric distribution.
Vedoucí práce: Ondřej Pokora
Bakalářská práce (Bc.)--Masarykova univerzita, Přírodovědecká fakulta, 2013
Keywords: informační entropie; teorie informace; information entropy; information theory; Information theory; bakalářské práce; bachelor's theses