Teoria informacji

Zadania wykonywane podczas zajęć

Zadanie 1. Rzucono dwiema kostkami sześciennymi. Czy komunikat \(k_1\): „suma wyrzuconych oczek jest mniejsza od 5” zawiera więcej, czy mniej informacji, niż komunikat \(k_2\): „suma wyrzuconych oczek jest większa od 9”? Ile wynoszą ilości informacji zawarte w tych komunikatach?

Zadanie 2. Źródło nadaje \(3^n\) jednakowo prawdopodobnych komunikatów. Ile wynosi entropia tego źródła komunikatów?

Zadanie 3. Źródło nadaje \(n^2\) jednakowo prawdopodobnych komunikatów. Ile wynosi entropia tego źródła komunikatów?

Zadanie 4. Znajdź zero-jedynkowy kod zwarty dla komunikatów \(k_1\), \(k_2\), \(k_3\), \(k_4\), \(k_5\) pojawiających się z prawdopodobieństwami odpowiednio \(\frac 12\), \(\frac 18\), \(\frac 18\), \(\frac 18\), \(\frac 18\). Oblicz redundancję zaproponowanego sposobu kodowania.

Zadania domowe

Zadanie 1. Rzucono czterokrotnie symetryczną monetą. Czy komunikat \(k_1\): „w czterech rzutach wyrzucono dokładnie trzy razy orła” zawiera więcej czy mniej informacji niż komunikat \(k_2\): „w czterech rzutach wyrzucono dokładnie trzy razy reszkę”? Ile wynoszą ilości informacji zawarte w tych komunkatach? (1 pkt)

Zadanie 2. Źródło nadaje \(2^n\) jednakowo prawdopodobnych komunikatów. Ile wynosi entropia tego źródła komunikatów? (1 pkt)

Zadanie 3. Znajdź zero-jedynkowy kod zwarty dla komunikatów \(k_1, k_2, k_3, k_4, k_5\) pojawiających się z prawdopodobieństwami odpowiednio \(\frac{5}{16}\), \(\frac{5}{16}\), \(\frac{3}{16}\), \(\frac{2}{16}\), \(\frac{1}{16}\). Oblicz redundancję zaproponowanego sposobu kodowania. (2 pkt)