1. Подсчитать, сколько информации содержится в одном сообщении длиной 3, 4, 5 и 6 символов, составленном

Radio_6524

13

1.
а) Для подсчета количества информации в сообщении длиной n символов, составленном из двоичного алфавита, воспользуемся формулой Хартли:

\[ I = \log_2(N) \]

где I - количество информации в битах, N - количество возможных символов в алфавите.

Для сообщения длиной 3 символа:

\[ I = \log_2(2^3) = \log_2(8) = 3 \]

Для сообщения длиной 4 символа:

\[ I = \log_2(2^4) = \log_2(16) = 4 \]

Для сообщения длиной 5 символов:

\[ I = \log_2(2^5) = \log_2(32) \approx 5 \]

Для сообщения длиной 6 символов:

\[ I = \log_2(2^6) = \log_2(64) \approx 6 \]

б) Теперь рассмотрим троичный алфавит, в котором каждый символ может принимать одно из трех значений (0, 1, 2). Для подсчета количества информации воспользуемся той же формулой Хартли, только заменим 2 на 3:

\[ I = \log_3(N) \]

Для сообщения длиной 3 символа:

\[ I = \log_3(3^3) = \log_3(27) \approx 3.090 \]

Для сообщения длиной 4 символа:

\[ I = \log_3(3^4) = \log_3(81) \approx 4.161 \]

Для сообщения длиной 5 символов:

\[ I = \log_3(3^5) = \log_3(243) \approx 5.079 \]

Для сообщения длиной 6 символов:

\[ I = \log_3(3^6) = \log_3(729) \approx 6.080 \]

2.
а) Максимальная энтропия системы, состоящей из двух элементов, каждый из которых может находиться в одном из двух состояний, достигается, когда вероятности нахождения элемента в каждом из состояний равны. В этом случае энтропия системы будет максимальной и равна 1 биту.

б) Для системы, состоящей из трех элементов, каждый из которых может находиться в одном из четырех состояний, энтропия можно посчитать по формуле Шеннона:

\[ H = - \sum_{i} P_i \log_2(P_i) \]

где H - энтропия системы, P_i - вероятность нахождения элемента в i-ом состоянии.

Если предположить, что вероятности равны (т.е. P_1 = P_2 = P_3 = P_4 = 1/4), то энтропия будет:

\[ H = - \left(\frac{1}{4} \log_2\left(\frac{1}{4}\right) + \frac{1}{4} \log_2\left(\frac{1}{4}\right) + \frac{1}{4} \log_2\left(\frac{1}{4}\right) + \frac{1}{4} \log_2\left(\frac{1}{4}\right)\right) = 2 \]

в) Аналогично рассчитаем энтропию для системы, состоящей из четырех элементов, каждый из которых может находиться в одном из трех состояний:

\[ H = - \left(\frac{1}{3} \log_2\left(\frac{1}{3}\right) + \frac{1}{3} \log_2\left(\frac{1}{3}\right) + \frac{1}{3} \log_2\left(\frac{1}{3}\right) \right) \approx 1.585 \]

3.
Для определения количества информации в алфавите мощностью N используется формула Хартли:

\[ I = \log_2(N) \]

где I - количество информации в битах, N - количество символов в алфавите.

Например, для алфавита мощностью 26 (английский алфавит) мы получим:

\[ I = \log_2(26) \approx 4.7 \]

Таким образом, алфавит мощностью 26 содержит приблизительно 4.7 бит информации.