Каково количество информации на символ сообщения, составленного из алфавита из пяти букв, если а) символы алфавита

Dobryy_Lis_3001

48

Для решения этой задачи, нам понадобится понятие "количество информации" для каждого символа сообщения.

а) Если символы алфавита имеют равные вероятности, то количество информации для каждого символа будет одинаковым и можно использовать формулу Хартли:
\[I = \log_2(N)\]
где \(I\) - количество информации, а \(N\) - количество возможных символов.

В данном случае у нас алфавит из пяти букв, поэтому \(N = 5\). Подставляя значение в формулу, получаем:
\[I = \log_2(5) \approx 2.32\]

Таким образом, количество информации на каждый символ сообщения будет около 2.32 бит.

б) Если символы алфавита имеют разные вероятности, то количество информации для каждого символа будет отличаться. Для этого мы можем использовать формулу Шеннона:
\[I = -\log_2(p)\]
где \(I\) - количество информации, а \(p\) - вероятность символа.

В данном случае у нас даны следующие вероятности: \(р_1 = 0,8; р_2 = 0,15; р_3 = 0,03; р_4 = 0,015; р_5 = 0,005\). Подставляя значения в формулу, получаем:

для \(р_1 = 0,8\):
\[I_1 = -\log_2(0,8) \approx 0,32\]

для \(р_2 = 0,15\):
\[I_2 = -\log_2(0,15) \approx 2,74\]

для \(р_3 = 0,03\):
\[I_3 = -\log_2(0,03) \approx 4,81\]

для \(р_4 = 0,015\):
\[I_4 = -\log_2(0,015) \approx 5,74\]

для \(р_5 = 0,005\):
\[I_5 = -\log_2(0,005) \approx 8,32\]

Таким образом, количество информации на каждый символ сообщения будет примерно равно: \(0,32\) бит для символа с вероятностью \(0,8\), \(2,74\) бит для символа с вероятностью \(0,15\), \(4,81\) бит для символа с вероятностью \(0,03\), \(5,74\) бит для символа с вероятностью \(0,015\) и \(8,32\) бит для символа с вероятностью \(0,005\).