1. solvetop.com
  2. Информатика
  3. 13. Определите энтропию...

13. Определите энтропию источника сообщений на основании статистики распределения вероятностей появления символов

  • 18
13. Определите энтропию источника сообщений на основании статистики распределения вероятностей появления символов на выходе источника. Приведенные вероятности для каждого символа следующие: a = 0,35, b = 0,035, c = 0,07, d = 0,15, e = 0,07, f = 0,07, g = 0,14, h = 0,035, i = 0,01, j = 0,07.

14. У вас имеется алфавит из 5 символов, с соответствующими вероятностями появления: символ a с вероятностью 0,7, символ b с вероятностью 0,2, символ c с вероятностью 0,08, символ d с вероятностью 0,015, символ e с вероятностью 0,005. Определите количество информации в сообщении, состоящем из 20 символов. Каково количество информации в данном сообщении, если все символы равновероятны? Пожалуйста, прикрепите скриншоты самих изображений высокого качества.

Рекомендуется сохранять верные ответы и всегда делиться с друзьями, ведь они могут тебе ещё пригодиться!

Telegram Whatsapp ВКонтакте
Zvezdnaya_Galaktika
56
13. Для определения энтропии источника сообщений на основе статистики распределения вероятностей появления символов на выходе источника, мы можем использовать формулу энтропии Шеннона.

Энтропия источника сообщений определяется следующим образом:
\[H(X) = -\sum p_i \log_2(p_i)\]

Где:
\(H(X)\) - энтропия источника сообщений,
\(p_i\) - вероятность появления символа \(i\).

По данному условию мы имеем следующие вероятности для каждого символа:
\(p_a = 0.35\),
\(p_b = 0.035\),
\(p_c = 0.07\),
\(p_d = 0.15\),
\(p_e = 0.07\),
\(p_f = 0.07\),
\(p_g = 0.14\),
\(p_h = 0.035\),
\(p_i = 0.01\),
\(p_j = 0.07\).

Теперь давайте рассчитаем энтропию источника сообщений:

\[H(X) = -p_a \log_2(p_a) - p_b \log_2(p_b) - p_c \log_2(p_c) - p_d \log_2(p_d) - p_e \log_2(p_e) - p_f \log_2(p_f) - p_g \log_2(p_g) - p_h \log_2(p_h) - p_i \log_2(p_i) - p_j \log_2(p_j)\]

\[H(X) = -(0.35 \cdot \log_2(0.35)) - (0.035 \cdot \log_2(0.035)) - (0.07 \cdot \log_2(0.07)) - (0.15 \cdot \log_2(0.15)) - (0.07 \cdot \log_2(0.07)) - (0.07 \cdot \log_2(0.07)) - (0.14 \cdot \log_2(0.14)) - (0.035 \cdot \log_2(0.035)) - (0.01 \cdot \log_2(0.01)) - (0.07 \cdot \log_2(0.07))\]

Выполнив необходимые вычисления, получим значение энтропии источника сообщений равное:
\[H(X) \approx 2.085\]

Таким образом, энтропия источника сообщений составляет приблизительно 2.085 бит.

14. Чтобы определить количество информации в сообщении, состоящем из 20 символов, мы можем использовать формулу для расчета средней информации для каждого символа и умножить эту величину на количество символов в сообщении.

Средняя информация для каждого символа в алфавите с заданными вероятностями определяется следующим образом:
\[I(X) = -\sum p_i \log_2(p_i)\]

Где:
\(I(X)\) - средняя информация для каждого символа,
\(p_i\) - вероятность появления символа \(i\).

По данному условию мы имеем следующие вероятности для каждого символа:
\(p_a = 0.7\),
\(p_b = 0.2\),
\(p_c = 0.08\),
\(p_d = 0.015\),
\(p_e = 0.005\).

Теперь давайте рассчитаем среднюю информацию для каждого символа:

\[I(X) = -p_a \log_2(p_a) - p_b \log_2(p_b) - p_c \log_2(p_c) - p_d \log_2(p_d) - p_e \log_2(p_e)\]

\[I(X) = -(0.7 \cdot \log_2(0.7)) - (0.2 \cdot \log_2(0.2)) - (0.08 \cdot \log_2(0.08)) - (0.015 \cdot \log_2(0.015)) - (0.005 \cdot \log_2(0.005))\]

Выполнив необходимые вычисления, получим значение средней информации для каждого символа:
\[I(X) \approx 1.029\]

Используя полученное значение средней информации для каждого символа, мы можем определить количество информации в сообщении, состоящем из 20 символов:

\[Количество\ информации\ =\ I(X) \times количество\ символов\]

\[Количество\ информации\ = \approx\ 1.029 \times 20\]

\[Количество\ информации \approx 20.58\]

Таким образом, количество информации в сообщении, состоящем из 20 символов, составляет примерно 20.58 бит.