Каков должен быть вероятностный уровень k-го сообщения, чтобы формула Хартли получилась из формулы Шеннона? Представьте

Dasha

27

Чтобы понять, какой должен быть вероятностный уровень \(k\)-го сообщения, чтобы формула Хартли (\(H\)) получилась из формулы Шеннона (\(S\)), давайте рассмотрим эти формулы.

Формула Шеннона для количества информации (\(I\)) в сообщении с вероятностью (\(P\)) задается следующим образом:

\[S = -\log_2(P)\]

Формула Хартли для количества информации (\(I\)) в сообщении из алфавита размером (\(N\)):

\[H = \log_2(N)\]

Мы хотим найти вероятностный уровень \(k\)-го сообщения, при котором формула Хартли (\(H\)) получается из формулы Шеннона (\(S\)).

Для начала заметим, что формула Хартли не содержит вероятностей, она зависит только от размера алфавита. Тогда мы можем записать ее как:

\[H = \log_2(P_1 \cdot P_2 \cdot P_3 \cdot ... \cdot P_k)\]

где \(P_1, P_2, P_3, ..., P_k\) - вероятности появления каждого сообщения.

Теперь, чтобы получить формулу Хартли из формулы Шеннона, необходимо сравнить обе формулы:

\[-\log_2(P) = \log_2(P_1 \cdot P_2 \cdot P_3 \cdot ... \cdot P_k)\]

Возведем обе стороны в степень 2:

\[2^{-\log_2(P)} = 2^{\log_2(P_1 \cdot P_2 \cdot P_3 \cdot ... \cdot P_k)}\]

По свойству логарифма и экспоненты с одинаковыми основаниями, получаем:

\[P = P_1 \cdot P_2 \cdot P_3 \cdot ... \cdot P_k\]

То есть, чтобы формула Хартли получилась из формулы Шеннона, вероятность каждого сообщения должна быть равна произведению вероятностей всех \(k\) сообщений.

Таким образом, функция, которая описывает вероятностный уровень \(k\)-го сообщения (\(P_k\)), чтобы формула Хартли получилась из формулы Шеннона, будет:

\[P_k = \frac{P}{P_1 \cdot P_2 \cdot P_3 \cdot ... \cdot P_{k-1}}\]

Где \(P\) - всего вероятность сообщения, \(P_1, P_2, P_3, ..., P_{k-1}\) - вероятности других сообщений до \(k\)-го сообщения.