Какова степень неопределенности (энтропия) события после получения одного из пяти сообщений? Вероятность получения

Эдуард

40

Для решения этой задачи мы будем использовать формулу для вычисления энтропии. Энтропия является мерой неопределенности или информации в системе. Формула для вычисления энтропии следующая:

\[H = -\sum_{i=1}^{n} p_i \log_{2} p_i\]

Где \(H\) - энтропия, \(p_i\) - вероятность события \(i\), а сумма берется по всем возможным событиям (от \(i=1\) до \(n\)).

Давайте рассмотрим первую задачу. У нас есть пять возможных сообщений, с вероятностями получения первого сообщения 0,3, второго сообщения 0,2, третьего сообщения 0,14, и вероятности получения четвертого и пятого сообщений равны между собой. Для вычисления энтропии мы должны использовать указанную формулу и заменить \(p_i\) соответствующими вероятностями.

Давайте посчитаем:

\[H = - (0,3 \cdot \log_{2} 0,3) - (0,2 \cdot \log_{2} 0,2) - (0,14 \cdot \log_{2} 0,14) - (p \cdot \log_{2} p) - (p \cdot \log_{2} p)\]

Здесь \(p\) - вероятность получения четвертого или пятого сообщения. Выражение \((p \cdot \log_{2} p) + (p \cdot \log_{2} p)\) является суммой двух одинаковых членов, так как вероятности равны.

Мы можем заметить, что \(p\), вероятность получения четвертого или пятого сообщения, равна \(1 - (0,3 + 0,2 + 0,14)\), так как сумма вероятностей всех остальных сообщений равна вероятности получения четвертого или пятого сообщения. Рассчитаем:

\(p = 1 - (0,3 + 0,2 + 0,14) = 1 - 0,64 = 0,36\)

Теперь, используя полученное значение \(p\), мы можем вычислить энтропию:

\[H = - (0,3 \cdot \log_{2} 0,3) - (0,2 \cdot \log_{2} 0,2) - (0,14 \cdot \log_{2} 0,14) - (0,36 \cdot \log_{2} 0,36) - (0,36 \cdot \log_{2} 0,36)\]

Рассчитаем:

\[H = - (0,3 \cdot (-1,737)) - (0,2 \cdot (-2,322)) - (0,14 \cdot (-2,807)) - (0,36 \cdot (-1,499)) - (0,36 \cdot (-1,499))\]
\[H \approx 0,570 + 0,464 + 0,393 + 0,749 + 0,749 = 2,925\]

Таким образом, степень неопределенности (энтропия) события после получения одного из пяти сообщений составляет примерно 2,925.

Теперь рассмотрим вторую задачу. У нас есть шесть возможных событий с вероятностями \(0,15\), \(0,25\), \(0,2\), \(0,12\), \(0,12\), и \(0,1\). Мы можем использовать ту же формулу для вычисления энтропии и заменить \(p_i\) соответствующими вероятностями.

Вычислим:

\[H = - (0,15 \cdot \log_{2} 0,15) - (0,25 \cdot \log_{2} 0,25) - (0,2 \cdot \log_{2} 0,2) - (0,12 \cdot \log_{2} 0,12) - (0,12 \cdot \log_{2} 0,12) - (0,1 \cdot \log_{2} 0,1)\]

Рассчитаем:

\[H \approx 0,413 + 0,468 + 0,464 + 0,309 + 0,309 + 0,332 = 2,295\]

Таким образом, степень неопределенности (энтропия) опыта после реализации одного из шести событий составляет примерно 2,295.

Надеюсь, это решение было понятным для вас. Если у вас возникнут еще вопросы, не стесняйтесь задать их.