Сколько информации содержится в сообщении о том, что кролик первым схватил морковку? А что насчет свинки?

Magicheskiy_Kosmonavt

67

Чтобы определить, сколько информации содержится в сообщении о том, что кролик первым схватил морковку, нужно применить понятие условной энтропии. Условная энтропия отражает количество информации, которое содержится в событии, при условии, что некоторая другая информация уже известна.

Давайте предположим, что сообщение о том, что кролик первым схватил морковку, является событием A, а сообщение о том, что свинка схватила морковку, является событием B.

Если в сообщении было изначально неизвестно, что одно из животных схватило морковку, то вероятность событий A и B равна 0,5 каждое, так как вероятность того, что одно из животных схватило морковку, равновероятна.

Теперь, если было получено сообщение о том, что кролик первым схватил морковку, то это предоставляет нам дополнительную информацию, которую мы можем использовать. Если смотреть на это с вероятностной точки зрения, то теперь вероятность события A равна 1, так как мы знаем, что кролик схватил морковку, и вероятность события B равна 0, так как остается только одна возможность, что свинка схватила морковку.

Используя формулу условной энтропии:

\[H(A|B) = -\sum_{a,b}P(a,b)log_2P(a|b)\]

где H(A|B) - условная энтропия события A при условии, что B произошло; P(a,b) - совместная вероятность событий A и B; P(a|b) - условная вероятность события A при условии, что B произошло.

В данном случае, события A и B являются независимыми, поэтому наше выражение равно:

\[H(A|B) = -P(a)log_2P(a) = -1log_21 = 0\]

Таким образом, в сообщении о том, что кролик первым схватил морковку, содержится нулевая информация, так как мы уже знаем, что кролик это сделал.

На самом деле, мы можем сделать аналогичное рассуждение для сообщения о том, что свинка схватила морковку. Если мы уже знаем, что кролик схватил морковку, то сообщение о том, что свинка это сделала, не содержит никакой новой информации. Поэтому и здесь получаем, что информация равна нулю.

Таким образом, в обоих случаях, информация, содержащаяся в сообщении, равна нулю, так как она не предоставляет нам никакой новой информации.