Читать книгу - "Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски"

4, то есть 3 вопроса позволяют различить 8 возможностей, а 2 вопроса — 4 возможности; но помните, что если бы возможности не были равновероятными, мы могли бы использовать более хитрый код, чтобы выяснить состояние Y, скажем, в среднем за 1,75 вопроса. В данном случае, однако, вероятностная масса системы X равномерно распределена по всем ее возможным состояниям, и то же самое касается Y, так что мы не можем использовать никакие хитрые коды.

Какова энтропия объединенной системы (X,Y)?

Возможно, вам захочется ответить: «Требуется 3 вопроса, чтобы узнать X, и затем 2 вопроса, чтобы узнать Y, так что всего требуется 5 вопросов, чтобы узнать состояние X и Y».

Но что, если эти две переменные запутаны, так что знание состояния Y сообщает нам что-то о состоянии X?

В частности, предположим, что X и Y либо оба нечетные, либо оба четные.

Теперь, если мы получаем 3-битное сообщение (задаем 3 вопроса) и узнаем, что X находится в состоянии X5, мы понимаем, что Y находится в состоянии Y1 или Y3, но не в состоянии Y2 или Y4. Таким образом, один дополнительный вопрос «Находится ли Y в состоянии Y3?», на который получен ответ «Нет», сообщает нам полное состояние (X,Y): X = X5, Y = Y1. И мы выяснили это в общей сложности за 4 вопроса.

И наоборот, если с помощью двух вопросов мы узнаем, что Y находится в состоянии Y4, нам потребуется всего два дополнительных вопроса, чтобы выяснить, находится ли X в состоянии X2, X4, X6 или X8. И снова — четыре вопроса, чтобы узнать состояние совместной системы.

Взаимная информация двух переменных определяется как разность между суммой энтропий отдельных систем и энтропией их совместной системы: I(X;Y) = H(X) + H(Y) - H(X,Y).

В данном случае между двумя системами есть один бит взаимной информации: знание X сообщает нам один бит информации о Y (сокращает пространство возможностей с 4 до 2, то есть уменьшает объем в два раза), а знание Y сообщает один бит информации об X (сокращает пространство возможностей с 8 до 4).

А что происходит, когда вероятностная масса распределена неравномерно? В предыдущем эссе, например, мы обсуждали случай, когда четыре состояния Y имели вероятности 1/2, 1/4, 1/8, 1/8. Давайте примем это за наше распределение вероятностей для Y, рассматриваемого независимо — если бы мы наблюдали Y, не видя ничего другого, именно это мы и ожидали бы увидеть. И предположим, что переменная Z имеет два состояния, Z1 и Z2, с вероятностями 3/8 и 5/8 соответственно.

Тогда взаимная информация между Y и Z равна нулю в том и только в том случае, если совместное распределение Y и Z выглядит следующим образом:

Z1Y1 : 3/16

Z1Y2 : 3/32

Z1Y3 : 3/64

Z1Y4 : 3/64

Z2Y1 : 5/16

Z2Y2 : 5/32

Z2Y3 : 5/64

Z2Y4 : 5/64.

Это распределение подчиняется закону

P(Y,Z) = P(Y)P(Z).

Например, P(Z1Y2) = P(Z1)P(Y2) = 3∕8 × 1∕4 = 3∕32.

И обратите внимание, что мы можем восстановить маргинальные (независимые) вероятности Y и Z, просто глядя на совместное распределение:

P(Y1) = общая вероятность всех способов, которыми может реализоваться Y1

= P (Z1Y1) + P(Z2Y1)

= 3/16 + 5/16

= 1/2.

Таким образом, просто изучив совместное распределение, мы можем определить, являются ли маргинальные переменные Y и Z независимыми; то есть раскладывается ли совместное распределение на произведение маргинальных распределений; выполняется ли для всех Y и Z равенство P(Y,Z) = P(Y)P(Z).

Последнее существенно, поскольку, согласно правилу Байеса,

P(ZjYi) = P(Yi)P(Zj)

P(ZjYi)/P(Zj) = P(Yi)

P(Yi|Zj) = P(Yi).

Простыми словами: «После того как вы узнали Zj, ваши убеждения относительно Yi остаются точно такими же, как и прежде».

Таким образом, когда распределение факторизуется — когда P(Y,Z) = P(Y)P(Z) — это эквивалентно утверждению: «Получение информации о Y никогда ничего не сообщает нам о Z, и наоборот».

Из чего вы можете — и совершенно верно — предположить, что между Y и Z нет взаимной информации. Там, где нет взаимной информации, нет и байесовского свидетельства, и наоборот.

Предположим, что в приведенном выше распределении (Y,Z) мы рассматриваем каждую возможную комбинацию Y и Z как отдельное событие — так что распределение (Y,Z) содержит в общей сложности 8 исходов с указанными вероятностями — а затем вычисляем энтропию распределения (Y,Z) точно так же, как мы вычисляли бы энтропию любого распределения:

P(Z1Y1)log2(P(Z1Y1)) + P(Z1Y2)log2(P(Z1Y2)) + P(Z1Y3)log2(P(Z1Y3)) + . . . + P (Z2Y4)log2(P(Z2Y4))

=(3/16)log2(3/16) + (3/32)log2(3/32) + (3/64)log2(3/64) + . . . + (5/64)log2(5/64).

В итоге вы получите ту же сумму, что и при отдельном расчете энтропии Y плюс энтропии Z. Взаимная информация между двумя переменными отсутствует, поэтому наша неопределенность относительно совместной системы ничуть не меньше, чем наша неопределенность относительно этих двух систем, рассматриваемых по отдельности. (Я не привожу здесь расчеты, но вы можете проделать их сами; также я не привожу доказательство того, что это верно в общем случае, но при желании вы можете поискать в Google по запросам «энтропия Шеннона» и «взаимная информация».)

Что если совместное распределение не факторизуется? Например:

Z1Y1 : 12/64

Z1Y2 : 8/64

Z1Y3 : 1/64

Z1Y4 : 3/64

Z2Y1 : 20/64

Z2Y2 : 8/64

Z2Y3 : 7/64

Z2Y4 : 5/64.

Если вы сложите совместные вероятности, чтобы получить маргинальные вероятности, то обнаружите, что P(Y1) = 1/2, P(Z1) = 3/8 и так далее — маргинальные вероятности остались прежними.

Но совместные вероятности не всегда равны произведению маргинальных вероятностей. Например, вероятность P(Z1Y2) равна 8/64, в то время как P(Z1)P(Y2) была бы равна 3/8 × 1/4 = 6/64. То есть вероятность встретить Z1Y2 вместе выше, чем можно было бы ожидать, исходя из вероятностей встретить Z1 или Y2 по отдельности.

Что в