Читать книгу - "Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски"

байесовские методы, как только обучение заканчивается. Это в равной степени относится как к новичкам, так и к высококлассным профессионалам в своих областях. Судя по всему, байесовское мышление — одна из тех вещей (вроде квантовой механики или задачи выбора Уэйсона), которые человеку трудно постичь с помощью встроенных ментальных способностей.

По крайней мере, так утверждают. Здесь вы найдете попытку дать интуитивное объяснение байесовского мышления — предельно мягкое введение, задействующее все доступные человеку способы восприятия чисел: от естественных частот до пространственной визуализации. Моя цель — показать не абстрактные правила манипулирования числами, а то, что эти числа значат и почему правила именно таковы (и никакими другими быть не могут). Дочитав этот текст до конца, вы будете видеть байесовские задачи во сне.

И давайте начнем.

Вот текстовая задача о ситуации, с которой часто сталкиваются врачи:

У 1% женщин в возрасте сорока лет, проходящих плановое обследование, есть рак груди. У 80% женщин с раком груди маммография дает положительный результат. У 9,6% женщин без рака груди маммография также дает положительный результат. У женщины из этой возрастной группы при плановом обследовании маммография оказалась положительной. Какова вероятность того, что у нее действительно рак груди?

Как вам кажется, каков ответ? Если вы раньше не сталкивались с подобными задачами, пожалуйста, уделите минутку и подумайте над собственным ответом, прежде чем читать дальше.

А теперь представьте, что большинство врачей дают на эту задачу один и тот же неправильный ответ — обычно правильно отвечают лишь около 15% врачей. («Серьезно? 15%? Это реальная цифра или городская легенда из интернет-опросов?» Это реальная цифра. См. Касселлс, Шенбергер и Грабойс, 1978;1 Эдди, 1982;2 Гигерензер и Хоффраге, 1995;3 а также множество других исследований. Этот удивительный результат легко воспроизвести, поэтому его неоднократно перепроверяли.)

В вышеприведенной задаче большинство врачей оценивают вероятность в диапазоне от 70% до 80%, что в корне неверно.

Вот альтернативный вариант задачи, с которым врачи справляются несколько лучше:

У 10 из 1000 женщин в возрасте сорока лет, проходящих плановое обследование, есть рак груди. У 800 из 1000 женщин с раком груди маммография дает положительный результат. У 96 из 1000 женщин без рака груди маммография также дает положительный результат. Если 1000 женщин из этой возрастной группы пройдут плановое обследование, то какую долю от женщин с положительной маммографией составят те, у кого действительно есть рак груди?

И наконец, вот задача, с которой врачи справляются лучше всего — 46% (почти половина) дают правильный ответ:

У 100 из 10 000 женщин в возрасте сорока лет, проходящих плановое обследование, есть рак груди. У 80 из каждых 100 женщин с раком груди маммография дает положительный результат. У 950 из 9900 женщин без рака груди маммография также дает положительный результат. Если 10 000 женщин из этой возрастной группы пройдут плановое обследование, то какую долю от женщин с положительной маммографией составят те, у кого действительно есть рак груди?

Правильный ответ — 7,8%, и получается он следующим образом: из 10 000 женщин у 100 есть рак груди; у 80 из этих 100 маммография положительная. Из тех же 10 000 женщин у 9900 рака груди нет, и у 950 из этих 9900 маммография также окажется положительной. Таким образом, общее число женщин с положительной маммографией составляет 950 + 80, то есть 1030. Из этих 1030 женщин с положительной маммографией рак будет у 80. В виде доли это записывается как 80/1030, что равняется 0,07767, или 7,8%.

Иными словами, до проведения маммографии 10 000 женщин можно разделить на две группы:

Группа 1: 100 женщин с раком груди.

Группа 2: 9900 женщин без рака груди.

Сумма этих двух групп дает в итоге 10 000 пациенток, что подтверждает: в расчетах никто не потерялся. После прохождения маммографии женщин можно разделить на четыре группы:

Группа А: 80 женщин с раком груди и положительной маммографией.

Группа B: 20 женщин с раком груди и отрицательной маммографией.

Группа C: 950 женщин без рака груди и с положительной маммографией.

Группа D: 8950 женщин без рака груди и с отрицательной маммографией.

Сумма групп A и B, то есть групп с раком груди, соответствует группе 1; а сумма групп C и D, групп без рака груди, соответствует группе 2. Если провести маммографию 10 000 пациенток, то из 1030 женщин с положительным результатом рак обнаружится у восьмидесяти. Это правильный ответ — именно его должен дать врач пациентке с положительной маммограммой, если она спросит о вероятности того, что у неё рак груди. Если такой вопрос зададут тринадцать пациенток, то рак обнаружится примерно у одной из них.

Самая распространенная ошибка — проигнорировать исходную долю женщин с раком груди и долю женщин без рака груди, получивших ложноположительный результат, и сосредоточиться исключительно на доле женщин с раком груди, получивших положительный результат. Например, подавляющее большинство врачей в этих исследованиях, судя по всему, считали: если примерно у 80% женщин с раком груди маммография дает положительный результат, то и вероятность того, что у женщины с положительной маммограммой действительно рак, тоже должна составлять около 80%.

Чтобы найти окончательный ответ, всегда требуются все три элемента информации: процент женщин с раком груди, процент женщин без рака груди, получающих ложноположительные результаты, и процент женщин с раком груди, получающих (правильные) положительные результаты.

Исходная доля пациенток с раком груди называется априорной вероятностью. Шанс того, что пациентка с раком груди получит положительный результат маммографии, и шанс того, что пациентка без рака груди получит положительный результат, известны как две условные вероятности. В совокупности эта исходная информация известна как априорные вероятности. Окончательный ответ — оценочная вероятность того, что у пациентки рак груди, при условии, что мы знаем о её положительном результате маммографии, — называется пересмотренной вероятностью или апостериорной вероятностью. Из того, что мы сейчас увидели, следует, что апостериорная вероятность частично зависит от априорной вероятности.

Чтобы убедиться, что окончательный ответ всегда зависит от исходной доли женщин с раком груди, представьте альтернативную вселенную, где рак груди есть только у одной женщины из миллиона. Даже если в этом мире маммография выявляет рак груди в 8 из 10 случаев, а ложноположительный результат у здоровой женщины выдает всего в 1 случае из 10, на каждый реальный случай обнаруженного рака всё равно будет приходиться сто тысяч ложноположительных результатов. Исходная вероятность того, что у женщины рак, настолько ничтожна, что положительный результат маммографии хоть и увеличивает расчетную вероятность, но