Читать книгу - "Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд"

для распознавания бесчисленного множества возможных вознаграждающих стимулов. К тому же сеть должна была бы учитывать контекст: вода служит наградой, только когда она чистая и когда мы испытываем жажду. Сладкий фрукт привлекателен, только когда мы голодны и когда его реально получить.

Несмотря на эти сложности, теория вознаграждения распространилась со скоростью вируса и легла в основу множества исследований в психологии и нейрофизиологии. Она также оказала значительное влияние на развитие обучения с подкреплением (глава 9) – одного из ключевых алгоритмов обучения в искусственном интеллекте.

Однако не все были согласны с этой интерпретацией. Нейрофизиолог Яак Панксепп, который посвятил многие часы изучению эмоциональных систем мозга животных, особенно крыс, предложил иное объяснение. Он заметил, что при стимуляции дофаминового пути крыса демонстрирует интенсивную, восторженную вовлеченность в окружающий мир. Она энергично обнюхивает все вокруг, часто останавливается исследовать укромные уголки экспериментальной клетки и издает высокочастотный писк (за пределами человеческого слуха), нехарактерный для обычного поведения. Ее движения становятся напряженными и лихорадочными – нос работает с бешеной скоростью, словно она деловито ищет что-то ценное. Панксеппа поразило, что именно такое поведение он наблюдал, когда крысы искали награду, а не получали ее. В момент получения награды крысы вели себя гораздо спокойнее и сдержаннее.

Внимательный анализ реакций людей на стимуляцию дофаминового пути привел Панксеппа к той же мысли. Он отметил, что люди обычно описывают чувство нетерпеливого предвкушения и обостренное ощущение себя «действующими субъектами, способными влиять на мир». На основании этого он выдвинул гипотезу: дофаминовый путь – это система поиска, а не система вознаграждения. По его мнению, это двигатель побудительной мотивации человека. Панксепп также предположил, что за чувство удовольствия при получении награды отвечают другие области мозга, не связанные с дофаминовым путем.

Гипотезу Панксеппа подтверждают многие повседневные наблюдения. Если у вас есть собака, вы наверняка замечали, как она, завидев вас, начинает радостно вилять хвостом. Примечательно, что виляние прекращается, когда вы подходите к ней, – это говорит о том, что волнение в ожидании события часто превосходит радость от его наступления. Точно так же радость планирования отпуска, ожидания посылки или стояния в очереди на премьеру может превзойти удовольствие от самого события. Многим знакомо легкое разочарование от достижения долгожданной цели. В романе «Талантливый мистер Рипли»[10] Патриция Хайсмит вложила в уста своего перевоплощающегося протагониста Тома Рипли мысль, созвучную идеям Панксеппа: «Предвкушение! Он вдруг понял, что предвкушение доставляет ему больше удовольствия, чем само переживание».

Десятилетия нейрофизиологических исследований убедительно подтвердили гипотезу Панксеппа. Например, химические вещества, блокирующие передачу дофамина, гораздо сильнее снижают желание получить что-либо (скажем, сахарный раствор), чем удовольствие от этого. Под действием препаратов, блокирующих дофамин, животные проявляют меньше готовности работать ради сахарного раствора, но если дать им раствор просто так, без усилий, они наслаждаются им как обычно – облизываются почти так же, как мы, пробуя что-то вкусное. Это согласуется с гипотезой Панксеппа: дофамин необходим для активации системы поиска, но не требуется другим мозговым сетям, отвечающим за чувство удовольствия при получении награды. И наоборот, повышение уровня дофамина усиливает побудительную мотивацию, но не удовольствие от достижения цели.

Панксепп описывал систему поиска как «побуждение без цели». Он имел в виду, что система поиска сама по себе не направлена на конкретную цель. Она лишь создает внутренний импульс и мотивацию к достижению целей – каких именно, определяют другие мозговые системы. Возможно, вам знакомо чувство, когда помнишь, что хотел что-то сделать, но забыл, что именно. Панксепп объяснил бы это сохраняющейся активацией системы поиска, притом что активация областей мозга, связанных с конкретной целью, уже угасла.

Итак, допустим, существует предложенная Панксеппом система поиска, которая усиливает внимание, сосредоточенность, настойчивость и готовность животного взаимодействовать с окружающей средой. Что же ее активирует? По мнению Панксеппа, необходимо сочетание двух факторов: неудовлетворенной потребности и возможности предпринять что-то для ее удовлетворения. Бутерброд мотивирует нас, когда мы голодны и когда можем его получить. Он не вызывает мотивации, если мы сыты или если он недоступен (например, когда мы в походе за много километров от магазинов). Когда потребность и возможность одновременно активируют систему поиска, она обеспечивает устойчивый и продолжительный всплеск активации систем мобилизации действий (рисунок 10.4). Такой подход позволяет понять, как мотивация возникает в рамках концепции нейронной сети.

Рисунок 10.4. Система поиска (побудительной мотивации) активируется потребностью и возможностью ее удовлетворить. О потребностях сигнализируют клетки, реагирующие на гомеостатический дисбаланс или присутствие определенных химических веществ. Возможности распознаются через доступные в окружающей среде варианты действий и знание о том, какие объекты способны удовлетворить активные потребности

Физиологические потребности распознаются по химическим сигналам в организме. Например, особые клетки – интероцепторы – активируются при выходе показателей за пределы нормального диапазона. Один из типов интероцепторов реагирует на снижение концентрации воды в крови ниже определенного уровня – этот сигнал помогает человеку осознать жажду. Другие интероцепторы подают сигнал при отклонении от нормы уровня сахара, жиров, половых гормонов или температуры тела. У каждой системы есть оптимальный диапазон, и, если текущие показатели выходят за его пределы – это называется гомеостатическим дисбалансом, – интероцептор активируется. Некоторые потребности, например голод, могут распознаваться химическими детекторами, которые реагируют на присутствие определенных молекул в крови (рисунок 10.4).

Схожий механизм может работать и для психологических потребностей: потребности в общении, в ощущении собственной компетентности, в игре, в желании того же, чего хотят другие, и в стремлении опередить их в получении желаемого. Такие состояния распознаются не простыми интероцепторами – исследования показывают, что их выявление может зависеть от присутствия особых химических веществ. Например, чувство одиночества связано с повышенным уровнем кортикотропин-рилизинг-факторов (КРФ), связанных со стрессом, и недостатком успокаивающих эндорфинов. Другие химические вещества сигнализируют о прочих неудовлетворенных психологических потребностях. Вместе с интероцепторами присутствие таких веществ может запускать систему поиска (и другие мотивационные системы).

Одного лишь наличия физиологической или психологической потребности недостаточно для активации системы поиска. Необходима также возможность получить то, что эту потребность удовлетворит. Это подразумевает знание о том, что потребность можно удовлетворить конкретным объектом и что существует способ его получить. Такое знание поступает в систему поиска благодаря обучению на основе опыта, происходящему в неокортексе – эволюционно продвинутой части коры головного мозга, о которой мы говорили ранее.

Большинству из нас знакомо острое желание посетить туалет. Но если такой возможности нет, мы способны терпеть. Поразительно, что, как только туалет становится доступен, позывы усиливаются – причем, похоже, пропорционально близости к заветной цели. Такая реакция наглядно иллюстрирует идею о том, что потребности в сочетании с возможностями активируют систему поиска и систему мобилизации действий.

Можно ли, опираясь на предложенную концепцию, создать машину, способную к мотивированному поведению?