Читать книгу - "Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд"

Как показано на рисунке, поскольку растение есть живое существо и животное есть живое существо, растения и животные наследуют свойства живых существ и, следовательно, могут расти (здесь под «есть» мы имеем в виду «является»). Такая система обеспечивает экономию памяти: свойства достаточно хранить один раз на высшем уровне, а для нижних уровней их можно вывести логически. Она также позволяет делать обобщения. Свойство умеет летать для птиц может наследоваться любым новым представителем категории (помимо канарейки и малиновки) – достаточно добавить новый элемент для новой птицы и соединить его связью есть с категорией птица.

Рисунок 7.4. Ранние модели того, как разум приписывает свойства (например, «может расти») понятиям (например, «живое существо»). Модель иерархична и хранит свойства только на высшем уровне, а не на подуровнях

Несмотря на эти достоинства, данная модель, которая приписывает свойства понятиям, имеет принципиальное ограничение: она не объясняет, как определить, на каком уровне иерархии следует хранить то или иное свойство – на нижнем или на верхнем. Интеллект, который знает, что свойство умеет летать нужно приписать уровню «птица», а не уровням канарейка или малиновка (рисунок 7.4), находится вне сети. В предложенной модели нет механизма, который позволил бы определить, какое свойство к какому уровню следует прикрепить.

Второе ограничение этой модели состоит в том, что она не оставляет места для исключений. Да, большинство птиц умеют летать, но страус не умеет, а мы все равно относим страуса к птицам. Более того, мы знаем, что малиновка, которая не может летать из-за сломанного крыла, остается малиновкой. Однако модель не допускает возможности, что мы способны понимать концепции, даже когда не можем выявить свойства, которые всегда справедливы для этих концепций, – свойства, играющие роль определяющих признаков.

В целом наше использование понятий, похоже, не подчиняется строгим определениям. Например, какие свойства всегда справедливы для стула? Предмет мебели на четырех ножках? Нет, у некоторых стульев есть колесики, а не ножки. То, на чем сидят? Тоже нет. Музейный стул может быть огорожен – на него можно смотреть, но нельзя садиться. Философ Людвиг Витгенштейн утверждал, что мы способны понимать концепции, не зная четких правил, которые их определяют. Размышляя о понятии игры, он осознал, что игры могут быть одиночными или групповыми, соревновательными или нет, с правилами или без них. Он писал:

Рассмотрите действия, которые мы называем «играми». Я имею в виду настольные игры, карточные игры, игры с мячом, Олимпийские игры и т. д. Что у них общего? Не говорите: «Должно быть что-то общее, иначе их не называли бы "играми"» – но приглядитесь и проверьте, есть ли что-нибудь общее для всех. Ведь если вы посмотрите на них, то увидите не что-то единое для всех, а сходства, родственные связи, причем целые их серии… Я не могу найти лучшего выражения для характеристики этих сходств, чем «семейное сходство», ведь различные черты сходства между членами семьи: телосложение, черты лица, цвет глаз, походка, темперамент и т. д. и т. п. накладываются и перекрещиваются точно так же. И я скажу: «игры» образуют семью[8].

Одна из ранних нейросетевых моделей, которая попыталась преодолеть некоторые проблемы иерархической модели Росса Квиллиана, основывалась на идее Джеффа Хинтона о том, что наше понимание вещей зависит от распределенных представлений. Его идеи вдохновили Дэвида Румельхарта на создание модели, которую мы обсудим далее, – будем называть ее моделью Румельхарта. Она позволяет проиллюстрировать несколько аспектов распределенных представлений, которые работают как в моделях семантических когнитивных процессов у человека, так и в современных системах искусственного интеллекта. Модель Румельхарта была впоследствии развита Джеем Макклелландом и Тимом Роджерсом. Джефф, Дэвид и Джей работали вместе в Сан-Диего в 1980 г., когда эти идеи начали обретать форму.

Модель Румельхарта использовала обучение с коррекцией ошибок для создания распределенных представлений. Сеть, изображенная на рисунке 7.5, представляет собой упрощенную версию модели Румельхарта.

Рисунок 7.5. Упрощенная версия модели Румельхарта для понятий и свойств. Сеть, обученная методом коррекции ошибок, связывает входные данные (например, «лосось») с его свойствами. После обучения активация входного элемента создает паттерн активации в скрытых элементах – среднем слое, выделенном пунктирным прямоугольником. Этот паттерн активации и есть распределенное представление объекта

Структура сети довольно проста. Чтобы не закладывать изначальное сходство, входные элементы организованы по локальному принципу – по одному для каждого из восьми объектов. Это означает, что на входе все объекты совершенно не похожи друг на друга, и мы можем проследить, как обучение с коррекцией ошибок позволяет сформировать содержательные представления этих объектов. Выходные элементы, тоже локальные, представляют свойства, которыми могут обладать объекты. Скрытый слой также состоит из восьми элементов. То, что в скрытом слое столько же элементов, сколько во входном, – чистое совпадение; их могло быть больше, и это не повлияло бы на описываемые далее результаты. Все элементы входного слоя соединены со всеми элементами скрытого слоя. Все элементы скрытого слоя соединены со всеми элементами выходного слоя. Изначально силы связей малы и случайны.

Как мы уже видели, в фазе обучения сигнал подается на входной элемент – скажем, «лосось», – и активация распространяется на скрытые элементы, а затем на выходные. Поскольку силы связей изначально малы и случайны, выход сети тоже будет слабым и случайным; выходы для разных входов окажутся похожими, а входной сигнал активирует как правильные, так и неправильные свойства. Например, вход лосось в равной степени активирует и умеет летать (что неверно), и умеет плавать (что верно). Но здесь-то и вступает в дело процесс уменьшения ошибки. По мере получения каждого входного сигнала сеть постепенно корректирует связи так, чтобы выход становился ближе к правильному ответу для данного входа. Например, активация входного элемента лосось вызовет высокую активацию в элементах является рыбой, умеет плавать и других выходных элементах, связанных с лососем. За множество циклов обучения сеть научается активировать правильные свойства, соответствующие каждому входному объекту, и не активировать неправильные.

Что происходит после обучения, когда мы подаем сигнал на отдельно взятый объект? Силы связей между этим объектом (пусть это снова будет лосось) создают паттерн активации в скрытом слое. Эту активацию можно вычислить, просто умножив активацию в элементе объекта на выученные силы связей от этого элемента к каждому скрытому элементу. В результате получится последовательность из восьми чисел (по числу элементов в скрытом слое). Эта последовательность чисел представляет собой паттерн активации, распределенный по восьми элементам, – поэтому мы можем назвать его распределенным представлением данного объекта. Подавая сигнал на каждый входной элемент, мы можем получить соответствующие распределенные представления. Одно такое распределенное представление может выглядеть, например, так: 0.81,