Читать книгу - "Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд"

Рисунок 4.2. Информация, которую Джей заложил в связи между элементами нейросетевой модели для изучения процессов извлечения, вывода и обобщения в памяти

Кроме того, нейронная сеть должна уметь восполнять пробелы – угадывать свойства, которым ее не обучали. Например, если мы не укажем профессию Ланса, сеть должна предположить, что он, скорее всего, взломщик: ведь другие персонажи с похожими характеристиками (например, Джон) занимаются именно взломом. Это похоже на наше предположение о том, что собака с высоким отрывистым лаем в квартире – скорее всего, небольшого размера.

Нейронная сеть также должна уметь обобщать конкретную информацию и отвечать на вопросы о типичных представителях «Ракет» или «Акул». Например, сеть должна «знать», что большинству «Ракет» 20 с чем-то лет и они чаще всего холосты, – даже если этого ей никто не сообщал напрямую. Это напоминает способность людей обобщать: мы знаем, что борзые обычно поджарые и быстрые, хотя никогда специально не запоминали этот факт.

Наконец, нейронная сеть должна воспроизводить и недостатки памяти, описанные Элизабет Лофтус и другими исследователями. Все эти требования далеко не просто выполнить. С чего же начать построение такой сети?

Построение нейронной сети «"Ракеты" и "Акулы"»

Логично начать с простого: выделим по одному элементу сети для каждого из 27 персонажей базы данных «"Ракеты" и "Акулы"». Напомним: элемент – это просто вычислительная единица. Раз наша нейронная сеть будет хранить информацию о людях, разумно начать с принципа «один человек – один элемент».

Рассмотрим элемент для одного человека. Арт стоит первым в списке, так что начнем с него. Создадим элемент, который назовем Арт (персона). Наша цель – построить сеть, где мысль о любой характеристике человека автоматически вызывает в памяти все остальные его характеристики. По нашим данным, Арт обладает следующими характеристиками: его зовут Арт, он член банды «Ракеты», ему за 40, у него неполное среднее образование, он холост и промышляет наркоторговлей. Важно понимать: человек по имени Арт – это не то же самое, что имя «Арт». Ваше имя, например, это не вы сами, ведь другой человек может носить такое же имя. Имя – просто слово, которым вас называют. Поэтому имя Арт следует рассматривать как одну из характеристик человека, которого мы называем Артом.

Теперь сделаем следующий шаг: создадим по одному элементу для каждой характеристики Арта. Для наглядности поместим элемент персоны в центр, а элементы характеристик – вокруг него. Получится схема как на рисунке 4.3.

Рисунок 4.3. Арт без связей

Размер и форма элементов (круги или овалы) выбраны просто для удобства размещения текста.

Что дальше? Мы хотим, чтобы сеть по любой характеристике Арта могла восстановить все остальные. Например, услышав имя Арт, мы должны вспомнить: «Арт из "Ракет"» или «Арту за 40, он холост». И наоборот: если кто-то ищет холостого наркоторговца за 40, мы должны сказать: «Знаю такого. Его зовут Арт». Как этого добиться?

В нашей нейронной сети «подумать о характеристике» означает подать входной сигнал на соответствующий элемент. Например, чтобы подумать о человеке по имени Арт, мы подаем сигнал на элемент «Арт (имя)». Этот сигнал активирует элемент имени, и нам нужно, чтобы активация распространилась на элементы всех остальных характеристик Арта. Ключевой момент: сеть должна каким-то образом «знать» конкретные характеристики Арта, и должен существовать механизм их взаимной активации.

Напомним: знания сети заключены в ее связях. И вот мы делаем следующий – возможно, самый важный – шаг в построении нейронной сети. Мы соединим каждый элемент характеристики с элементом «Арт (персона)» двунаправленными связями. Двунаправленность означает, что активация может передаваться в обе стороны: от элементов характеристик к элементу персоны и обратно. На схеме такие связи изображаются стрелками с наконечниками на обоих концах. В реальности эти связи формируются через обучение на основе наблюдений.

После установления связей между характеристиками и элементом персоны наша сеть выглядит так:

Рисунок 4.4. Ары со связями

Допустим, в начальном состоянии все элементы имеют уровень активации чуть ниже нуля, и при отрицательной активации они не передают сигналы другим элементам. Теперь представим, что кто-то видит имя «Арт». Это создает входной сигнал для элемента «Арт (персона)», и его активация поднимается выше нуля. Между элементами «Арт (имя)» и «Арт (имя)» есть связь, которая активирует элемент персоны, поднимая его активацию выше нуля. Обратите внимание: между элементом персоны и каждым элементом характеристики существуют двунаправленные связи. Благодаря им активируются элементы «Неполное среднее», «Ракеты», «Холост», «Наркоторговец» и «40+». Если бы связи были односторонними – только от характеристик к персоне, – активация элемента персоны не могла бы распространиться обратно на характеристики. Двусторонние связи превращают элемент персоны в своеобразный узел, позволяющий активации одной характеристики запустить активацию всех остальных. Этот узловой элемент не получает сигналов извне, как другие элементы. Он принимает сигналы от одного или нескольких элементов характеристик и передает их остальным.

Двунаправленные связи обеспечивают исключительную гибкость в работе с информацией об Арте. Как мы убедились, мысль об имени Арт – или, говоря языком нейронных сетей, входной сигнал на элемент имени – вызывает в памяти все остальные характеристики Арта. В терминах сети это означает активацию всех элементов его характеристик. Мы достигли одной из поставленных целей. Правда, пока только для Арта – а впереди еще 26 гангстеров!

Но принципы, сработавшие для Арта, применимы и к остальным персонажам базы данных. Нам просто нужно создать множество узловых элементов, каждый со связями с соответствующими характеристиками. На рисунке 4.5 показана сеть для Арта, Грега, Неда и Рика. Для наглядности мы сгруппировали элементы одного типа (имена, возраст и т. д.) в отдельные кластеры.

Рисунок 4.5. Сеть для четырех членов банд «Ракеты» и «Акулы»: НС, С и В обозначают уровни образования; Хол., Жен. и Разв. – семейное положение, как на рисунке 4.2

Это лишь фрагмент полной сети – если изобразить все связи между элементами, схема станет нечитаемой. Но вы можете представить себе полную картину: 27 элементов персон, 27 элементов имен и связи между каждым гангстером и всеми его характеристиками.

Осталось добавить в сеть на рисунке 4.5 последнюю важную деталь. Чтобы понять ее смысл, проведем мысленный эксперимент. Допустим, мы подаем входной сигнал на элемент «Ракеты». В терминах нейронной сети это означает, что мы думаем о соответствующей характеристике. Сначала активация элемента «Ракеты» запустит активацию элементов «Арт (персона)» и «Грег (имя)». Пока все идет по плану – Арт и Грег действительно члены банды «Ракеты». Эти элементы персон активируют все связанные с ними характеристики. Например,