Читать книгу - "Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд"

уже познакомились с локальными представлениями – именно с них каждый из нас и многие другие исследователи начинали путь к построению нейросетевых моделей разума. Локальные модели проще для понимания на первом этапе, но вскоре мы убедимся, что распределенные представления дают нашим моделям огромные преимущества. Давайте не торопясь изучим их свойства.

Рисунок 7.2. При локальных представлениях один элемент кодирует одно понятие. Например, на панели А первый элемент представляет Coca-Cola, второй – Pepsi и т. д. При распределенном представлении (панель В) объекты кодируются паттерном активации нескольких элементов – здесь четырех. Эти четыре элемента выбраны из большего набора элементов, показанного на панели С. Распределенные представления формируют паттерны в наборе элементов. Паттерны похожих объектов (например, Coca-Cola и V8) имеют сходство, но отличаются от паттернов непохожих объектов (например, баскетбольного мяча)

На рисунке 7.2 (панели А и В) показан набор из четырех элементов, которые, предлагаем считать, играют роль центрального слоя-хаба в модели «"Ракеты" и "Акулы"» из главы 4. Но здесь эти элементы соответствуют не членам банд, а безалкогольным напиткам. При локальном представлении четыре элемента могут закодировать ровно четыре объекта – в данном случае напитка, где каждый из них представлен одним элементом. Активация крайнего левого элемента представляет Coca-Cola, активация следующего – Pepsi и т. д. При распределенном представлении напиток кодируется паттерном активации четырех элементов. Активация отдельных элементов больше не представляет объекты – их представляют паттерны активации множества элементов. Это позволяет закодировать больше четырех напитков. На рисунке 7.2b у Fanta в последней строке паттерн активации заметно отличается от остальных четырех напитков. Эти элементы входят в большую популяцию элементов, показанную на рисунке 7.2c.

Но способность представлять больше объектов тем же числом элементов – не главное достоинство распределенных представлений. Главное – они дают мозгу более гибкий и мощный способ кодирования наших мыслей и опыта. Обратите внимание: паттерны активации двух напитков колы – Coca-Cola и Pepsi – похожи друг на друга и отличаются от Sprite, V8 и Fanta. Это интуитивно понятно – похожие напитки должны иметь схожие представления. Если мы посмотрим шире на паттерны активации на рисунке 7.2c, то увидим, что паттерн Coca-Cola имеет некоторое сходство с паттерном V8, но оба они кардинально отличаются от паттерна баскетбольного мяча. При локальных представлениях такое невозможно: там представление Coca-Cola не более похоже на V8, чем на баскетбольный мяч. Локальные представления не способны передать идею сходства, поскольку каждое понятие кодируется одним элементом.

Вещи в мире многогранны, обладают разной степенью сходства друг с другом и меняются со временем. Распределенные представления обеспечивают ту тонкость восприятия, которую требует богатство и разнообразие окружающего мира.

Чтобы понять преимущества распределенных представлений, рассмотрим, как Гаурав может представлять свою собаку Сону. На первый взгляд кажется, что в его мозге должен быть отдельный элемент для Сону. Но – секундочку: какого именно Сону представляет этот элемент? Беспокойного тощего щенка весом 18 кг, которого Гаурав принес из приюта? Или нынешнего, более уверенного в себе 25-килограммового хозяина дома? Ладно, сторонник локальных представлений мог бы выделить два элемента. Но как быть с промежуточным Сону? Какой элемент будет его представлять? Сколько бы элементов ни предусмотрел сторонник локального подхода, всегда найдется еще одна промежуточная версия Сону, которую придется насильно сопоставлять с не вполне подходящим элементом.

Преимущество распределенных представлений в том, что они элегантно решают подобные головоломки. Они естественным образом объясняют, как понятие возникает из множества его версий.

Рассмотрим, как это работает. Впервые увидев Сону, Гаурав закодировал его как определенный паттерн активации в мозге (то есть создал распределенное представление). При следующей встрече представление Сону было похожим, но не идентичным – паттерн активации в мозге напоминал паттерн первой встречи, но в чем-то отличался. В обоих случаях Сону выглядел и ощущался примерно одинаково, поэтому был представлен схожими паттернами активации. Но наверняка были и различия – например, во второй раз он мог энергичнее вилять хвостом, что привело к небольшим изменениям в паттерне. Последующие встречи порождали новые паттерны – похожие, но не идентичные предыдущим. Со временем формируется паттерн активации, общий для всех встреч с Сону. Этот обобщенный паттерн, или суть, и есть понятие Сону в сознании Гаурава. Он отражает неизменные черты Сону. Отдельные воспоминания о нем (например, как он хотел поиграть с койотом) – это паттерны, которые пересекаются с усредненным паттерном, но содержат отличия, характерные для каждого эпизода.

В отличие от локальных сетей, распределенные сети не требуют кодировать каждую встречу с объектом отдельным элементом. Не нужно и выделять специальный элемент для устойчивого понятия об объекте. Распределенные представления одновременно фиксируют и то, что остается неизменным во всех встречах с объектом, и то, что меняется от раза к разу.

Чтобы еще нагляднее показать ограничения локальных сетей, рассмотрим, кáк в такой сети можно было бы представить чемодан. В локальной модели мозга для чемодана выделялся бы один элемент. Но тут же возникает проблема: существуют большие, средние и маленькие чемоданы. «Ничего страшного, – скажет сторонник локального подхода. – У меня будет три отдельных элемента: для больших, средних и маленьких чемоданов». Хорошо, но размер – это непрерывная, а не дискретная величина. Бывают средне-большие и средне-маленькие чемоданы. Есть даже большие-маленькие (маленькие, но крупнее других маленьких) и маленькие-маленькие чемоданы. Неужели для каждой градации размера нужен отдельный элемент? В какой-то момент придется использовать один и тот же элемент для чемоданов разного размера. Но в некоторых ситуациях это создаст серьезные проблемы – например, когда нужно определить, поместится ли чемодан на багажную полку самолета. Здесь критически важно различать большой-маленький и маленький-маленький чемодан.

При распределенном представлении понятие большого (или маленького) чемодана – это паттерн активации, не устанавливающий жесткой границы между «большим» и «не большим». Чемоданы могут быть «довольно большими», если их паттерн в какой-то степени напоминает паттерн активации для понятия большого чемодана.

Еще один довод в пользу распределенных представлений дают нам пациенты с семантической деменцией. Как мы видели ранее, это заболевание поражает уникальные свойства понятий быстрее, чем свойства, общие для многих понятий. Такая закономерность плохо согласуется с локальными сетями. Почему общий признак верблюда – наличие четырех ног – должен сохраняться лучше, чем уникальный – наличие горба? При локальных представлениях доступ ко всем характеристикам верблюда должен был бы теряться и восстанавливаться одновременно. Как мы увидим, нейронные сети с распределенными представлениями естественным образом объясняют подобные явления.

Помимо теоретических соображений о том, какие представления лучше соответствуют природе категорий, можно обратиться к экспериментам, изучающим, как реальный мозг кодирует объекты. В ранних экспериментах изучалось, как обезьяны представляют лица. С помощью электродов измеряли частоту разрядов различных нейронов в области мозга обезьяны, которая обрабатывает информацию о лицах. Оказалось, что