Читать книгу - "Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд"

Зрительная кора использует иерархически организованные детекторы признаков. Как мы уже знаем, детектор признаков Хьюбела и Визеля представлял собой иерархическую сеть, где способность нейрона верхнего уровня распознавать линии возникала благодаря одновременной активации нейронов нижнего уровня. Но эмерджентность на этом не заканчивается.

Одновременно активные детекторы линий помогают распознавать более сложные формы. Скажем, квадрат можно обнаружить благодаря одновременной активации четырех детекторов линий, подобных элементу E на рисунке 2.6, – по одному на каждую сторону квадрата. Детектор квадратов можно представить расположенным на более глубоком уровне, чем детекторы линий. На еще более глубоком уровне нейронной сети возможно распознавание кубов, параллелепипедов и других сложных форм.

На самом деле свойства нейронных откликов невозможно исчерпывающе описать простыми терминами вроде детекторы линий или детекторы квадратов. То, что Хьюбел и Визель называли линиями, скорее напоминает участки с чередующимися полосами, а на высших уровнях формы, распознаваемые зрительной корой, обычно не поддаются простому описанию. И все же то, что мы видим, – результат конструктивного процесса, в котором участвуют нейроны со все более сложными профилями отклика на разных уровнях. Когда на сетчатку попадает изображение дерева, нейроны нижних слоев зрительной коры распознают простые признаки – линии и цвета. Нейроны последующих слоев объединяют информацию о признаках, выявленных на нижних уровнях, и распознают признаки сложных форм, глубины и движения. Нейроны высших слоев способны интегрировать информацию от предыдущих слоев – их детекторы признаков реагируют на высокоуровневые аспекты формы дерева целиком. Примечательно, что специального нейрона – «детектора деревьев» – или выделенной группы нейронов, отвечающих за восприятие дерева как целого, по-видимому, не существует. Наше зрительное представление дерева складывается из паттерна активности всей совокупности нейронов в зрительных областях мозга.

Классификация изображений в ИИ

На конкурсе ImageNet 2012 г. ставки были высоки. Команды специалистов по информатике состязались между собой: чей алгоритм сумеет правильно отнести каждое из 50 000 тестовых изображений к одной из 1000 заданных категорий? Среди них были самые разные рукотворные и природные объекты, включая множество пород собак. На тестовом изображении могла быть, скажем, компьютерная клавиатура, и задача каждой команды – создать алгоритм, способный ее распознать. Для нас, людей, это не составляет труда, поэтому задача может показаться простой. Но это обманчивое впечатление. Клавиатуры различаются по размеру, типу, форме и цвету. Их фотографируют под разными углами и при разном освещении. На снимках то видны пальцы на клавишах, то нет; клавиатура то подключена к компьютеру, то лежит отдельно. То, что подобные вариации не сбивают нас с толку, – заслуга наших способностей восприятия. С кошками и собаками все еще сложнее: они двигаются и не застывают в одной позе.

Алгоритмы ИИ прошлых лет с трудом справлялись с такой классификацией. Но у Алекса Крижевского были основания для сдержанного оптимизма. Вместе с коллегами он применил к задаче распознавания изображений несколько оригинальных новшеств. Удастся ли им обойти сильных соперников? Мир ИИ затаил дыхание.

Результат оказался разгромным. Алгоритм, получивший название AlexNet, показал точность топ–5 в 84,7% – правильный ответ входил в пятерку его предположений почти в 85% случаев. Ближайший конкурент достиг лишь 73,9% – огромный разрыв для соревнования, где даже однопроцентное улучшение имело большое значение. Компьютерное сообщество не могло не заметить – началась эра современного искусственного интеллекта.

Крижевский и его соавторы опирались на два ключевых принципа работы живого мозга. Во-первых, они использовали детекторы признаков, концептуально схожие с теми, которые были описаны Хьюбелом и Визелем. Во-вторых, эти детекторы взаимодействовали в нейронной сети с иерархической архитектурой, напоминающей устройство человеческой зрительной коры. Нижние слои сети распознавали простые признаки, что позволяло верхним слоям выявлять более сложные.

Но возникла проблема: никто не знал, какие именно признаки должен выявлять каждый слой сети. Например, должен ли второй слой детекторов распознавать прямые линии или лучше настроить его на круги? А может, нужен совсем другой признак? На более высоких уровнях проблема усугублялась. Что именно должны обнаруживать эти слои, чтобы правильно относить объекты к категориям?

Можно было бы попробовать заранее определить детекторы признаков для каждого слоя. Скажем, первый слой распознавал бы линии, второй – углы, третий – элементы сложных форм и т. д. Но такой подход оказался негибким и малоэффективным. Любой набор детекторов, который могли придумать люди, был недостаточно универсален для работы с огромным разнообразием тестовых изображений.

AlexNet решил эту проблему, обучаясь находить наилучшие детекторы признаков. На первый взгляд это кажется невероятным – как нейронная сеть может чему-то учиться, а тем более определять оптимальные детекторы для каждого своего слоя? Идея основана на использовании большого набора обучающих изображений с метками (например, изображение кошки помечено как Кошка, изображение клавиатуры – как Клавиатура) и нейронной сети (подобной показанной на рисунке 1.1) с элементами, организованными во входной слой, выходной слой и несколько промежуточных скрытых слоев (на рисунке 1.1 был один скрытый слой). Суть в том, чтобы обучить сеть так: когда изображение подается на входной слой, сеть выдает соответствующую метку на выходном слое. Например, при подаче изображения кошки мы хотим, чтобы выходной элемент Кошка активировался максимально, а остальные – минимально. Вход сети – это активация входных элементов, выход – активация выходных элементов. Внутри нейронной сети эти активации представлены массивами числовых значений, соответствующих частоте срабатывания нейронов. Когда предъявляется изображение, выходные элементы получают значения активации, которые в сумме дают единицу. В идеале при показе изображения кошки элемент Кошка получит значение, близкое к единице, а Клавиатура – близкое к нулю.

Чтобы сеть выдавала правильную метку для каждого входного изображения, ее необходимо обучить. Обучение здесь означает изменение весов связей в сети. До обучения все связи инициализируются случайным образом. На этом этапе предъявление изображения – допустим, кошки – вызовет размытый, недифференцированный паттерн активации нейронов, соответствующих всем возможным меткам, включая правильную (Кошка). Вот тут и пригождается правильная метка. Подробности мы рассмотрим позже, а пока отметим главное: алгоритм корректирует изначально случайные связи детекторов признаков так, чтобы немного усилить активацию правильной метки и немного ослабить активацию всех неправильных. Этот процесс повторяется многие тысячи раз с разными изображениями. При каждой подаче входных данных сеть корректирует свои связи и постепенно становится все точнее. Попутно она формирует эффективную иерархическую систему детекторов признаков, обеспечивающую все более высокое качество работы.

После завершения обучения детекторы признаков фиксируются, и AlexNet готов к тестированию. Теперь ему предъявляют изображения, которых он никогда не видел. Детекторы признаков, самостоятельно сформированные сетью в процессе обучения, демонстрируют поразительную эффективность в классификации новых изображений. Хотя попытки предпринимались, исследователи в основном отказались от стремления описать словами или даже точными математическими понятиями, какие именно признаки распознаются. Но что бы это ни были