Читать книгу - "Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд"

усвоение понятия числа происходит скачком: либо ребенок его понимает, либо нет. Некоторые когнитивные психологи пытались найти тот переломный момент в развитии, когда ребенок овладевает концепцией чисел. По их гипотезе, этот момент наступает, когда ребенок осознает: каждое число в счетном ряду (начиная с единицы) обозначает определенное количество предметов, а каждое следующее число – количество, превышающее предыдущее ровно на единицу. Исследователи полагали: если ребенок может дать больше четырех предметов по просьбе (например, «Дай мне пять мишек»), значит, он открыл для себя принципы счета. С четырьмя предметами и меньше, думали они, ребенок может справиться каким-то другим способом.

Однако внимательное изучение развития способностей детей, связанных с числами, показывает: нет единого рубежа, который знаменует полное понимание принципов счета. Понимание чисел оказывается менее однозначным, чем считалось раньше. На разных этапах развития ребенка одни числовые навыки могут уже сформироваться, другие – еще отсутствовать, а третьи – позволять оперировать только небольшими числами.

К примеру, дети, успешно выполняющие задачу «Дай N» для чисел от шести до восьми, часто не справляются с задачей «Где больше» – не могут уверенно сказать, что больше: пять или семь. Многие из них также совершенно не понимают задачу «Следующее число» и не догадываются, что, если к пяти бусинам добавить одну, получится шесть. Такие результаты свидетельствуют о том, что целостное понимание числовых концепций формируется не одномоментно.

Показательно, что числовые понятия усваиваются не сразу, а постепенно, применительно к конкретным числам. Многие дети справляются с задачей «Следующее число» для пяти, но не для 23 – хотя умеют считать до 30 и дальше. То есть они понимают: если к пяти бусинам добавить одну, получится шесть. Но не понимают, что если к 23 добавить одну, будет 24. Странная картина, если считать, что принципы счета «открываются» в некий определенный момент.

Такое постепенное, поэлементное освоение числовых навыков, на наш взгляд, лучше согласуется с нейросетевой концепцией. Нет единого озарения – «Ага!» – когда целостное понятие числа вдруг становится применимым ко всем числовым задачам независимо от величины числа. Ребенок может выполнять задачу «Дай N» для малых N, но не для больших. Может справляться с «Дай N» для больших чисел, но не понимать задачу «Следующее число» для тех же самых чисел – хотя умеет считать намного дальше. С точки зрения нейросетевой концепции знания, необходимые для решения разных задач, закодированы в межнейронных связях. Эти связи укрепляются независимо друг от друга в процессе решения различных задач, а успешность зависит от силы связей, которые формируют представления ребенка о количествах разной величины. По мере взросления и накопления опыта мы учимся соотносить, например, число 13 в контексте счета с отдачей 13 предметов в другом контексте и с пониманием, что 13 – это 12 + 1, в третьем контексте. Это вполне ожидаемо в рамках нейросетевого подхода: все эти соотношения тоже основаны на активациях и связях, а не на наличии абстрактного понятия числа.

Аналогично, согласно нейросетевой концепции, понимание физического мира (наивная физика), понимание других людей (наивная психология) и языковые способности – все они формируются через опыт, а не заложены как врожденные правила для конкретных областей знания. Как и в случае с числовыми понятиями, обширные исследования в области психологии развития подтверждают: и в других сферах развитие происходит не резкими скачками, а через постепенные переходы, которым способствует приобретение опыта, позволяющего накапливать изменения в весах связей.

Обучение на уровне мысли

Мы убедились, что LLM демонстрируют способности к логическому мышлению, схожие с человеческими, и осваивают числовые закономерности тем же путем, что и люди. Однако скептически настроенный студент Гаурава обратил внимание на существенный недостаток в их мыслительных способностях. Эти модели часто не в состоянии сделать элементарные выводы на основе здравого смысла из того, чему их обучили. И действительно, попытки научить языковую модель чему-то новому – например, факту «У Мэри, сестры Джейн, родился малыш по имени Аллен» – путем настройки весов связей для предсказания следующего слова приводят к весьма печальным результатам. Такое обучение требует множества повторений, а усваиваемое знание оказывается крайне ограниченным: после подобной тренировки модель сможет предсказать слово Аллен в контексте У Мэри, сестры Джейн, родился малыш по имени… но окажется совершенно беспомощной, если попросить ее завершить предложения Маму Аллена зовут… или Тетю Аллена зовут…

Люди же способны усваивать новую информацию буквально с первого раза и применять ее гибко – так, что становится очевидным наше понимание услышанного. К примеру, узнав, что у Мэри, сестры Джейн, родился малыш Аллен, вы сразу поймете: у Джейн появился племянник, которого зовут Аллен. Скорее всего, вы запомните эту информацию и сможете воспользоваться ею позже. Встретив Джейн через час, вы, вероятно, вспомните о ее новом племяннике Аллене. Такую форму усвоения знаний мы будем называть обучением на уровне мысли.

LLM тоже обладают способностью, которая напоминает человеческое обучение на уровне мысли, – но только пока информация остается в их контекстном окне, без изменения весов связей. Как и человек, языковая модель, получив информацию о том, что у Мэри, сестры Джейн, родился малыш Аллен, сможет ответить на вопросы «Кто мать Аллена?» и даже «Кто тетя Аллена?». Эти способности постоянно совершенствуются и, вероятно, продолжат развиваться. Мы считаем это многообещающей эмерджентной формой обучения, которую активно исследуем вместе с коллегами из области искусственного интеллекта и когнитивной нейронауки.

Однако у языковых моделей есть серьезное ограничение: любое знание, которое присутствовало в контексте, бесследно исчезает при закрытии контекстного окна. После повторной инициализации контекста от фразы о Джейн и новорожденном племяннике не остается и следа. Люди устроены иначе – разумеется, мы не запоминаем навечно все услышанное однажды, но обычно способны удержать в памяти новую информацию из знакомой области (например, о родственных связях), услышав ее всего один или несколько раз.

Такая полная неспособность к запоминанию отсылает к случаю знаменитого пациента Генри Молисона (известного также как Г. М.) – одного из самых изученных пациентов в истории нейронауки. Во время операции, целью которой было избавление от эпилептических припадков, у Г. М. были удалены важнейшие области мозга, включая структуру под названием гиппокамп. После операции пациент по-прежнему мог понимать сказанное ему в разговоре и отвечать на вопросы об этом – но лишь до тех пор, пока собеседник не менял тему. Стоило прервать мысль Г. М., как он забывал прежнюю информацию или не мог воспользоваться ею для ответа.

Случай пациента Г. М. и множество связанных с ним исследований привели нас и других нейробиологов к выводу, что гиппокамп отвечает за быстрое обучение через изменение силы нейронных связей. Особенность гиппокампа в том, что эти изменения могут быть очень значительными – настолько, что порой мы способны запомнить что-то с первого