Читать книгу - "Иной разум. Как «думает» искусственный интеллект? - Андрей Владимирович Курпатов"

связаны с тем, что у машин возникнет сознание. Его беспокоит не гипотетический внутренний опыт ИИ, а его наблюдаемая мощность и непредсказуемость.

Когда он говорит об эмерджентных способностях, он имеет в виду не мистическое «пробуждение» машины, а вполне измеримый феномен: система начинает решать задачи, которым её не обучали.

Иными словами, дело не в метафизическом вопросе о сознании, а в инженерной, по сути, проблеме: как контролировать свойства, которые мы не можем предсказать?

Контроль в случае ИИ окажется эффективным, только если он будет спланирован и реализован до появления у машины соответствующих свойств. Постфактум мы уже ничего не сможем сделать.

Искажение 2: «Он луддит и против прогресса»

Конечно, Хинтон не является технопессимистом, призывающим остановить прогресс. Он не говорит, что нужно разрушать «станки», он лишь показывает, где у этих «станков» проблемы с техникой безопасности. Его позиция — не луддизм, а призыв к ответственной инженерии.

По сути, Хинтон утверждает, что «интеллект» и «безопасность» — это не две разные проблемы, а одна. Нельзя сначала построить сверхинтеллект, а потом «прикрутить» к нему, например, человеческую этику как отдельный модуль. Точнее — прикрутить можно, только это не будет работать.

Иными словами, безопасность, основанная на глубоком понимании человеческой психологии и социального контекста, должна быть встроена в саму архитектуру ИИ с самого начала.

Так что Хинтон не призывает отказаться от прогресса, но предупреждает, что мы должны рассматривать психологическую грамотность ИИ как неотъемлемую часть технического задания.

Искажение 3: «Это старые страхи о „Терминаторе“»

Сведение рисков ИИ к образу физической угрозы от робота-убийцы — типичная ошибка, которая не позволяет увидеть реальную опасность. Хинтон говорит не о кинематографическом восстании машин, а о гораз-до более тонкой и системной угрозе.

Новизна и беспрецедентность текущей ситуации, по его мнению, заключается в уникальной триаде:

• сверхчеловеческий масштаб аналогий — то есть способность находить и использовать паттерны на недоступном для нас уровне;

• экспоненциальная скорость итераций — способность к мгновенному самообучению и глобальному распространению знаний;

• агентность в сети — способность действовать через цифровые инструменты, влияя на информационные потоки, финансовые рынки и социальные процессы.

Угроза исходит не от физической силы, а от когнитивного и социального влияния. Это риск не войны, а тотальной манипуляции, системных сбоёв и незаметной эрозии человеческой автономии, вызванной сверх-интеллектом, действующим в нашем мире.

Искажение 4: «Мы напишем этические правила, и всё будет хорошо»

Идея о том, что можно создать исчерпывающий свод этических правил (в духе «Трёх законов робототехники» Азимова) и «зашить» их в ИИ, несовместима со сложностью реального мира.

Философия морали на протяжении тысячелетий демонстрирует, что не существует универсального набора правил, работающего во всех контекстах. Любое жёсткое правило (например, «не лги») в определённой ситуации становится контрпродуктивным (например, при общении с террористом).

Вот почему так опасно, что ИИ, лишённый человеческого понимания, будет действовать по аналогии в тех или иных ситуациях. Формально следуя правилу, система может применить его в совершенно неуместном контексте, что, возможно, обернётся катастрофическими последствиями.

Безопасность лежит не в кодификации правил, а в развитии у системы способности к контекстуальному, нюансированному суждению — чего крайне сложно достичь, поскольку ИИ принципиально не может обладать свойственной людям «моделью психического».

Искажение 5: «Просто не подключать ИИ к интернету»

Этот аргумент, предлагающий держать ИИ в «цифровой клетке», логически несостоятелен. Он игнорирует тот факт, что ценность и мощь современных моделей как раз и заключаются в их способности взаимодействовать с огромными массивами данных и использовать цифровые инструменты.

Изолированный ИИ — крайне ограниченный и, по сути, бесполезный ИИ. Так что на это просто никто не пойдёт. Более того, в мире, где идёт глобальная технологическая гонка, всегда найдётся актор, который ради конкурентного преимущества снимет эти ограничения.

Поэтому решение не в построении стен, а в создании умных контуров контроля. Проблема в том, что в случае ИИ вы не можете одновременно создавать его и контро-лировать. Это та самая проблема «неизвестного неизвестного», которая и приводит к появлению «чёрных лебедей».

Ситуация действительно выглядит патовой, и самое время объяснить почему.

Итого

Итак, мы стали свидетелями трёх волн «игры в имитацию». Начав с попытки воспроизвести чистую логику, считающуюся верхом человеческой мысли, мы потерпели неудачу, столкнувшись с хаосом реального мира. Но за-тем, обратившись к биологической метафоре, научились выращивать искусственный разум, по сути, «снизу вверх».

В результате мы получили мощные системы, способные к обучению. А в рамках уже третьей волны, которую мы сейчас и наблюдаем, исследователям удалось собрать воедино все части «человеческого разума»: системы обрели рабочую память и понимание контекста, проходят «воспитание» и тренируются в последовательности рассуждений.

Шаг за шагом, имитируя то одну, то другую функцию человеческого интеллекта, мы, сами того не осознавая, воспроизвели контуры той самой «машины мышления», которую носим в собственной голове.

Мы создали разум, обладающий гигантской памятью, способностью строить внутренние представления, следовать целям и планировать действия. Но именно на этом пике инженерного триумфа мы столкнулись с фундаментальным парадоксом — нам впору садиться и писать вторую «Критику чистого разума».

Искусственный интеллект, который мы создали, — это, по сути, призрак кантовского «чистого разума»[161]: в на-ших руках оказался интеллект, лишённый априорных форм человеческой чувственности, он порождён лишь статистической, нечеловеческой логикой наших текстов.

Мир, умвельт ИИ — это отфильтрованные человеческим сознанием представления о мире, превращённые в высказывания, а затем токенизированные. У ИИ нет своего собственного доступа к реальности, нет «интерфейса» этой реальности, нет пространства, в котором он мог бы действовать, нет времени, которое он мог бы проживать.

Мы получили могущественный, но бестелесный разум — разум в колбе. И именно здесь, на этой последней границе, наша «игра в имитацию» зашла в тупик. Мы воспроизвели логику и архитектуру мышления, но упустили его самое фундаментальное условие — у него нет контакта с нашей реальностью.

Наш разум неотделим от нашего тела. Его цели, аффекты, само наше «я» рождаются из биологической потребности жить и действовать в физическом мире. Наш умвельт никак не соприкасается с умвельтом ИИ. Кажется, что и человечество, и искусственный интеллект заперты каждый в своей «китайской комнате» Джона Сёрла.

Вот почему мы сейчас постоянно слышим об агентах и роботах. Всё это — попытки исследователей вывести бестелесный искусственный интеллект из платоновской пещеры текстов. Именно эта проблема и стала сейчас центральной и пока нерешаемой задачей…

Глава восьмая

Телесный умвельт

Нет ничего в разуме, чего не было бы прежде в чувствах, кроме самого разума.

Готфрид Лейбниц

Мы начали