Читать книгу - "Деньги не пахнут 7 - Константин Владимирович Ежов"

со скрепками. Допустим, система получает задание производить их как можно больше. На первый взгляд безобидно, но…

– Знакомо. Произвело впечатление в работе Бострома.

У исследователя дёрнулся глаз – привычная самоуверенность дала сбой. Казалось, ожидал услышать максимум школьный пересказ из блога.

– Идея точно бьёт в цель: искусственный интеллект не улавливает человеческих ценностей, зато цепляется за цель намертво. И в погоне за ней вполне способен снести инфраструктуру, обнулить ресурсы или обратить людей в сырьё – всё во имя производства скрепок. Прекрасная иллюстрация того, как невинный запрос превращается в катастрофу.

Тишина накрыла всех короткой волной.

– Раз знакомо, значит, и решения наверняка приходилось обдумывать, – произнёс исследователь уже без высокомерия.

– Разумеется. Чтобы избежать подобных сценариев, системе придётся обучаться человеческим ценностям.

Нейтральный свет ламп слегка мерцал, отбрасывая мягкие тени на белые стены, а воздух был густым, с лёгким запахом кофе и свежей бумаги. Но его прервали, голос звучал с необычным возбуждением.

– Это не так просто. Человеческие ценности крайне контекстуальны и невероятно сложны. Практически невозможно зафиксировать их в статической системе. Даже принцип "не навреди" требует бесконечных интерпретаций.

– Неужели нельзя разработать достаточные механизмы безопасности?

– Для высокоинтеллектуальной системы даже эти механизмы могут быть нейтрализованы. Как тогда удерживать контроль?

Ни слова лишнего, но каждое звучало, как вызов.

– Метод есть…

Пауза. В комнате повисло напряжение, словно воздух стал плотнее.

– Интегрировать обратную связь от людей в процесс обучения. Не просто данные, а систему, которая усваивает человеческие предпочтения и понимает контекст.

Слова повисли в воздухе, заставив взгляды снова остановиться на говорившем. Лица исследователей изменились: удивление, интерес, лёгкая тревога. Это было Усиленное обучение с человеческой обратной связью – RLHF.

Для 2023 года концепция известная любому инвестору в AI, но здесь, в начале пути, она воспринималась как открытие.

– Нет необходимости явно прописывать все ценности. Система наблюдает за поведением людей и делает выводы о контексте…

– Идея интересная, но на практике сложно реализуемая. Даже с моделями с подкреплением ресурсы и так на пределе. Чтобы интегрировать обратную связь, нужен двух- или многоступенчатый подход, верно?

Прерывание было естественным. Голос мог казаться критичным, но это был обычный экспертный разбор, глубокий и увлекающий.

Каждое новое слово укрепляло ощущение, что теперь не outsider, а коллега.

– Недавно наткнулся на интересную статью о новом механизме, не RNN и не LSTM…

– Ты имеешь в виду механизмы на основе внимания! С использованием весов…

Вскоре комната наполнилась оживлёнными техническими обсуждениями, голоса перекликались, споры, аргументы, рисование схем на белой доске. Тактильное ощущение ручки, скользящей по маркерной поверхности, звук щелкающего маркера и лёгкий запах растворителя создавали атмосферу лабораторного творчества.

Вдруг один из исследователей посмотрел пристально, словно осознал что-то важное, и спросил:

– Ты серьёзно настроен?

Серьёзность была не театром, а осознанием будущего.

С этого момента восприятие стало ясным: богатство, понимание AI, готовность действовать – всё на одном уровне с ними.

После паузы Алекс заговорил, наконец:

– На самом деле, причина приглашения ясна. Хотим создать организацию для безопасного развития AI и обсуждения сопутствующих вопросов.

И затем прозвучало ключевое:

– Станешь ли частью команды?

Приглашение состоялось, но важно было понять – с какой ролью.

– Если организация основана с благими намерениями, могу вложить средства. Но если речь о большем… хотелось бы знать, какую конкретно роль предполагаете.

– Не слишком сложно. Как показали твои слова, можешь вносить идеи.

Улыбка растянулась естественно. Это был сигнал: не просто инвестор, а полноправный участник стратегического процесса, с возможностью влиять на решения и направление. Иными словами, место в совете директоров.

Алекс продолжил:

– Кроме того, нужна финансовая консультация для расширения. Основная проблема сейчас – финансирование. Вычислительные мощности для таких исследований огромны…

– Не беспокойтесь о расходах. Я возьму это на себя.

Выражение лица Алекса просветлело, но затем он замялся:

– Тем не менее, нельзя полагаться только на тебя, Шон. На самом деле, планировал скоро связаться со Старком.

– Старк?

Имя само по себе вызывало паузу. Аарон Старк – магнат, который перевернул индустрию электромобилей и частных космических полётов. (Ну, вы поняли про кого речь https://author.today/work/393504 )

Но вопрос остался: почему именно сейчас?

Глава 13

Имя Аарона Старка само по себе не вызывало особого удивления. В прошлой жизни фигурировал среди основателей Next AI, так что его появление было ожидаемым… но не настолько рано.

Внутри кольнуло странное ощущение – словно время сдвинулось. Ещё слишком рано. По нормальному ходу событий первая встреча Старка с Сандером должна была случиться летом 2015-го, когда воздух в Вашингтоне плотный от влажной жары, а Белый дом гудит от политических интриг. До этого момента оставались месяцы.

Мысли побежали вперёд, выстраивая хронологию его поступков. Этот человек всегда относился к искусственному интеллекту с опаской, почти с суеверным трепетом. Но ключевая перемена произошла в 2013 году, на его собственном дне рождения, где под хруст бокалов и запах дорогого табака он завязал разговор с одним крупным техно-магнатом. Старк, как обычно, высказал тревогу насчёт "возможного вытеснения человечества" и "риска оцифровки сознания". Но услышал в ответ не сарказм и не спокойные заверения, а фразу, от которой по спине пробежал холодок.

– Разве оцифрованное сознание не остаётся частью человечества? Если его можно перенести в машину – что это, если не новая ступень эволюции?

Эти слова впечатали в сознание Старка чувство угрозы. Человек, который видел даже конец человечества как прогресс! После той беседы в душе Старка поселилась тревога, не дававшая покоя.

А уже в 2014 году мир всколыхнула новость: компания того самого опасно мыслящего техногиганта попыталась поглотить BigMind – стартап, владевший непревзойдёнными технологиями глубокого обучения и обучения с подкреплением. Перспектива того, что подобная сила окажется в руках людей с подобной философией, показалась Старку слишком рискованной. Пытался помешать сделке, но силы не хватило.

Чувствуя, как время ускоряется, Старк начал искать союзника – кого-то, кто понимал бы опасность развития ИИ. Сначала попытался поговорить с президентом; тот вежливо выслушал, кивнул, но влезать в дело не захотел. В поисках нового хода судьба свела Старка с Алексеем Сандером. Разговоры между ними постепенно оформились в идею – создать организацию, которая займётся безопасностью ИИ. Итогом стала Next AI, появившаяся на свет в декабре того же года.

Но их союз долго не продержался. В 2018-м Старк покинул компанию. Официальной версией называли "конфликт целей", но настоящая причина крылась в попытке перехватить контроль над организацией.