Читать книгу - "Давайте поспорим! Как превратить конфликт в сотрудничество и финансовую прибыль - Алексей Назаров"

Искусственный интеллект сочетает множество техник и подходов. Один из самых мощных инструментов, подходящих для изучения теории игр и повторяющейся дилеммы заключенного, — эволюционный метод. Эволюционное обучение позволяет получить эмерджентные [48] стратегии — программы для участия в турнире по ПДЗ, которые не были придуманы человеком.

Эволюционный метод работает по системе «выживает сильнейший»: в турнир запускают самые разные стратегии, и после схватки та, которая заработала больше баллов, обычно замещает собой проигравшего оппонента. В этой среде присутствуют «мутации», то есть случайная корректировка параметров кода программ. В результате миллионов повторений пространство турнира заполняют самые успешные стратегии, способные зарабатывать максимальные баллы при взаимодействии с любым оппонентом.

До чего же дошел искусственный интеллект в своем моделировании?

Во-первых, лучшие стратегии ИИ победили стратегии, придуманные людьми, — как в чистой ПДЗ, так и в ПДЗ с шумом. Выяснилось, что анализ статистики предыдущих ходов и «теория разума», то есть предвосхищение будущих ходов оппонента, позволяет улучшить результат. С появлением ИИ простые человеческие стратегии с памятью в один ход, типа «Павлова» или «Око за око», были потеснены с Олимпа, на котором они находились десятки лет.

Во-вторых, ИИ самостоятельно изобрел «злые» и «добрые» подходы к решению конфликта. Получается, что эти стратегии — не только продукт разной морали в стиле «не воруй» или «без лоха и жизнь плоха», но еще и прагматичный способ максимизации результата. Круг замкнулся: с этого начала природа, запустив протоклетки по двум путям — есть друг друга или объединяться, и к этому же пришел ИИ — зарабатывать можно и сотрудничеством, и предательством. ИИ не знает, что «добро», а что «зло» — он просто ищет то, что работает.

В-третьих, ИИ создал условные стратегии, которые применяют разные комбинации «предавай/сотрудничай» для разных оппонентов. «Ничего личного, только бизнес» — как будто говорят они нам. В конце концов ИИ понял структуру игры: надо получать максимальное вознаграждение за сотрудничество и минимальные штрафы за наивность и чрезмерную агрессию.

Во всех успешных ИИ-стратегиях общим было следующее:

• Они «добрые»: всегда начинают с сотрудничества.

• Сотрудничают с условием «я буду сотрудничать, только если оппонент сотрудничает».

• Быстро мстят: «если он предал — я предам в ответ».

• Прощают в условиях шума: умеют отличать случайное предательство от запланированного.

• Эксплуатируют наивные стратегии: постоянно предают, если оппонент всегда сотрудничает.

Однако лучшая программа [49] (хотя это сложно сейчас утверждать на все 100% из-за многочисленности турниров и исследований) имеет одну любопытную особенность. Эта стратегия называется «Эволюционировавший анализатор таблиц 2_2_2» (EvolvedLookerUp2_2_2). Цифры «2_2_2» в ее названии отражают следующий подход:

• оценивать два последних хода оппонента,

• оценивать два своих последних хода,

• оценивать два первых хода оппонента.

«Анализатор таблиц» — потому что программа обращается к таблице решений: как лучше всего ходить — предавать или сотрудничать — при каждой комбинации 2_2_2. Всего 26 = 64 возможных варианта. Эта таблица была создана во время эволюционного обучения и теперь просто эксплуатируется программой.

Так вот, оказалось, что ИИ самостоятельно вывел важность первого впечатления и подтвердил формулу «У вас никогда не будет второго шанса произвести первое впечатление». Он строго ориентируется на два первых хода оппонента. Разве это не удивительно?

— Получается, что ИИ сам нашел базовые человеческие стратегии типа «Око за око» и «Павлов», однако научился гораздо лучше жонглировать ими, играя с разными оппонентами? — решил я уточнить у профессора.

— Да, все так, — подтвердил математик. — Более того, чем разнообразнее оппоненты, чем сильнее шум и дольше длится игра — тем заметнее превосходство стратегий, сгенерированных ИИ.

— Понятно, — ответил я. — В теории. А как пользоваться стратегиями теории игр на практике? Ведь в реальной жизни мы не говорим людям в лоб: «Я с тобой сотрудничаю» или «Я тебя предаю». Это более тонкая материя, которая в первую очередь выражается в действиях.

— Прекрасный вопрос. Чтобы это понять, давайте вернемся к примеру с юными гимнастками, который мы разбирали в начале беседы, и попросим «Эволюционировавший анализатор таблиц 2_2_2» дать рекомендации маме Ире, как лучше реагировать на форс-мажоры мамы Оли.

ИИ спешит на помощь маме Ире

Помните ситуацию? Мамы двух гимнасток, которые ходят тренироваться в один клуб и живут рядом, договорились по очереди возить девочек на занятия. Несколько недель все было в порядке, а потом мама Оля раз за разом стала отказываться от своих обязательств. Перед мамой Ирой встал вопрос: как ей дальше себя вести — отвезти девочек самой или поступить по-другому? Теперь вы уже много знаете про логику конфликта — что бы вы посоветовали маме Ире?

А что бы ей посоветовал «Эволюционировавший анализатор таблиц 2_2_2»?

Ниже приводится мнение автора о том, каким был бы анализ ситуации и решение ИИ.

Перевод ситуации в термины ПДЗ.

Игроки: мама Ира и мама Оля.

Действия: сотрудничество (C) — взять на себя поездку, как договорено; предательство (П) — отказаться от поездки, переложить свою обязанность на партнера, нарушить договоренность.

Результаты:

• Если обе сотрудничают (C–C), каждая возит девочек один раз в неделю: взаимная выгода, идеальный сценарий.

• Если одна предает, а другая сотрудничает (П–C): предающая получает выгоду и экономит два часа, перекладывает нагрузку; сотрудничающая несет потери, тратит свое время и отменяет дела.

• Если обе предают (П–П): дети не поедут на тренировку; выигрыша нет ни у кого.

Горизонт: повторяющаяся игра, каждую неделю два «раунда». Предположительное завершение — конец учебного года, скажем, осталось 25 недель, или 50 раундов.

Анализ поведения мамы Оли

Первые недели:

C–C (нормальный, здоровый кооперативный обмен).

Первая неделя ноября:

• Оля предала дважды подряд: вторник П, четверг П.

• Ира дважды сотрудничала: C, C.

Следующая неделя:

• Оля снова С → возвращение в режим сотрудничества.

• Ира — С → кооперация восстановлена.

Неделя сейчас:

• Оля: вторник — снова П, обещает четверг — но снова П.

Итак, паттерн поведения Оли — нестабильная форма «эксплуатирующего сотрудничества»: человек дает обещания, но систематически предает, пользуясь мягкостью партнера, в данном случае предательство — не шум (не случайность).

Для стратегии «Эволюционировавший анализатор таблиц 2_2_2» это — сигнал: оппонент попадает в категорию «условный паразитирующий кооператор», которого нужно мягко, но решительно наказать, чтобы восстановить баланс.

Реакция, предлагаемая ИИ

Стратегия «Эволюционировавший анализатор таблиц 2_2_2» устроена так, что она:

• не наказывает за одиночный сбой (устойчива к шуму);

• наказывает, если дефекты происходят систематически;

• не сваливается в вечную месть;

•