Отдельно сто́ит оговорить вопрос передачи власти искусственному интеллекту. Под искусственным интеллектом (ИИ) в данной книге понимается сильный искусственный интеллект — созданное человеком разумное существо, которое умнее (что бы это ни значило) человека. С одной стороны, ИИ — это технология, а технологии не плохи и не хороши сами по себе, они лишь дают возможность, а как распорядиться этой возможностью, решает тот, кто использует технологию. Правда, ИИ, в отличие от всего ранее созданного, порождает новую, самостоятельно действующую личность, которая может пожелать действовать вопреки воле создателя. Однако бояться, что ИИ уничтожит человечество, — это примерно как бояться заводить детей, опасаясь, что они убьют своих родителей. Такое наверняка бывало, и не единожды, но люди не перестали размножаться, а просто стараются быть хорошими родителями.

Вопрос передачи власти ИИ был проанализирован ещё Станиславом Лемом в его труде «Сумма технологии» [SummaTechnologiae]. Лем выявил потенциальные проблемы этого подхода, главная из которых — полная потеря контроля над происходящим, вызванная тем, что ИИ, как и естественный интеллект, может сам не знать оснований для своих решений, не может их формализовать и рационализировать, что делает затруднительной проверку правильности этих решений. Сегодняшнее состояние технологий только подтверждает правильность его анализа: набирающие популярность решения на базе нейронных сетей, которые являются наиболее вероятными предвестниками ИИ, имеют описанные им проблемы. Они не могут обосновать своё решение, т. е. не только мы, но и сам ИИ может не понимать, почему он принял такое решение. Хотя средний уровень ошибок у нейронных сетей сильно ниже, чем даже у лучших человеческих специалистов, они умудряются «косячить» там, где человек никогда не допустил бы промаха, и сама технология не позволяет исправить такие ошибки. Исправить можно формальный алгоритм, а нейронную сеть нужно переобучать при заранее неизвестном результате. Поэтому управлять обществом индивиды должны самостоятельно, не теряя контроля, а в качестве помощников необходимо использовать алгоритмы, корректность которых может быть доказана и ошибки в которых можно исправлять, а значит, итеративно улучшать качество этих алгоритмов. Ну и, как следует из эпиграфа, передача власти ИИ делает бессмысленным само существование человечества.

Понятно, что сложность вопросов, стоящих перед цивилизацией, вполне может требовать более сильного интеллекта. Один из возможных путей решения этой проблемы — усиление человеческого интеллекта как биологическими, так и техническими методами.