Искусственный интеллект. Этапы. Угрозы. Стратегии - Ник Бостром

Обратите внимание, тезис об ортогональности говорит не о рациональности или здравомыслии, но исключительно об интеллекте. Под интеллектом мы понимаем здесь навыки прогнозирования, планирования и сопоставления целей и средств в целом^[313]. Инструментальная когнитивная эффективность становится особенно важной чертой, когда мы начинаем разбираться в возможных последствиях появления искусственного сверхразума. Даже если использовать слово рациональный в таком смысле, который исключает признание рациональным сверхразумного агента, подсчитывающего максимальное количество скрепок, это ни в коем случае не исключает наличие у него выдающихся способностей к инструментальному мышлению, способностей, которые имели бы огромное влияние на наш мир^[314].

В соответствии с тезисом об ортогональности у искусственных агентов могут быть цели, глубоко чуждые интересам и ценностям человечества. Однако это не означает, что невозможно предсказать поведение конкретных искусственных агентов — и даже гипотетических сверхразумных агентов, когнитивная сложность и характеристики производительности которых могут сделать их в некоторых аспектах «непроницаемыми» для человеческого анализа. Есть минимум три способа, благодаря которым можно подступиться к задаче прогнозирования мотивации сверхразума.

1. Предсказуемость за счет проектирования. Если мы можем предположить, что программисты способны разработать систему целеполагания сверхразумного агента так, что он будет последовательно стремиться достичь цели, заданной его создателями, тогда мы в состоянии сделать хотя бы один прогноз: этот агент будет добиваться своей цели. Причем чем более разумным будет агент, тем с большей интеллектуальной изобретательностью он начнет к ней стремиться. Поэтому еще до создания агента мы могли бы предсказать что-то о его поведении, если бы знали что-то о его создателях и целях, которые они собираются ему установить.

2. Предсказуемость за счет наследования. Если прототипом цифрового интеллекта непосредственно служит человеческий разум (что возможно при полной эмуляции головного мозга человека), тогда цифровому интеллекту могут быть присущи мотивы его человеческого прототипа^[315]. Такой агент мог бы сохранить некоторые из них даже после того, как его когнитивные способности разовьются настолько, что он станет сверхразумом. Но в таких случаях следует соблюдать осторожность. Цели агента легко могут быть искажены в процессе загрузки данных прототипа или в ходе их дальнейшей обработки и совершенствования — вероятность подобного развития зависит от организации самой процедуры эмуляции.

3. Предсказуемость за счет наличия конвергентных инструментальных причин. Даже не зная детально конечных целей агента, мы в состоянии сделать некоторые выводы о его более близких целях, анализируя инструментальные причины самых разнообразных возможных конечных целей при широком выборе ситуаций. Чем выше когнитивные способности агента, тем более полезным становится этот способ прогнозирования, поскольку чем более разумным является агент, тем больше вероятность, что он распознает истинные инструментальные причины своих действий и будет действовать так, чтобы при любой вероятной ситуации добиться своих целей. (Для правильного понимания следует заметить, что могут существовать недоступные нам сейчас инструментальные причины, которые сам агент обнаружит, лишь достигнув очень высокого уровня интеллекта, — это делает поведение сверхразумного агента менее предсказуемым.)

Третьему способу прогнозирования посвящен следующий раздел, где мы подробнее рассмотрим тезис об инструментальной конвергенции, дополняющий тезис об ортогональности интеллекта и мотивации. Благодаря этому будет легче понять остальные два способа прогнозирования — к ним мы обратимся в следующих главах, в которых проанализируем вопрос, как повлиять на направление взрывного развития интеллекта, чтобы повысить шансы благоприятного исхода.