Выбор по Тьюрингу - Гарри Гаррисон

– Брайан Дилени, уж не проработали ли вы здесь всю ночь? Когда я вчера вечером уходила, вы обещали, что задержитесь всего на несколько минут. А это было в десять часов.

С этими словами в лабораторию вошла рассерженная Шелли.

Брайан потер рукой предательскую щетину и заморгал покрасневшими от усталости виноватыми глазами.

– Почему вы так думаете? – попробовал он увильнуть от ответа.

Ноздри у Шелли сердито раздулись.

– Ну, для этого более чем достаточно на вас посмотреть. Вид у вас ужасный. Кроме того, я попробовала вам позвонить, но ответа не было. Как вы можете понять, я забеспокоилась.

Брайан схватился за ремень, где у него обычно висел телефон, но не обнаружил его.

– Наверное, положил куда-нибудь. Я не слышал звонка.

Она взяла свой телефон и одним нажатием кнопки памяти набрала его номер. Где-то вдалеке послышалось жужжание. Поглядев в ту сторону, Шелли увидела, что телефон лежит около кофеварки. Она молча протянула аппарат ему.

– Спасибо.

– От вас просто нельзя отходить ни на минуту. Мне пришлось идти разыскивать ваших телохранителей – они и сказали мне, что вы все еще здесь.

– Предатели, – пробормотал он.

– Они так же заботятся о вас, как и я. Нет таких важных дел, чтобы из-за них стоило рисковать здоровьем.

– Есть, Шелли, в этом-то все и дело. Помните, когда вы уходили вчера вечером, мы бились с программой-координатором? Что бы мы ни делали, система норовила свернуться в клубок и умереть. Поэтому я начал с простой задачи – сортировки кубиков по цвету. Потом усложнил ее, предложив разноцветные кубики разной формы. А когда я через некоторое время посмотрел, программа-координатор все еще работала, но все остальные, видимо, отключились. Тогда я решил записать, что произойдет, когда я снова все запущу, и на этот раз ввел языковую программу, которая записывала все команды, поступавшие от координатора в остальные блоки. Теперь он стал работать медленнее, и я наконец понял, что происходит. Вот, смотрите сами.

Он поставил запись, сделанную ночью. На экране показался робот, быстро сортирующий разноцветные кубики, потом он стал работать медленнее, еще медленнее и наконец совсем остановился. Из динамика слышался глубокий бас Робина-3:

– …К-линия 8997, выдай ответ на входной сигнал 10983… время реакции слишком велико… отвечай немедленно… блокирую. Задаю подпроблему 384. Принят ответ от К-4093. Блокирую замедленные ответы от К-3274 и К-2314. Задаю подпроблему 385. Ответы от К-2615 и К-1488 противоречат друг другу – блокирую обоих. Задаю…

Брайан выключил динамик.

– Понимаете?

– Не совсем. Одно ясно: эта программа только и делает, что блокирует другие.

– Ну да, в этом-то и дело. Предполагалось, что она должна обучаться на опыте, вознаграждая хорошо работающие блоки и блокируя плохо работающие. Но ей был задан слишком высокий порог – ее устраивали только безупречные и мгновенные ответы. Поэтому она вознаграждала только те блоки, которые отвечали быстро, а более медленные отключала – даже когда они пытались сделать то, что в конечном счете было бы правильнее.

– А, понимаю. А дальше – эффект домино: когда какой-нибудь блок отключался, ослабевала связь других блоков с ним…

– Вот именно. И тогда реакция этих блоков замедлялась, и они тоже, в свою очередь, отключались. Пока программа-координатор не заблокировала всех.

– Какой ужас! Получается, что она совершила самоубийство!

– Ничего подобного! – раздраженно сказал он голосом, хриплым от усталости. – Это чистейший антропоморфизм. Машина – не человек. И что такого ужасного, когда одна схема отключает другую схему? Да там же нет ничего, кроме электроники и программ. К человеку это никакого отношения не имеет, при чем тут ужас?

– Не говорите со мной таким тоном!

Кровь бросилась в лицо Брайану, но он тут же опустил глаза.

– Простите, беру свои слова обратно. Кажется, я просто устал.

– Вам кажется, а я точно это знаю. Ваши извинения приняты. И это действительно был антропоморфизм. Но дело не в том, что вы мне говорили, а в том, каким тоном. Давайте не будем больше цапаться, лучше пойдем подышим воздухом. И уложим вас спать.

– Хорошо. Только сначала я кое-что просмотрю.

Брайан подошел к терминалу и углубился в схему робота. Один за другим на экране появлялись чертежи.

В конце концов он мрачно кивнул:

– Ну конечно, опять ошибка. Она появилась после того, как я исправил последнюю. Помните, я ввел установку на подавление чрезмерной блокировки, чтобы робот не отключался сам собой? А теперь он бросился в другую крайность – не знает, когда нужно остановиться. Этот искусственный интеллект прекрасно отвечает на простые вопросы, но только если ответ можно найти почти не думая. А вы видели, что произошло, когда он не знал ответа. Начал произвольный поиск, заблудился и не понимал, что надо остановиться. Он, можно сказать, не знал, чего именно не знает.

– Мне показалось, что он просто свихнулся.

– Можно сказать и так. Для ошибок в работе человеческого мозга у нас есть множество слов – паранойя, кататония, фобия, невроз, нерациональное поведение. Наверное, для всех новых причуд, которые появятся у наших роботов, придется придумывать новые слова. И можно не надеяться, что новая конструкция заработает сразу после первого включения. В данном случае она пыталась воспользоваться всеми своими экспертными системами, чтобы решить одну и ту же задачу. Координатор оказался недостаточно силен, чтобы подавить ненужные. Весь этот набор слов свидетельствовал о том, что он цеплялся за любую ассоциацию, которая, казалось, может привести его к решению, как бы мало вероятно это ни было. А когда какой-нибудь подход оказывался неудачным, эта штука не догадывалась, что надо остановиться. Даже если наш искусственный интеллект будет работать, нет никакой гарантии, что он не окажется, с нашей точки зрения, ненормальным.