Слово «робот» изобрели 100 лет назад Йозеф и Карел Чапеки. Но братья — художник и литератор — сразу предположили, что человекообразные механизмы, в конце концов, восстанут против своих создателей.
Сейчас пророчества фантастов могут оказаться реальностью.
— Она начала вести себя… Я говорил с одним из её создателей. Он взял меня за плечо, посмотрел в глаза и произнёс только: «Леонид, это было страшно»…
Так Леонид Андреевич Горбовский рассказывает о работе суперсложного кибернетического устройства. Оно проработало всего четыре минуты, после чего его выключили, обесточили, заблокировали входы и выходы, а в придачу обнесли ржавой колючей проволокой.
Эпизод из повести братьев Стругацких «Далёкая Радуга» я вспомнил, когда прочитал, что всего лишь месяц назад несколько российских компаний подписали первый российский Кодекс этики искусственного интеллекта (ИИ). Документ добровольный, не обязателен к исполнению, но правительство надеется, что в ближайшее время к нему присоединится ещё сотня организаций.
Дожили!
До недавнего времени законы роботехники существовали только в воображении замечательных писателей. Помните три постулата в цикле рассказов Айзека Азимова:
Первый. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
Второй. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
Третий. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
Механические персонажи Азимова — все эти Робби, Кьюти и Спиди — подчиняются роботехникам и робопсихологам Пауэллу, Доновану и Сьюзен Кэлвин. Однако есть много фантастических историй, в которых искусственный разум восстаёт против своих создателей. Например, Прелесть в одноимённом рассказе Клиффорда Саймака. Юмор автора смягчал тягостность ситуации. Но людям, бегавшим вокруг собственного корабля, было, как мы помним, совсем не до смеха.
А теперь человечество вплотную приближается к подобной ситуации, когда придётся налаживать отношения с ИИ, которые оно само же и создало. Помните финал старого анекдота: дети у вас хорошие, а всё, что руками делаете… Очень я опасаюсь за продукты наших высокоорганизованных технологий.
Разумеется, мне нравится, когда техника помогает человеку расширить свои возможности. Совсем по Маршаллу Маклюэну. Так, например, я за полную и окончательную автоматизацию любого литейного производства. Пришлось мне провести в студенческие годы месяц в «чугунке». В качестве разнорабочего ставил я груза на опоки. И понял, что не место там самостоятельной личности. Да и в те далёкие времена в подобные цеха приходили, в основном, откинувшиеся зэка. Потому что в другие места их брать не хотели.
Кстати, и дома у меня сейчас шныряет по комнатам мини-робот. Пыхтит, звенит, ползает, собирает пыль с паркета и плитки. Иногда только, оболтус круглый, забирается под диван так далеко, что обратный ход дать уже не в силах. Застывает, замирает и ждёт, пока я выволоку дурака такого на свет Божий.
Социологи, между прочим, подсчитали, что в России доверяют ИИ гораздо больше, чем в остальном мире: 48 процентов против 28. Но по мнению статистиков, такая вера в технический прогресс, возможно, объясняется тем, что нам реже приходится с ним встречаться. Что же будет, когда нас в супермаркете на кассе будет обслуживать андроид с внешностью, скажем, Софи Марсо?
Главная же проблема в том, насколько мы можем доверять адекватности роботов, в каком обличии они бы ни представали. Восстание машин не такая уж невозможная ситуация. Помню, когда работал в аварийной службе, приходилось слышать истории, как трамваи убегали из парков. Трогались самостоятельно с места, набирали ход и шли, куда указывали им стрелки на рельсах. Иногда такие самоходы калечили машины и убивали прохожих.
Однако виновными в подобных происшествиях оказывались всегда люди. Срабатывал человеческий фактор — водитель, решив забежать на минутку в диспетчерскую, не полностью обесточивал вагон, а только оттягивал токоприёмник и закреплял его не слишком умело. Ненадёжный узел распускался, пантограф взмывал к несущему проводу, и — трамвай отправлялся в самостоятельное плавание.
Самое страшное, на мой взгляд, может случиться, когда мы решим полностью положиться на пресловутый искусственный интеллект, решив, что он справится с задачей намного лучше. Чтó в этом случае ждёт человечество, предсказал Роберт Шекли в блестящем рассказе «Страж-птица»…
В некоем будущем правительство одной, отдельно взятой страны озаботилось убийствами, происходящими на её территории. И корпорации разработали специальное механическое устройство, ограждающее общественный порядок. Якобы мозг убийцы даёт излучение в некотором диапазоне, и на это излучение реагируют летучие стражи. Технология этого всего не важна даже автору. Тем более нам с вами лучше следить за социологией истории не слишком-то фантастической.
Страж-птицы успешно справляются с явными преступниками, но конструкторы, в наилучших намерениях, наделяют этих стражей способностью обучаться. И роботы-полицейские постепенно доходят до мысли, что даже выключить автомобиль — это значит убить живое. Естественно, что себя они защищают с той же быстротой и точностью.
Земная жизнь замирает. Отчаявшись, инженеры изобретают новую машину — Ястреба. Этот сложносочинённый хищник должен сбивать Страж-птиц, вышедших из-под контроля. Но его тоже приходится снабдить способностью обучаться. И постепенно Ястребы понимают, что на Земле ещё миллионы существ, которых следует убивать.
— Всё потому, что мы поручаем машине дело, за которое должны отвечать сами», — подытоживает ситуацию один из персонажей рассказа.
А нынешнее человечество сейчас сразу перешло к Ястребам. Объявлено, что в ближайшие годы в России появятся беспилотные боевые роботы, которые смогут стрелять из калашей, пускать ракеты, мины. Эти устройства станут практически автономными. Оператору останется запустить это ББР и любоваться его совершенными действиями.
Производители убеждены, что, с технологической точки зрения, создать робота-убийцу возможно уже сегодня. Главная проблема — как его обучать, как снабдить способностью принимать самостоятельные решения.
Но уже сейчас разработчики спрашивают друг друга — а что случится с таким механизмом в реальных условиях? Сможет ли он отличить врага от близкого друга?
В недалёком прошлом военные пробовали дрессировать морских животных. Обучали афалин и белобоких доставлять мины к вражеским кораблям. Но затею эту пришлось оставить, поскольку дельфины своё судно от чужого не отличали. А, может быть, представляется мне, всё, сооруженное человеком, для них — чужое и чуждое?
Но теперь мы собираемся в который раз наступать на те же самые грабли. Инженеры гордо уверены, что они смогут поменять способы боевых действий. Заставить механизмы воевать вместо людей.
Эту ситуацию описал всё тот же Шекли в рассказе «Армагеддон». В последней, решающей битве с силами вселенского зла Верховный командующий посылает в бой роботов. Человеческим качествам он никак не может довериться. Механические воины дерутся отчаянно, взрываются, сгорают в адском пламени, но упорно прорываются вперёд. Воинство Сатаны побеждено, с небес спускается Господь в сопровождении белокрылых архангелов. И забирает в Рай именно роботов, оставляя человечество своей избранной доле.
«Сказка ложь, да в ней намёк…», — написал уже наш, российский мыслитель. Этот намёк нам и следует разгадать. Покуда ещё не поздно.
