Вернувшийся на днях из "постшестогомайской" эмиграции Алексей Сахнин опубликовал в Газете.ру колонку о том, ждет ли нас деспотизм разумных машин (Черт из машины – https://www.gazeta.ru/column/s77173/12329773.shtml – 11.05.2019, 09:21). Прилежно следуя научному методу Маркса, автор развенчивает миф о том, что существуют какие бы то ни было отношения между людьми и машинами, объясняя их как отношения между людьми по поводу или при посредстве машин. «...в реальном мире, а не в фантазиях футурологов, – пишет Алексей, – у каждой машины, программы или технологии есть хозяин. И нажимая на клавиши компьютера или двигая рычаги космического корабля, человек всякий раз вступает во взаимодействие с тем, кто дал деньги на исследования или инвестировал в новое технологическое производство».

Так случилось, что в этот же день, дочитав дилогию израильского профессора Юваля Ноя Харари 'Sapiens' и 'Homo Deus' и заново взглянув «с высоты птичьего полета» на эволюцию человека и машины, я, как мне кажется, нашел ответ на занимавший меня уже много лет вопрос: стоит ли людям всерьёз опасаться машин, при том, что машина как минимум по трем статьям однозначно уступает человеку: не имеет воли (не принимает самостоятельных решений), не различает хорошего и плохого (по крайней мере не испытывает положительных и отрицательных эмоций), да и в конце концов, в любой момент может быть безболезненно выключена?

И вывод, который я собираюсь ниже обосновать, состоит в том, что техника по этим трем параметрам если и уступает пока человеку, то лишь количественно, да и то ненамного, так что превращение неживых машин в самостоятельные субъекты (чтоб не сказать «в самостоятельных субъектов») – вопрос времени.

Начнем с третьего пункта. Мое исходное представление о всемогущей машине связано с прочитанным в 70-е годы рассказиком не помню какого автора, из серии умещающихся на последнюю страницу журнала «Вокруг света». Вкратце: люди создали машину, аккумулировавшую все знания человечества, и на торжественной церемонии запуска спросили ее: есть ли бог? «Теперь, – ответила машина, – бог есть!». Главный конструктор метнулся к стене и за долю секунды до того, как получил смертельный удар током, успел выдернуть вилку из розетки. Конец рассказа.

А теперь задумаемся: есть ли вот такая розетка, кнопка или рубильник, к примеру, у Единой энергосистемы России, или того, во что она превратилась после известной реформы? Чтобы одним нажатием можно было выключить свет всей стране? Да наверняка нету! А если бы была – это было бы самое уязвимое место всей системы, да просто подарок диверсанту. Или, доведем до абсурда, есть ли такой рубильник у сети российских железных дорог? Или, еще лучше, у шоссейной сети? А то вдруг случится нашествие врагов или каких термитов по шоссейным дорогам. Наверное, главного конструктора Росавтодора, который предложил бы под каждый мост и хайвей заложить на всякий случай заряд динамита, сочли бы опасным параноиком-самострелом. Скорее всего, единая энергосистема (а Интернет – точно, мы это знаем от его создателей) для того и задумана, чтоб никакая локальная авария, в сколь бы важной точке сети она ни произошла, не вывела из строя остальную её часть. Таким образом, мы имеем пример машины (в широком смысле), задуманной и функционирующей так, что выключить ее, не нанеся ей одновременно в сотнях, тысячах мест большими усилиями катастрофические повреждения, невозможно.

По поводу тезиса, что взаимодействуя с машиной, мы фактически взаимодействуем с ее владельцем или создателем. Конечно, если взбесившийся комбайн поехал что-то молотить без водителя или человекоподобный робот размахался руками и кого-то прихлопнул – это несчастный случай. Нештатное поведение механизма, созданного в принципе не для этого. Но действительно ли конструктор властен предсказать все обстоятельства, в которых окажется его машина, и как она будет в них работать?

В первых версиях текстового редактора «Лексикон» был такой «баг» – если копируешь в карман последнюю строчку файла – исчезает весь текст, причем без возможности восстановления. Я далек от мысли, что это было сделано нарочно. Что-то было недоделано в алгоритме. Мы до сих пор пользуемся программами, написанными людьми, которые уже умерли, читаем блоги безвременно ушедших друзей. В конце концов, если я «тургеневская девушка», т.е. поступаю в жизни по алгоритмам, вычитанным в его книгах, значит ли это, что молодой человек, надежд которого я не оправдала, взаимодействует в моем лице с Тургеневым? Или с издательством «Эксмо»?

В рассказе Роберта Шекли «Страж-птица» – http://www.domino-books.narod.ru/lib/sheckley_watchbird.htm – самообучающиеся летающие роботы призваны предотвращать убийства и вообще насильственные действия. Любой ценой, вплоть до причинения смерти потенциальному убийце. Птицы последовательно атакуют грабителя с револьвером, охотника, рыбаков, мясника на бойне, старика, замахнувшегося на муху газетой, хирурга при исполнении, фермеров при попытке скосить траву… В условиях полного паралича с продовольствием власти не готовы дожидаться, как предлагает изобретатель, пока у птиц сядут батарейки, и заказывают ему самообучающихся «ястребов» для уничтожения страж-птиц. Что было дальше – пересказывать не буду…

Представим себе более реалистическую ситуацию: пожар на зоне. Предположим, все зеки сгорели сразу, а охранники пытаются покинуть горящую зону через забор. Обтянутый колючей проволокой под напряжением в N тысяч вольт. Была бы неэлектрифицированная зона, с вертухаями на башнях, вертухаи те, если они вменяемые, не стали бы (хотя им и положено по уставу) стрелять по своим же начальникам, а всячески бы им помогли в преодолении препятствий. Иное дело электроника. В ней ведь, наверняка, будет дополнительная степень защиты от сценария «зеки захватили диспетчерскую и отключили электричество» – какое-нибудь резервное питание включится, цепь переключится на запасной контур. Ведь не может же быть, чтоб хороший человек через забор лез – хорошие люди выходят через ворота, предъявляя пропуск турникету. И вся охрана погибнет – не от огня, так от разрядов тока.

Излишне доказывать что подобное возможно. Но дело обстоит гораздо хуже. Мы столкнемся с тем, что с точки зрения федерального тюремного начальства это будет в порядке вещей. Такие же «досадные, но неизбежные издержки», как смерти мирных жителей во время «миротворческих операций». Это лучшая из систем, скажут генералы службы исполнения наказаний и их пресс-секретари, которую можно было построить на имеющиеся деньги. Всего не предусмотришь. Главное ведь, что криминальные элементы не выбрались на волю. А погибшие охранники – ну на то они и военнослужащие, чтобы геройски погибнуть в случае государственной необходимости. Скажете, чудовищно? Скажете, если такое хоть раз случится, общество не допустит повторения? Как бы не так. Многие правительства и парламенты уже в нынешнем веке предписали уничтожать собственные самолеты с пассажирами, если есть предположение, что они захвачены террористами. А по-другому нельзя? Переоборудовать самолеты, чтобы ими в нештатных ситуациях управлять с земли? Это дорого. Дороже, чем жизни пассажиров.

Теперь по поводу «хорошо и плохо». Простейшее температурное реле способно при переохлаждении агрегата включить подогрев, а при перегреве – вентилятор. Человеческому же младенцу, чтоб научиться сбрасывать одеяло, когда жарко и кутаться в него, когда холодно, надо, наверное, не меньше семи месяцев взрослеть и постигать мир. Таким образом, даже не больно-то сложная машина может, как и человек, обнаружить, что ей «плохо» и сделать себе «хорошо». Что уж говорить о современных нейросетях.

Теперь по поводу воли. Есть много философских, психологических, юридических определений этого понятия. Я имею в виду только аспект принятия решений. Если кошка приходит ко мне поиграть, а мне некогда, и я на нее не реагирую, то через некоторое время она это поймет и уйдет, чтоб заняться чем-то другим. Я этого от нее ожидаю, потому что она обычно так поступает. Но каждый раз уйти – это ее решение, и в какой момент она его примет – на это может повлиять не поддающееся подсчету множество обстоятельств типа того, через сколько минут ей исходя из прежнего её опыта станет ясно, что дело безнадежно, а также какая птичка пролетела за окном и ее отвлекла или какая лапа в какой момент у нее зачесалась. Потому что кошка – живая. Нейробиологи говорят, что если я нашпигую кошкины мозги электродами, то узнаю о ее намерении меня покинуть за 6-7 секунд до его осуществления… Но чтобы, как предполагал Лаплас, имея полное знание о положении и скорости объектов предсказать их состояние в любой момент в будущем, т.е. предвидеть, во сколько кошка придет ко мне послезавтра и через сколько минут уйдет, боюсь, не хватит вычислительной мощности всех компьютеров мира, а в кошкиной голове не хватит места для электродов.

Попробую дать определение воли, в том аспекте, в котором она меня занимает, исходя из принципа действия нейрона, который получает из синапсов несколько входных сигналов и отправляет результирующий сигнал через аксон.

Воля – это способность субъекта отреагировать на сочетание многих обстоятельств, все возможные варианты которых не поддаются подсчету, действием, которое не может быть заранее точно предсказано иным лицом.

Нынешние машины уже достаточно сложны, чтобы предсказать их «поведение» на все случаи жизни не мог ни «конструктор», ни «владелец», ни «оператор». В этом смысле в них заложена функция «воли». В этом смысле они уже «субъекты».