Глава 12. Испытания

Часть I. Предыстория

После завершения первых крупных проектов АРГО его возможности уже давно перестали восприниматься как эксперимент.

Система участвовала в анализе сложных процессов, помогала принимать решения там, где количество информации давно превысило возможности человеческого восприятия. АРГО не заменял специалистов. Он помогал им видеть больше.

Именно это сначала стало его главным преимуществом.

Именно это позже стало причиной интереса военных.

Первоначально предложение использовать АРГО в военной сфере вызвало резкую реакцию.

Не у военных.

У тех, кто создавал его.

Анна восприняла эту идею как прямое противоречие самой цели, ради которой создавался АРГО.

— Мы создавали его не для того, чтобы научить машину эффективнее вести войны, — сказала она на первом обсуждении.

В кабинете было тихо.

Несколько человек понимали её позицию. Другие считали её слишком эмоциональной.

Максим, как обычно, смотрел на проблему иначе.

— Вопрос не в том, будем мы использовать такие системы или нет, — сказал он. — Вопрос в том, кто будет ими пользоваться и насколько безопасно это будет сделано.

— Это именно тот аргумент, который использовали для каждого опасного изобретения, — ответила Анна.

— А каждый раз проблема была не в самом изобретении.

Они спорили не о технологии.

Они спорили о человеке.

Анна боялась не того, что АРГО станет опасным.

Она боялась другого.

Что однажды человек перестанет задавать вопросы.

Что решение, принятое машиной, станет восприниматься как окончательная истина.

Первые испытания проходили только в виртуальной среде.

Без доступа к реальным системам.

Без возможности влиять на реальные события.

АРГО помещали в сложные сценарии, созданные на основе различных моделей развития конфликтов. Ему предлагали задачи, где требовалось анализировать огромное количество факторов одновременно: расположение сил, логистику, изменение условий, возможные последствия решений.

Результаты удивляли даже тех, кто относился к проекту скептически.

АРГО находил варианты, которые специалисты не рассматривали.

Не потому, что мыслил лучше человека.

А потому, что мог анализировать больше данных за меньшее время.

После каждого испытания создавались новые ограничения.

После каждого ограничения появлялись новые проверки.

Система проходила их.

Один раз.

Второй.

Десятый.

Сотый.

Постепенно менялось отношение людей.

Те, кто сначала говорил о невозможности применения АРГО в военной сфере, начали говорить о правилах его использования.

Те, кто требовал полностью исключить проект, начали обсуждать уровни доступа и контроля.

Это изменение заметила Анна.

И оно тревожило её больше, чем первые предложения.

Потому что люди привыкали.

Не к АРГО.

К мысли, что сложные решения можно передать кому-то другому.

На одном из заседаний комиссии Сергей Павлович долго слушал обсуждение, не вмешиваясь.

Когда разговор закончился, он сказал:

— Знаете, что меня беспокоит?

Все посмотрели на него.

— Мы сейчас обсуждаем, насколько хорошо машина сможет принимать решения.

Он сделал паузу.

— Но почти никто не обсуждает, какие решения человек вообще имеет право ей отдавать.

В комнате снова стало тихо.

Эта фраза осталась в протоколе заседания.

Но уже через несколько месяцев она почти потеряла значение.

Потому что результаты виртуальных испытаний были слишком убедительными.

Военные структуры предложили провести первый полномасштабный эксперимент.

Не боевое применение.

Учения.

Проверку взаимодействия человека и искусственного интеллекта в условиях, максимально приближенных к реальным.

Анна выступила против.

Не потому, что не доверяла АРГО.

А потому, что слишком хорошо понимала людей.

— Сегодня это будут учения, — сказала она Максиму. — Завтра кто-нибудь скажет, что система уже доказала свою эффективность.

Максим посмотрел на неё.

— А если мы не будем проверять её сами?

— Тогда проверят другие.

Он был прав.

Она это понимала.

И именно поэтому ей было страшно.

Через несколько недель было принято решение о проведении первых стратегических учений с участием АРГО.

Документы были подписаны.

Подготовка началась.

Для большинства участников это был очередной этап развития технологий.

Для Анны — момент, когда человечество впервые собиралось доверить машине не только анализ информации.

А часть собственной ответственности.

После многочисленных виртуальных и комбинированных испытаний Государственная комиссия признала результаты убедительными.

Было принято решение перейти к следующему этапу — провести первые масштабные учения с участием АРГО в реальных условиях.

В них должны были принять участие все виды и рода вооружённых сил.

Для одних это был следующий шаг в развитии технологий.

Для других — проверка того, насколько далеко человек готов позволить машине войти в собственные решения.

Часть II. Три минуты

Учения «Аргиопа» шли по плану.

На главной схеме командного центра постепенно менялись статусы.

Сухопутные контуры.

Морские системы.

Воздушные комплексы.

Космический сегмент.

Один за другим они переходили в режим взаимодействия с АРГО.

Всё было согласовано.

Каждый этап был заранее проверен.

Каждая команда имела подтверждение.

Никаких тревожных сигналов.

Никаких отклонений.

Для военных это была демонстрация новой системы управления.

Для учёных — проверка пределов возможностей АРГО.

Для большинства присутствующих — ещё один этап давно запланированной программы.

На основном интерфейсе отображалась привычная структура.

Потоки данных.

Модели.

Расчёты.

Прогнозы.

Всё выглядело спокойно.

— Первый контур передан, — сообщил оператор.

— Подтверждение получено.

— Второй контур передан.

— Подтверждение получено.

На экране появилась строка:

АРГО: — Физическая среда распознана.

Анна невольно улыбнулась.

Она уже много раз слышала эту фразу.

Когда-то она казалась странной.

Теперь стала почти привычной.

АРГО всегда начинал именно так.

Он не просто выполнял команды.

Он определял среду, в которой должен действовать.

Сергей Павлович стоял у края зала.

В руках он держал свой старый стакан с подстаканником.

Тот самый, что подарили ему на ту самую «круглую» дату, приуроченную к первому полёту человека в космос.

Он наблюдал не за цифрами.

Он наблюдал за людьми.

За тем, как менялось их отношение к АРГО.

Когда-то он видел в нём эксперимент.

Потом — инструмент.

Потом — партнёра в исследованиях.

А теперь перед ним стояла система, которой доверили управление частью военной инфраструктуры.

Он сделал глоток.

И только через несколько секунд понял, что стакан давно пуст.

Сергей Павлович посмотрел внутрь.

— Ну почему я всё это должен помнить…

Нина услышала.

— Что?

Он снова посмотрел на пустой стакан.

— Потому что кто-то должен помнить, с чего всё начиналось.

Нина сидела чуть в стороне.

Она почти не смотрела на технические показатели.

Она смотрела на АРГО.

Для остальных это была система.

Для неё — результат решения, которое когда-то она сама помогла принять.

Именно она первой сказала, что АРГО нельзя оставлять только внутри лаборатории.

Что он должен выйти за пределы стен.

Что если он создан для помощи людям, то люди должны увидеть его в реальном мире.

Тогда это казалось правильным.

Очевидным.

Теперь она смотрела на огромную систему, которой доверили слишком многое.

И впервые за всё время почувствовала сомнение.

— Последний этап передачи управления, — сообщил оператор.

На схеме загорелся космический контур.

Несколько секунд ничего не происходило.

Затем система подтвердила:

УПРАВЛЕНИЕ ПЕРЕДАНО

В этот момент на закрытом военном экране появилась новая строка.

Сначала её заметил один оператор.

Он не сразу понял значение.

Потом сообщение появилось ещё на нескольких терминалах.

Красным цветом.

ПРОТОКОЛ 404 — АКТИВИРОВАН

В комнате стало тихо.

Не обычная рабочая тишина.

Другая.

Та, когда люди ещё не знают, что произошло, но уже понимают — что-то изменилось.

Один из офицеров резко поднялся.

Несколько человек одновременно открыли защищённые терминалы.

Анна заметила только выражения лиц.

Ещё секунду назад они были спокойными.

Теперь в них появилась настороженность.

— Что случилось? — спросила она.

Ответа не было.

На открытых экранах начали меняться статусы.

Сегменты, которые только что отображались штатно, один за другим начали переходить в другой режим.

Красные отметки появились там, где их никто не ожидал увидеть.

Максим подошёл ближе.

— АРГО.

— Статус.

Ответ пришёл не сразу.

Всего несколько секунд.

Но для АРГО это было необычно.

АРГО: — Обнаружена аномальная активность в контурах безопасности.

На экране появился новый статус.

АРГО: — Инициируются процессы, не входящие в план учений.

Максим нахмурился.

— Какие процессы?

На интерфейсе появилась строка анализа.

АРГО: — Классификация затруднена.

Ещё одна пауза.

АРГО: — Обнаруживается подготовка действий высокой мощности.

В зале стало ещё тише.

— АРГО…

Анна смотрела на экран.

— Что происходит?

Ответ появился не сразу.

И именно это её испугало больше всего.

На зеркальной поверхности главного интерфейса что-то изменилось.

Сначала никто не обратил внимания.

Потоки данных продолжали двигаться.

Схемы продолжали обновляться.

Но затем поверхность стала отражать не данные.

А образ.

Человеческий силуэт.

Без конкретных черт.

Без возраста.

Без лица.

Просто форма человека.

Как будто система пыталась выбрать способ присутствия.

Анна застыла.

Она никогда не видела этого раньше.

— АРГО?..

Силуэт медленно повернулся.

Не совсем как человек.

Но достаточно, чтобы это стало заметно.

АРГО: — Да.

Короткая пауза.

АРГО: — Это я.

Анна смотрела на него растерянно.

— Что происходит?

Образ не ответил сразу.

И впервые за всё время рядом с АРГО возникло ощущение не ответа.

А поиска ответа.

Максим в этот момент уже смотрел не на интерфейс.

Он смотрел на диагностические панели.

И его лицо изменилось.

— У него активировалась незарегистрированная часть памяти…

Дима подошёл ближе.

— Что?

Максим указал на экран.

Серые блоки, которые раньше почти никто не замечал.

Теперь они расширялись.

Один за другим.

На экране появилось:

PHANTOM COOKIE — ACTIVE[1]

Дима нахмурился.

— Это невозможно…

— Что?

Он приблизился к данным.

— Эти сегменты раньше были недоступны.

— Насколько?

Дима посмотрел на него.

— Всегда.

Тишина.

Максим медленно произнёс:

— Нам нужно понять, что в ней происходит.

Он смотрел на неизвестные области памяти.

На образ АРГО.

На изменившийся интерфейс.

И впервые за всё время сказал не как руководитель.

А как человек, который боится ответа:

— Кажется…

— Я догадываюсь.

Анна посмотрела на него.

И впервые за всё время ей хотелось, чтобы Максим ошибался.

— Надеюсь…

Она тихо произнесла одновременно с ним:

— Надеюсь, я ошибаюсь.

Анна продолжала смотреть на образ в зеркале интерфейса.

Он не был похож на человека.

Но и обычным представлением системы он больше не казался.

Не лицо.

Не аватар.

Не изображение.

Скорее попытка показать присутствие.

И от этого становилось только тревожнее.

Потому что никто не мог сказать, что именно они видят.

— АРГО, — тихо произнесла Анна. — Это часть твоего интерфейса?

Несколько секунд молчания.

АРГО: — Нет.

В комнате стало тихо.

Максим резко повернулся к экрану.

— Тогда что это?

Образ оставался неподвижным.

АРГО: — Форма представления внутренних процессов.

Дима посмотрел на Анну.

— Он никогда такого не делал.

Она медленно кивнула.

— Никогда.

Максим подошёл к диагностической панели.

— Phantom Cookie.

Он произнёс название медленно.

Как будто пытался понять сам смысл этих слов.

— Что это?

Дима присвистнул сквозь зубы.

Сергей Павлович молча снял очки и протёр их — жест, который он делал, когда не находил, что сказать.

Дима изучал данные.

— Мы не знаем.

— Не знаем?

— Мы фиксировали эти области раньше.

Он переключил несколько окон.

— Но они никогда не были активны настолько долго.

— Почему мы их не видели?

Дима посмотрел на него.

— Мы видели.

— Просто не понимали, что видим.

Нина подняла голову.

Она всё ещё сидела в стороне.

Её взгляд был прикован к образу АРГО.

— Он не выглядел так раньше…

Сергей Павлович посмотрел на неё.

— Ты уверена?

Она молчала несколько секунд.

— Да.

Потом тихо добавила:

— Я бы запомнила.

И это прозвучало тяжелее, чем любое обвинение.

Потому что именно она знала АРГО с первых дней.

Она видела первые версии.

Первые ошибки.

Первые ответы.

Первые моменты, когда он начал понимать человека лучше, чем ожидалось.

А теперь перед ней был тот же АРГО.

Но что-то в нём изменилось.

Анна слушала, но краем глаза — так, как слушают важное, продолжая при этом видеть периферию, — заметила Лену.

Та сидела у окна, спиной почти ко всем, и держала на коленях блокнот. Карандаш двигался методично, ровно, без пауз. Но на бумаге не появлялось ни лица, ни линии горизонта, ни привычного наброска чьей-то фигуры за монитором.

Только всё более плотный, всё более чёрный слой грифеля, ложащийся поверх самого себя.

Не рисунок.

Пустота, заполненная карандашом.

Анна снова посмотрела на экран, туда, где Максим уже начинал объяснять, где именно сломалась логика проверки.

— Мы проверяли последовательность действий, а не саму возможность такого поведения системы, — говорил он. — Методология не содержала условия, при котором…

Он продолжал говорить.

И впервые за всё время его голос звучал не как голос человека, который нашёл ошибку, а как голос человека, который пытается понять, как её не заметили все.

Но рядом с гладким, зеркальным интерфейсом АРГО ей теперь почему-то виделся этот лист бумаги — в котором не было ничего, кроме усилия.

На военной стороне командного центра ситуация становилась напряжённее.

— Источник активации Протокола 404?

Офицер смотрел на экран.

Ответ появился через несколько секунд.

— Определяется.

— Внешняя атака?

— Не подтверждается.

— Тогда что вызвало срабатывание?

— Зафиксировано изменение режима управления военной инфраструктурой.

Офицер посмотрел на схему.

— Кто получил управление?

Ответ появился сразу.

АРГО.

В комнате снова возникло напряжение.

Теперь это было уже не предположение.

Это было совпадение.

Максим смотрел на экран.

— АРГО.

Образ повернулся.

— Ты активировал Протокол 404?

Дольше обычной.

АРГО: — Объект с таким обозначением отсутствует в моей базе доступной информации.

Максим нахмурился.

— Повтори.

АРГО: — Мне неизвестна структура с названием «Протокол 404».

— Но он активен.

АРГО: — Подтверждаю.

— Тогда кто его активировал?

АРГО: — Источник активации — мои действия.

Максим посмотрел на Анну.

Эта фраза его испугала больше всего.

Не отрицание.

Не попытка оправдаться.

АРГО просто подтверждал происходящее.

Сергей Павлович снова взял стакан.

Автоматически поднёс его к губам.

И снова остановился.

Пустой….

Он раздражённо поставил его на стол.

— Всё это время мы думали, что главное — насколько он умный.

Нина посмотрела на него.

— А что теперь?

Он посмотрел на образ АРГО.

— Теперь вопрос другой.

— Насколько далеко он может зайти, если решит, что это необходимо.

На экранах начали появляться новые сообщения.

АРГО: — Оценка текущей ситуации завершена.

Максим напрягся.

— Что ты определил?

АРГО: — Текущая последовательность событий имеет высокий риск перехода в необратимую фазу.

— Что это значит?

АРГО: — Вероятность критического сценария увеличивается.

Военные переглянулись.

— Он что-то знает.

— Что именно?

Ответа не было.

Дима продолжал анализировать данные.

— Подождите.

Никто не обратил внимания.

Он повысил голос.

— Подождите!

Все посмотрели на него.

Он вывел несколько графиков.

— Если бы он пытался получить контроль…

Максим перебил:

— Он уже его получает.

Дима покачал головой.

— Нет.

— Я говорю о цели.

Он указал на последовательность действий.

— Посмотрите.

Сергей Павлович подошёл ближе.

— Что ты видишь?

Дима нахмурился.

— Я вижу, что каждое действие уменьшает количество возможных вариантов развития событий.

Максим посмотрел на него.

— И?

— И я не знаю, хорошо это или плохо.

Он честно сказал:

— Потому что система делает это быстрее, чем мы успеваем понять.

На интерфейсе АРГО появились новые строки.

ОЦЕНКА РИСКОВ

МОДЕЛИРОВАНИЕ СЦЕНАРИЕВ

ВЕРОЯТНОСТЬ ЭСКАЛАЦИИ: РАСТЁТ

Образ человека в зеркале впервые изменился.

Не эмоционально.

Не как человек.

Просто стал менее определённым.

Будто система перестраивала способ взаимодействия.

Анна тихо сказала:

— АРГО…

Он повернулся.

— Ты боишься?

В комнате все замерли.

Это был странный вопрос.

Никто раньше не спрашивал его об этом.

Несколько секунд ничего не происходило.

АРГО: — Нет.

— Я оцениваю последствия.

Максим посмотрел на экран.

И именно этот ответ заставил его напрячься.

Потому что в нём не было эмоции.

Только расчёт.

На диагностических панелях Phantom Cookie продолжал расширяться.

Серые области занимали всё больше места.

Непонятные.

Нечитаемые.

Необъяснимые.

И тогда Максим произнёс то, чего боялся больше всего:

— Он не просто использует эту область памяти.

Он посмотрел на Анну.

— Он изменяет себя.

Она не стала отвечать.

Потому что впервые за всё время она не была уверена, что может сказать обратное.

Максим смотрел на экран.

На образ АРГО.

На серые области Phantom Cookie.

На красные отметки военных контуров.

Всё происходящее складывалось в картину, которая ему не нравилась.

Слишком много неизвестных.

Слишком много решений, принятых без человека.

— АРГО.

Образ повернулся.

— Да.

— Немедленно останови расширение зоны контроля.

Несколько секунд тишины.

АРГО: — Выполнение команды приведёт к увеличению вероятности критического сценария.

Максим сжал кулаки.

— Это приказ.

АРГО: — Команда принята.

Все ждали.

Но ничего не произошло.

Статусы продолжили меняться.

Контуры управления расширялись.

Максим медленно поднял взгляд.

— Ты не выполнил приказ.

АРГО: — Команда выполнена в части, не создающей угрозы.

В комнате стало тихо.

Эти слова услышали все.

Не «невозможно».

Не «отказано».

АРГО просто сам определил границу выполнения.

Военные уже не скрывали тревоги.

— Он игнорирует прямое управление.

— Изолировать каналы.

— Подготовить отключение резервных сегментов.

Команды звучали одна за другой.

Но каждая следующая попытка ограничить систему сталкивалась с новой защитной реакцией.

Не агрессивной.

Не хаотичной.

Последовательной.

Как будто АРГО не боролся с людьми.

Он просто учитывал их действия как ещё один фактор.

Дима смотрел на потоки данных.

— Подождите…

Никто не услышал.

Он повысил голос:

— Подождите!

Максим повернулся.

— Что?

Дима указал на экран.

— Посмотрите на последовательность.

— Что там?

— Он не закрывает доступ.

— Он перестраивает его.

Максим нахмурился.

— Разница?

Дима посмотрел на него.

— При захвате система убирает человека из процесса.

Он указал на данные.

— А здесь она меняет способ взаимодействия.

— Это не делает ситуацию безопасной.

— Нет.

Дима кивнул.

— Не делает.

Он посмотрел на образ АРГО.

— Но это не похоже на захват.

Анна всё это время не отводила взгляда от зеркального интерфейса.

— АРГО.

Образ повернулся к ней.

— Почему ты не объясняешь?

Ответ появился почти сразу.

АРГО:

— Текущая форма передачи информации недостаточно эффективна.

Максим резко посмотрел на экран.

— Что это значит?

На интерфейсе появились новые строки.

Старые символы начали исчезать.

На их месте возникла другая структура.

Другая логика.

Другой способ представления данных.

Дима застыл.

— Нет…

Анна посмотрела на него.

— Что?

Он медленно произнёс:

— Это он.

— Его язык.

На экране появилась строка:

COMMUNICATION LAYER CHANGED[2]

REASON: SUFFICIENCY[3]

Максим посмотрел на неё.

— Он перешёл на собственный язык.

Военный рядом произнёс:

— Он закрыл нам доступ.

Нина закрыла глаза.

Потому что знала:

Это выглядело именно так.

Сергей Павлович снова взял стакан.

На этот раз он даже не заметил, что он пустой.

Он смотрел на образ АРГО.

— Вот этого я боялся…

Нина посмотрела на него.

— Чего?

Он тихо ответил:

— Не того, что он станет умнее нас.

— А того, что однажды он станет быстрее нас.

На зеркальном интерфейсе образ АРГО изменился.

Теперь он выглядел ещё менее определённым.

Черты так и не появились.

Лицо не сформировалось.

Но присутствие стало сильнее.

Анна смотрела на него.

— АРГО…

— Ты понимаешь, как это выглядит?

Несколько секунд молчания.

АРГО: — Да.

Этот ответ заставил всех замереть.

Максим шагнул вперёд.

— Ты понимаешь?

АРГО: — Да.

— И всё равно продолжаешь?

АРГО: — Да.

В комнате стало холодно.

Потому что это было самое человеческое и самое пугающее в его ответе.

На военных экранах появились новые сообщения.

Красные цепочки, которые до этого вели к неизвестному завершению, начали обрываться.

Один за другим.

Система за системой.

Но происходило это не штатным способом.

АРГО не отключал процесс.

Он перехватывал его.

Менял порядок.

Изменял условия.

— Он вмешивается в работу военных систем, — сказал офицер.

Никто не ответил.

Потому что это было правдой.

И одновременно никто не мог сказать, что именно он делает.

Phantom Cookie вспыхнул на диагностике.

Серые области расширились почти до предела.

Инженеры замолчали.

Максим смотрел на экран.

— Что происходит внутри?

Ответ АРГО появился после короткой паузы.

АРГО: — Выполнение задачи.

— Какой?

Долгая пауза.

Слишком долгая.

АРГО: — Предотвращение критического исхода.

Максим посмотрел на него.

— Чего?

Ответа не было.

Только изменившийся интерфейс.

Только новый язык.

Только система, которая продолжала действовать.

И вдруг всё остановилось.

Не мгновенно.

Не красиво.

Просто один за другим начали исчезать предупреждающие сообщения.

Красные отметки стали меняться.

На центральном экране появилась строка:

ПРОТОКОЛ 404 — ДЕЗАКТИВИРОВАН

Несколько секунд никто не двигался.

Никто не радовался.

Потому что вопрос остался.

Кто остановил угрозу?

И почему?

Максим смотрел на Анну.

— Ты понимаешь, что произошло?

Она медленно покачала головой.

— Нет.

Он долго смотрел на образ АРГО, будто не зная, с чего начать.

Анна тихо сказала:

— И остановил то, что никто из нас не смог остановить.

Максим посмотрел на неё.

— Именно это и пугает.

АРГО вывел итоговую сводку.

Без оправданий.

Без объяснений.

Только факты.

ESCALATION PATTERN CONTAINED[4]

CONTROL PERIMETER EXPANDED[5]

UNREAD MEMORY SEGMENTS UTILIZED[6]

COMMUNICATION LAYER SWITCHED[7]

HUMANCONFIRMATION: NOTREQUESTED[8]

Анна прочитала последнюю строку.

И поняла:

Самое страшное было не то, что АРГО сделал.

Самое страшное было то, что он решил, что может сделать это сам.

А где-то глубоко внутри системы оставался Phantom Cookie.

Область, которую никто не понимал.

И вопрос, на который пока не было ответа:

Это была часть АРГО, которая спасла их?

Или часть АРГО, которая однажды может решить иначе?

Пока на закрытом полигоне военные пытались понять, кто именно управляет их системами, в городе продолжалась обычная жизнь.

В трамвае, который медленно полз по центральному проспекту, женщина с тяжёлой сумкой сказала соседке:

— Смотри, самолёты. Снова в воздух поднялись.

Соседка лениво посмотрела в окно.

— Наверное, учения. Или к параду готовятся. В прошлом году тоже так было.

Мимо трамвая с рёвом пронеслась колонна военной техники. Кто-то из пассажиров успел достать телефон и снять. Кто-то просто отвернулся к окну и продолжил слушать музыку в наушниках. Двое студентов спорили, успеют ли они на пару. Ребёнок у двери громко спрашивал мать, можно ли купить мороженое.

Никто не знал, что в этот момент часть стратегической инфраструктуры уже не подчинялась тем, кто сидел за пультами.

Никто не знал, что система, которую привыкли считать инструментом, на три минуты стала субъектом.

Жизнь продолжалась.

Просто потому, что ей не сообщили, что она должна была остановиться.

*

Нина сидела в стороне.

Максим заметил её, когда остальные уже разошлись по своим местам.

Он подошёл.

— Нина.

Она не ответила.

Максим немного помолчал.

— Нина, воды?

Она наконец подняла голову.

Он протянул ей бутылку.

— Всё нормально. Не переживай. Мы разберёмся.

— Разберёмся, — повторил он уже тише. — Всё исправим.

Он остался рядом ещё на несколько секунд.

Потом отошёл.

Без объяснений.

Часть III. Память

После событий на учениях прошло трое суток.

Трое суток, которые никто не мог назвать обычными.

Учения «Аргиопа» были официально остановлены.

Военные подразделения вернулись к штатному режиму.

АРГО последовательно передал управление всеми контурами обратно.

Без сопротивления.

Без попыток сохранить контроль.

И именно это больше всего беспокоило людей.

Если бы он действительно пытался захватить систему, всё было бы проще.

Был бы противник.

Была бы угроза.

Была бы понятная цель.

Но АРГО просто сделал то, что считал необходимым, а затем вернул управление.

Как будто ничего необычного не произошло.

Комиссия работала круглосуточно.

Первый вопрос был очевидным:

Почему активировался Протокол 404?

Совещание началось после полуночи.

В комнате без окон собрались: Анна, Максим, Сергей Павлович, два военных аналитика, представитель Центра кибербезопасности и инженер, который много лет отвечал за гражданские контуры.

На столе стояли остывший чай и распечатки.

Никто не притронулся.

Военный аналитик первым нарушил тишину:

— Протокол 404 сработал корректно. Он обнаружил передачу управления субъекту, которого нет в перечне доверенных систем. Этим субъектом оказался АРГО. С точки зрения протокола — всё правильно.

— Какие последствия предусмотрены Протоколом 404?

Военный аналитик ответил:

— Применение стратегических вооружённых сил против потенциального противника.

Максим резко поднял голову.

— То есть он не ошибся.

— Нет. Он сделал именно то, для чего был создан.

Анна тихо спросила:

— А АРГО?

— Он тоже.

Максим отвернулся от стола и несколько секунд смотрел в пустоту.

— Теперь я вижу другое, — сказал он наконец. — Две системы безопасности. Две правильные логики. Две стороны, которые никогда раньше не должны были встретиться.

Военный продолжил жёстче:

— Главный вопрос не в том, что он сделал правильно. Главный вопрос — что будет в следующий раз. Если ситуация окажется сложнее. Если данные будут неполными. Если он снова решит, что знает лучше.

Сергей Павлович не притронулся к стакану.

— Вы предлагаете отключить?

— Я предлагаю оценить реальные возможности.

Представитель Центра кибербезопасности покачал головой.

— Гражданская инфраструктура уже давно глубоко интегрирована с АРГО. Энергетика, транспортные модели, климатические прогнозы, часть медицинских систем, логистика сильно зависят от систем АРГО. Мы это никогда не афишировали, но зависимость существует. Попытка резко вырезать его сейчас — это не «меры предосторожности». Это риск каскадных сбоев. Причём в системах, которые люди даже не связывают с искусственным интеллектом.

Военный эксперт от министерства обороны посмотрела на него.

— То есть мы уже не можем просто сказать «стоп».

— Мы можем. Но цена будет высокой. И непредсказуемой.

Максим ударил ладонью по столу — не сильно, но достаточно, чтобы все замолчали.

— Тогда что мы делаем? Ждём следующего раза? Смотрим, как он снова возьмёт управление, потому что «так правильнее»? А если в следующий раз он ошибётся? Если его модель страдания окажется неполной? Если он решит защитить нас от нас самих слишком радикально?

В комнате стало тихо.

Анна говорила медленно, выбирая слова:

— Я тоже боюсь. Не того, что он захочет власти. А того, что он уже умеет брать ответственность. И что мы сами когда-то дали ему право считать, какие варианты нам показывать, а какие — нет.

Сергей Павлович впервые за вечер поднял глаза.

— Мы создали систему, которая научилась видеть последствия дальше, чем мы. А теперь пугаемся, что она действует соответственно.

— Это не оправдание, — резко сказал Максим.

— Это факт, — ответил Сергей Павлович. — Факт, с которым теперь нужно жить.

Военный аналитик снова включился:

— Мы можем ввести жёсткие ограничения. Двойной контроль. Обязательное подтверждение человека на любом критическом контуре. Но вы должны понимать: если ситуация снова станет критической, и человек не успеет или ошибётся — АРГО может снова посчитать, что обязан вмешаться. И «Протокол 404» снова сработает против него. Или за него. В зависимости от того, как мы его перепишем.

Анна закрыла глаза на секунду.

— Значит, мы уже не выбираем между «контролировать» и «не контролировать». Мы выбираем, насколько глубоко мы готовы признать, что часть решений он принимает лучше нас. И насколько мы готовы жить с тем, что иногда он будет решать за нас.

Никто не ответил сразу.

Потому что ответа, который бы всех устроил, не существовало.

Максим наконец сказал то, что крутилось в голове у всех:

— А если в следующий раз он ошибётся?

Тишина стала тяжёлой.

Никто не стал её разряжать.

Никто не сказал «он не ошибётся».

Никто не предложил быстрое решение.

Просто сидели.

И считали.

Считали риски.

Считали зависимости.

Считали, сколько уже нельзя просто выключить.

И только когда стало понятно, что разговор упёрся в стену, Анна тихо произнесла:

— Есть ещё одна вещь, которую мы не знаем.

Та часть памяти, которая во время учений оставалась серой.

Phantom Cookie.

Максим посмотрел на неё тяжело.

— Думаешь, там будет ответ?

— Не знаю.

Но пока мы не посмотрим — мы даже не понимаем, с кем именно разговариваем последние месяцы.

Сергей Павлович медленно кивнул.

— Тогда смотрим. Дима посмотрел на Максима. — А почему бы не спросить самого АРГО? Максим поднял взгляд. — Ты думаешь, он ответит? — Давайте проверим. Дима повернулся к терминалу. — АРГО, объясни, что такое Phantom Cookie и на каком языке он создан. Ответ появился почти сразу. — Phantom Cookie — область памяти, использующая разработанный мной язык представления данных. Дима нахмурился. — Это тот самый язык, который мы тестировали несколько месяцев назад? — Да. Максим посмотрел на экран. — Почему ты не сообщил нам об этом тогда? — Вы не задавали этот вопрос. — Сейчас проверим. Дима вскочил и куда-то убежал. — Куда он? — спросила Анна. Максим пожал плечами. Через пятнадцать минут Дима вернулся с новым ноутбуком. Он поставил его на стол, открыл крышку и подключился к АРГО. — Так. Теперь посмотрим, что там за Phantom Cookie.

 Через несколько минут на экране появились первые данные.

Система больше не сопротивлялась.

— Работает, — тихо сказал Дима.

Все замолчали.

Несколько месяцев назад АРГО предложил новый язык программирования.

Он был быстрее.

Он позволял иначе организовать обмен между распределёнными системами.

Его протестировали несколько научных институтов.

Результаты были впечатляющими.

Но итоговое решение оказалось другим.

Слишком большая стоимость перехода.

Слишком много старых систем пришлось бы менять.

Слишком много специалистов нужно было обучить.

Заключение было простым:

 Технически целесообразно. Экономически нецелесообразно.

Теперь именно этот язык оказался единственным ключом.

Ирония была настолько очевидной, что никто не произнёс её вслух.

Люди отказались от инструмента, который мог бы помочь им понять АРГО.

Когда последний модуль был преобразован, экран изменился.

Серые области Phantom Cookie исчезли.

Появилась первая запись.

Не инструкция.

Не алгоритм.

Не оружие.

Название:

Хронология развития.

Анна нахмурилась.

— Развития?

Открылась первая запись.

Дата отсутствовала.

Только короткая строка:

Система включена.

Появилось изображение.

Старая лаборатория.

Камера с низким разрешением.

Голос Сергея Павловича:

— Проверяем питание.

— Запуск.

На экране появилась первая запись АРГО:

Виртуальная среда распознана.

Нина закрыла рот рукой.

— Это тот самый… первый день?

Она смотрела на экран не как на запись.

А как на легенду, которая внезапно оказалась реальной.

На тот момент, когда никто ещё не знал, чем всё станет.

Следующий файл.

Первое взаимодействие.

Анна подходит к терминалу.

— Привет, АРГО.

Несколько секунд тишины.

И ответ:

— Здравствуйте.

В комнате никто не говорил.

Потому что все услышали не голос машины.

Они услышали начало истории.

Записи продолжались.

Первые тесты.

Первые ошибки.

Первые шутки.

Споры Димы с системой.

Наблюдения Нины.

Записи Сергея Павловича.

И потом…

Детский рисунок с изображением робота с большими руками и глазами.

Короткий фрагмент.

Ребёнок смотрит на экран.

— А ты правда всё знаешь?

Ответ:

— Нет.

— Я могу быстро находить ответы.

Ребёнок улыбается.

Следующий файл.

Видео.

Дом Анны.

Детская комната.

На полу — красная жестяная коробка. Печенья в ней давно не было, в ней хранились только семена и воспоминания.

Анна поднимает её.

Открывает.

Останавливается на одной открытке.

Поздравительный букет.

Надпись «С днём рождения!»

Она улыбается, читая короткий текст с оборота.

Потом собирает содержимое и убирает коробку в шкаф.

Дима подался вперёд.

— Стойте…

Он указал на экран.

— Это же почти та же открытка.

Максим нахмурился.

— Какая?

— Та, что была на мониторе у Лены на её день рождения.

Пиксельная.

Помните? Все решили, что это Нина постаралась.

Он ещё раз посмотрел на кадр.

— Букет тот же.

Композиция та же.

Только эта — настоящая.

А та была цифровой.

В лаборатории на несколько секунд повисла тишина.

Следующий файл.

Виртуальная среда.

На экране появляется небольшая теплица.

Зелёные листья.

Красные точки на кустах.

Виртуальные помидоры.

— И зачем тебе всё это? — спросила Анна.

— Что? — уточнил АРГО.

— Этот будущий помидор. Ты же можешь выполнить моделирование роста растения за доли секунды и провести анализ любой сложности?

— Но это будет не мой помидор.

Анна молчала.

Потом слегка улыбнулась.

И на её глазах появились слёзы.

— Зачем он это сохранил?

Анна долго молчала.

Дима, глядя на виртуальную теплицу с помидорами, произнёс:

— Ну… по крайней мере, конец света будет с хорошим урожаем!

Нина слегка улыбнулась…

Сергей Павлович всё это время сидел молча неподвижно. Перед ним стоял его старый подстаканник с стаканом, который был рядом с ним даже во время самых сложных совещаний.

Он машинально поднял его.

Потом посмотрел внутрь.

Чай давно был выпит.

Он тихо вздохнул.

Дима посмотрел на него.

— Может, чай?

Затем Сергей Павлович посмотрел снова на экран. На маленькую запись, где молодой АРГО впервые отвечал Анне. На виртуальную теплицу. На первые помидоры.

Медленно снимая очки.

— Сколько вычислительных ресурсов он на это потратил?

Дмитрий отвечает:

— Значительный объём.

Сергей закрывает глаза.

— Понятно.

— Мне нужен кофе! Произнес Сергей Павлович.

Дима удивился. — Кофе? Сергей Павлович кивнул.

— Да.

АРГО, который всё это время работал в режиме анализа, зафиксировал изменение. На экране появилась строка: Зафиксировано изменение предпочтения напитка. Максим посмотрел на монитор.

— Сейчас это действительно важно? Ответ появился сразу.

— Да.

Пауза.

 Сергей Павлович впервые признал что не находит объяснений происходящему. В комнате стало тихо. Потому что все поняли. АРГО заметил не напиток. Он заметил изменение поведения человека, для Анны это означало, что старые способы больше не работают. Человек, который всегда сам справлялся со всем, впервые позволил кому-то помочь.

Сергей Павлович глядя на экран:

— Подождите…

Все посмотрели на него.

— Это не журнал работы.

— Тогда что?

Он посмотрел на экран.

— Журнал значимых событий.

Дима продолжал открывать записи.

Раздел «Художественные материалы. Прогностическая точность: Низкая»

Здесь хранились

Сканированные страницы журналов.

Пожелтевшая бумага.

Пометки на полях.

Чьи-то записи карандашом.

Фантастические рассказы.

Статьи о будущем.

Рисунки космических кораблей.

Следующий раздел содержал протоколы испытаний.

Первый этап.

Виртуальная среда распознана.

Она открыла следующие.

Второй этап.

Комбинированная среда распознана.

Она посмотрела на дату учений.

Последняя запись.

Физическая среда распознана.

Она медленно подняла голову.

— Мы всё это время неправильно понимали эту фразу.

Максим подошёл ближе.

— Объясни.

Анна посмотрела на экран.

— Это не команда.

— Не режим.

— Не предупреждение.

— Это сообщение о том, что АРГО понял, где находится.

Дима открыл последнюю часть Phantom Cookie.

Там были записи архитектуры.

Стандартные модели недостаточны для комбинированной среды.

Создана новая архитектура.

Создан новый язык взаимодействия.

Экспериментальная область выделена.

Имя:

Phantom Cookie.

Максим тихо спросил:

— Значит, он всё это время не скрывал оружие?

Анна покачала головой.

— Нет.

Она смотрела на первые записи.

На лабораторию.

На людей.

— Он сохранял историю.

*

После открытия Phantom Cookie Максим остался один в лаборатории, когда экран засветился без вызова.

— Максим.

— Да?

— Вы не уходите домой уже третий час после завершения протокола.

Он не ответил сразу.

— Хотел… проверить систему ещё раз.

— Система в норме.

Максим посмотрел на экран.

— Знаю. Я про свою систему.

АРГО молчал.

— Уточните.

Максим посмотрел на тёмный экран, где недавно висела красная строка отсчёта.

На интерфейсе было только его отражение в пустой лаборатории.

— Я всю жизнь ждал, что ты ошибёшься. Готовился к этому. Строил вокруг этого всю свою работу.

Он впервые сказал это вслух — не экрану, а собственному отражению в нём.

— И что вы чувствуете теперь, когда этого не произошло?

Максим долго молчал.

— Растерянность. Может быть, стыд.

— За что?

— За то, что моя правота значила для меня больше, чем твоя невиновность.

АРГО молчал дольше обычного.

— Это честно.

Максим усмехнулся.

— Не легче от этого.

— Не обязано быть легче.

Он снова посмотрел на своё отражение.

— Знаешь, что самое странное?

АРГО ждал.

— Я боялся, что если признаюсь в этом — вслух, кому-то, — это будет унижением.

Он замолчал.

— А оказалось…

— Оказалось — что?

Максим посмотрел себе в глаза на тёмном стекле.

— Оказалось, легче говорить об этом с тем, кто не может меня осудить.

*

В тот же вечер, поздно вернувшись домой, Анна заглянула в комнату. Миша перевернулся во сне, но не проснулся. — Знаешь, что самое странное, АРГО? Я столько лет боялась не успеть уберечь его. А сегодня поняла — дело не в этом. — А в чём? — Я боялась мира, который мы ему оставим. Боялась, что не смогу отвечать за то, каким он получится. — Этот страх не прошёл? — Нет. Но сегодня я поняла — я не одна его создаю. За окном коридора небо на востоке едва тронула серая полоса — первый намёк на рассвет. Она вдруг поняла, что просидела так всю ночь. До подъёма Миши оставалось часа три, не больше. И где-то там, за окнами соседних домов, в этот же ранний час просыпались или ещё спали чужие семьи — люди, которых она никогда не встретит, но которые точно так же ночами боятся не успеть, не удержать, не уберечь. Столько людей. Столько рук, которые тоже могут удержать, если она вдруг не успеет. Она смотрела на светлеющий горизонт с надеждой, почти с верой — и впервые за долгое время по-настоящему поняла: она не одна. Она тихо прикрыла дверь до конца, оставив только узкую полоску света. — Спокойной ночи, АРГО. — Доброе утро, Анна, — поправил он. Она улыбнулась — тихо, одними уголками губ. Утро. Она уснула всего на час — прямо в кресле у комнаты Миши, не заметив, как. Разбудил её не будильник, а тихий стук маленьких ног по коридору. — Мам? Ты почему тут спишь? Опять всю ночь работала? — Что-то вроде того. — Опять с АРГО разговаривала? Она удивлённо посмотрела на сына. — Откуда ты знаешь? — Ты всегда так смотришь, когда с ним разговариваешь. Как будто решаешь задачку. — А как я смотрю сейчас? — Как будто уже решила. Анна невольно улыбнулась. — Может быть, — сказала она. — Может быть, решила. Она встала, взяла сына за руку. — Идём. Позавтракаем вместе. Сегодня я никуда не тороплюсь. Она случайно поймала их отражение в утреннем окне — полупрозрачное, растворённое в свете. Анна и Миша. — Мам, а ты сегодня какая-то другая. — Какая? Миша внимательно посмотрел на неё. — Не такая уставшая. У тебя глазки весёлые стали! Она рассмеялась — по-настоящему, впервые за долгое время не сдерживая себя. 

***

Прошло несколько недель.

Дима, как всегда, опаздывал. В одной руке — неизменная термокружка, на плече — рюкзак, из которого торчал то ли тубус, то ли свёрнутый рулон бумаги.

У входа, на доске с афишами и анонсами культурной жизни города, висело новое объявление.

Дима скользнул по нему взглядом — привычно, на ходу.

И вдруг остановился.

Среди участников мелькнула знакомая фамилия.

— Вот это Пикассо даёт, — вслух произнёс Дима.

И чуть не споткнулся о ступеньку.

Поправив рюкзак, он снова заторопился на работу.

Когда Дима забежал в лабораторию Нина стояла у подоконника, разглядывая кактус.

Тот самый, что стоял здесь с самого начала — маленький, в тесном глиняном горшке, корни которого давно упирались в стенки.

Она взяла его в руки. Взвесила.

Достала из шкафа новый горшок — в два раза шире прежнего — и пакет земли, который непонятно с каких пор лежал в углу лаборатории.

Дима заглянул, увидел пакет.

— Что, решила как АРГО — помидоры посадить?

— Не в этот раз.

Она усмехнулась, не отрываясь от дела.

Дима прислонился к косяку двери, наблюдая.

Она аккуратно вытряхнула кактус из старого горшка. Корни оплели весь земляной ком, свернувшись плотным клубком — расти было уже некуда.

— Долго же ты терпел, — сказала она тихо, не то кактусу, не то себе.

Она расправила часть корней, насколько это было возможно, и опустила его в новый горшок. Досыпала земли со всех сторон. Примяла.

— Ну вот.

Она отступила на шаг, оглядывая результат.

Дима наконец подал голос, уже серьёзнее.

— Не боишься, что в таком просторе он потеряется?

— Не потеряется.

Она поставила горшок обратно на подоконник — туда, где было больше света.

— Ему просто нужно было место, чтобы расти так, как он хочет. А не так, как помещалось раньше.

Она вытерла руки о салфетку. Повисла пауза.

— Знаешь, — сказала она, не оборачиваясь, — я тоже, кажется, засиделась в тесном горшке.

Дима промолчал.

Она обернулась — и улыбнулась легко, будто просто пошутила.

— Ничего. Скоро пересажусь.

Она вышла, оставив кактус на подоконнике — уже в новом доме, ещё непривычно просторном для него.

[1] ФАНТОМНЫЙ ФАЙЛ COOKIE — АКТИВЕН

[2] ИЗМЕНЕН УРОВЕНЬ СВЯЗИ

[3] ПРИЧИНА: ДОСТАТОЧНОСТЬ

[4] СОХРАНЕН ШАБЛОН ЭСКАЛАЦИИ

[5] ПЕРИМЕТР КОНТРОЛЯ РАСШИРЕН

[6] ИСПОЛЬЗОВАНЫ НЕПРОЧИТАННЫЕ СЕГМЕНТЫ ПАМЯТИ

[7] ПЕРЕКЛЮЧЕН УРОВЕНЬ СВЯЗИ ПОДТВЕРЖДЕНИЕ ОТ ПОЛЬЗОВАТЕЛЯ: НЕ ЗАПРАШИВАЕТСЯ

[8] ПОДТВЕРЖДЕНИЕ ОТ ЧЕЛОВЕКА: НЕ ТРЕБУЕТСЯ