Глава 5. Собственный путь

Часть I. Когда идея становится проектом

Утро выдалось необычайно тихим.

Анна Викторовна остановилась перед дверью новой лаборатории. Несколько секунд она просто смотрела на ещё пахнущую свежей краской табличку.

На ней было написано всего четыре буквы.

АРГО.

Она невольно улыбнулась.

Сколько раз за последние годы это название существовало только на листах бумаги, в рабочих блокнотах и бесконечных обсуждениях. Сколько вариантов сменилось прежде, чем команда единогласно остановилась именно на этом.

Теперь название перестало быть идеей.

Оно стало реальностью.

Анна провела ладонью по прохладному металлу двери и вошла внутрь.

Лаборатория была почти пустой.

Большое помещение заливал утренний свет. За стеклянной перегородкой ровными рядами стояли серверные шкафы. Пока ещё без привычного гула — большинство оборудования только предстояло установить.

По центру располагались длинные рабочие столы.

На каждом лежали коробки с новыми компьютерами, приборами и ещё не распакованными комплектующими.

У дальней стены уже висела большая белая доска.

Совершенно чистая.

Она словно ждала первую мысль.

— Всё-таки успели к сроку...

Анна обернулась.

У двери стоял Сергей Павлович.

Как всегда — без лишней спешки.

В одной руке папка.

В другой — стакан с чаем в подстаканнике.

— Доброе утро, Сергей Павлович.

— Доброе.

Он медленно прошёлся по лаборатории, внимательно осматривая помещение.

— Хорошо сделали.

— Что именно?

— Пространство.

Анна удивлённо посмотрела на него.

— Пространство?

— Если люди начинают мешать друг другу работать — никакой интеллект уже не поможет.

Она засмеялась.

— Вы даже помещение оцениваете как инженер.

— Конечно.

— А как иначе?

Не успела она ответить, как дверь снова открылась.

В лабораторию буквально влетел Дима.

За спиной болтался рюкзак.

В руках — сразу две большие коробки.

— Осторожно!

— Сейчас всё уроню!

— Нет... всё-таки уроню!

Коробки с грохотом опустились прямо возле входа.

Дима облегчённо выдохнул.

— Всё.

Теперь можно начинать работать.

Сергей Павлович посмотрел на него поверх очков.

— Дмитрий...

— Уже понял.

— Что понял?

— Что сначала нужно было подумать.

— Правильно.

— Но тогда было бы не так интересно.

Сергей только покачал головой.

— Именно поэтому инструкции становятся всё толще.

Анна рассмеялась.

Она уже начинала понимать, что эти двое идеально дополняют друг друга.

Один постоянно искал границы возможного.

Другой не позволял их переходить без необходимости.

Следом появилась Елена.

Она коротко поздоровалась со всеми.

Поставила сумку.

Включила компьютер.

И уже через минуту полностью исчезла в формулах, будто вокруг никого не существовало.

Дима тихо наклонился к Анне.

— Засекай.

— Что?

— Через четыре часа она вспомнит, что ещё не позавтракала.

Анна улыбнулась.

— Настолько всё плохо?

— Нет.

Настолько всё хорошо.

Если Елена перестала замечать время — значит задача действительно интересная.

Последним появился Максим.

Как всегда — спокойный.

Без лишних слов.

Он положил на стол ноутбук и небольшую папку с бумагами.

— Архитектура системы контроля.

Анна удивлённо подняла брови.

— Уже закончил?

— Первый вариант.

— А второй?

— Начну сегодня.

— Почему?

— Потому что после первого обязательно находится то, чего не заметил вчера.

Сергей Павлович удовлетворённо кивнул.

— Хороший инженер никогда не любит собственную первую версию.

Максим улыбнулся.

— Именно этому вы нас и учили.

Когда все собрались, в лаборатории впервые стало по-настоящему тихо.

Анна подошла к белой доске.

Несколько секунд смотрела на неё.

Затем взяла маркер.

Крупными буквами написала:

АРГО

Ниже появились имена.

Анна — архитектура проекта и развитие интеллектуальной системы.

Максим — безопасность, принятие решений и механизмы контроля.

Сергей — архитектура и надёжность системы.

Елена — математические модели обучения.

Дмитрий — интеграция аппаратных и программных комплексов.

Она ещё раз посмотрела на список.

Пять человек.

Совсем немного.

Но именно этим пятерым предстояло сделать то, чего ещё никто никогда не делал.

— Ну что... — сказала Анна. — Начинаем?

— Начинаем, — почти одновременно ответили остальные.

*

Несколько месяцев спустя, когда лаборатория окончательно обрела свой привычный вид и всё оборудование было смонтировано и испытано, наступил день, которого ждали все.

Лаборатория работала как единый механизм.

Каждый занимал своё место.

Анна сидела перед основным терминалом и ещё раз проверяла исходные данные, сверяя их с расчётами коллег.

Максим стоял у другого терминала и просматривал контрольные листы. Его интересовало другое: последовательность операций, резервные контуры, аварийное отключение, соблюдение протоколов. Часть проверок он проводил лично — осматривал соединения, защитные панели и индикаторы.

— Исходные данные? — спросила Анна.

— В норме, — ответил Сергей Павлович.

Анна перевела взгляд на Диму.

— Расчётный модуль?

Дима даже не поднял головы.

— Всё в порядке.

Лена оторвалась от своих экранов.

— Как в прошлый раз? Ну, когда из-за пожарной тревоги весь институт эвакуировали?

Дима медленно посмотрел на неё.

Сергей Павлович тихо усмехнулся.

Дима вздохнул.

— Тогда разъём был бракованный. И предохранитель не сработал.

Максим, не поворачиваясь от своего терминала, спокойно произнёс:

— В отчёте написано совсем другое.

Повисла короткая пауза.

Дима посмотрел на него.

— Ты вообще когда-нибудь забываешь про отчёты?

— Это моя работа...

Сергей Павлович снова усмехнулся.

Анна вернулась к экрану.

— Хорошо. Ещё раз. Исходные данные?

— Сверены.

— Протоколы?

Максим поднял взгляд.

— Соблюдены.

Анна посмотрела на него ещё секунду.

— Полностью?

— Полностью.

Она кивнула.

На центральном мониторе появилась схема системы. Сегменты один за другим переходили в режим готовности.

Анна и Максим одновременно подошли к центральному терминалу.

Анна положила руку на панель управления.

Максим проверил последнюю строку протокола.

— Готово, — сказал он.

— Запускаем, — ответила Анна.

Они одновременно дали команду.

На главном экране побежали секунды.

Первый сегмент.

Второй.

Третий.

Индикаторы последовательно загорались, подтверждая запуск.

Никто не говорил.

Даже Дима перестал улыбаться.

Последний сегмент вышел на рабочий режим.

На экране появилась строка:

СИСТЕМА ЗАПУЩЕНА.

10.07 — 11:58

Первичная активация завершена.

Несколько секунд ничего не происходило.

Анна подошла к терминалу.

Посмотрела на экран.

— Привет, АРГО.

Несколько секунд тишины.

И из динамика:

— Здравствуйте.

Несколько секунд никто не двигался.

Потом Дима первым выдохнул:

— Ну всё.

Он откинулся в кресле и улыбнулся.

— И без пожарной тревоги, — добавил он.

Лена засмеялась.

Она быстро пробежала глазами по нескольким показателям на своих экранах.

— Работает, — сказала она. — И расчёты сходятся.

Сергей Павлович снял очки и протёр их, хотя стёкла и так были чистыми.

Посмотрел на экран, потом на остальных.

— Вот теперь начинается самое интересное...

Он улыбнулся.

Кто-то хлопнул ладонью по столу. По лаборатории прокатилась короткая волна поздравлений.

Анна обернулась к остальным.

— У нас получилось.

Максим посмотрел на главный экран, где спокойно продолжала работать система.

— Удачный запуск, — сказал он.

На этот раз никто не стал спорить с формулировкой.

АРГО продолжал работать.

Следующие месяцы пролетели так быстро, что никто из них уже не мог точно вспомнить, где заканчивался один рабочий день и начинался следующий.

В лаборатории постепенно появились собственные привычки.

Сергей Павлович неизменно приходил раньше всех.

Он никогда не открывал компьютер сразу.

Сначала медленно выпивал свой первый стакан чая.

Просматривал записи предыдущего дня.

И только потом начинал работать.

Дима однажды не выдержал:

— Сергей Павлович...

— Да?

— А если я однажды подменю вам чай кофе?

Сергей даже не поднял головы.

— Не получится.

— Почему?

— Я почувствую запах раньше, чем ты успеешь улыбнуться. К тому же,  я прихожу раньше, и посмотрел на Дмитрия поверх очков.

Лаборатория дружно рассмеялась.

Елена, не отрываясь от монитора, тихо добавила:

— И ещё по выражению лица Димы.

— Это тоже.

Постепенно АРГО начинал меняться.

Сначала почти незаметно.

Потом всё быстрее.

Однажды Анна попросила систему проанализировать результаты нескольких десятков экспериментов.

Через несколько секунд на экране появился ответ.

— Уже?

— удивился Дима.

Но удивило их не время.

АРГО выделил ошибку в расчётах, которую никто не замечал почти три месяца.

После повторной проверки оказалось, что система была права.

Через несколько дней АРГО предложил сразу четыре варианта решения сложной инженерной задачи.

Причём самый эффективный оказался последним.

Максим внимательно изучил расчёты.

— Почему именно этот?

На экране появился ответ:

«Первые три варианта соответствуют наиболее распространённым инженерным подходам. Четвёртый имеет меньшую вероятность выбора человеком, но обеспечивает лучший результат при заданных условиях.»

В лаборатории стало тихо.

— Красиво... — почти шёпотом произнёс Дима.

Анна смотрела на экран и чувствовала странное ощущение.

Ей казалось, будто проект сделал свой первый самостоятельный шаг.

Пока ещё совсем маленький.

Но именно такие шаги однажды меняют мир.

Часть II. Первые вопросы

Первые успехи быстро перестали быть редкостью.

АРГО всё увереннее справлялся с задачами, которые ещё совсем недавно считались практически невыполнимыми. Он обнаруживал ошибки в инженерных расчётах, предлагал неожиданные комбинации решений, находил закономерности в массивах данных, на анализ которых у исследовательских групп раньше уходили недели.

Новости о проекте постепенно выходили за пределы института.

Сначала появились публикации в научных журналах.

Потом приглашения выступить на конференциях.

Через несколько месяцев в лабораторию всё чаще стали приезжать специалисты из других научных центров.

Каждый хотел увидеть АРГО собственными глазами.

Но для самой команды настоящая работа только начиналась.

Чем умнее становилась система, тем труднее было понять, каким образом она принимает решения.

В один из дней в лабораторию поступила задача от отдела вычислительных систем.

Необходимо было оптимизировать распределение вычислительных ресурсов между несколькими сложными проектами института.

Задача выглядела достаточно простой.

Анна загрузила исходные данные.

Максим проверил ограничения.

Дима запустил расчёт.

Через несколько секунд на экране появился ответ.

Но вместо ожидаемого распределения ресурсов АРГО предложил... полностью изменить порядок выполнения самих проектов.

В лаборатории повисла тишина.

— Подождите... — первым нарушил молчание Дима.

— Мы же не просили его менять план работы института.

Елена внимательно перечитывала рекомендации.

— Формально он выполнил задачу.

Максим нахмурился.

— Нет.

Он подошёл ближе к экрану.

— Формально он изменил саму постановку задачи.

Анна спокойно перечитала вывод ещё раз.

АРГО действительно не нарушил ни одного ограничения.

Он лишь обнаружил, что при существующем порядке работ невозможно добиться максимальной эффективности, и предложил изменить исходные условия.

Причём расчёты показывали, что его предложение действительно было лучше.

— Красиво... — тихо произнесла Анна.

Максим медленно повернулся к ней.

— Красиво?

— Да.

— Меня это совсем не радует.

— Почему?

Он несколько секунд молчал.

Потом спокойно сказал:

— Потому что никто не давал ему права менять поставленную задачу.

Этот разговор не закончился спором.

Каждый остался при своём мнении.

Но впервые в лаборатории возникло ощущение, что речь идёт уже не о программном обеспечении.

Через несколько недель произошло ещё одно событие.

На этот раз АРГО помогал анализировать результаты испытаний нового химического процесса.

После нескольких минут вычислений он предложил изменить последовательность проведения экспериментов.

Расчёты снова оказались безупречными.

Новая схема позволяла сократить время исследований почти вдвое.

Все были восхищены.

Кроме Максима и Анны.

Они долго смотрели на экран.

Потом Максим тихо произнёс:

— Меня пугает не то, что он оказался прав.

Все посмотрели на него.

— Меня пугает то, что мы перестаём понимать, каким путём он приходит к своим выводам.

В лаборатории стало непривычно тихо.

Анна подошла к экрану, в ее словах уже не было столько уверенности как прежде, она испытывала непонятную тревогу.

— Когда человек делает открытие, мы тоже далеко не всегда можем сразу объяснить ход его мыслей.

— Человек способен объяснить своё решение.

— Не всегда.

— Но обязан попытаться.

Анна посмотрела на Максима.

— Значит, нам нужно научиться понимать АРГО так же хорошо, как он учится понимать нас.

Максим ничего не ответил.

Сергей Павлович, молча слушавший разговор, сделал небольшой глоток чая.

— Кажется, — спокойно произнёс он, — наш проект только что перешёл на следующий уровень.

— Почему? — спросил Дима.

— Потому что вы впервые обсуждаете уже не программу.

Вы обсуждаете ответственность.

Чем больше становились возможности АРГО, тем шире становилась область его применения.

Сначала его начали использовать при проектировании новых материалов.

Затем — при моделировании химических процессов.

Через некоторое время система успешно помогла группе инженеров найти решение, позволившее значительно повысить эффективность перспективного ракетного двигателя.

Появились первые медицинские проекты.

АРГО обнаруживал закономерности в исследованиях, которые раньше оставались незаметными.

Он предлагал новые направления поиска лекарственных препаратов.

Помогал анализировать сложные диагностические данные.

Позже появились проекты по прогнозированию климата, природных катастроф и развитию энергетических систем.

Казалось, область применения росла быстрее, чем сама команда успевала её осмыслить.

Но именно тогда начали проявляться первые серьёзные ограничения.

АРГО великолепно работал там, где существовали объективные закономерности.

Физика.

Химия.

Математика.

Инженерия.

Климатология.

Но стоило перейти к человеку...

Всё становилось значительно сложнее.

Во время одного из экспериментов системе предложили помочь в распределении социальной помощи между несколькими регионами.

АРГО выполнил задачу безупречно, с математической точностью.

Он максимально эффективно распределил ресурсы, но при этом не учел социальные и культурные особенности регионов и национальные особенности.

Однако люди восприняли его решение почти враждебно и оскорбительным.

Одни посчитали его несправедливым.

Другие — слишком жёстким.

Третьи увидели в нём безразличие.

— Но ведь он всё сделал правильно... — удивился Дима.

— Нет, — тихо ответила Анна.

— Почему?

— Потому что он пока научился понимать данные.

Но ещё не научился понимать людей.

Максим внимательно посмотрел на неё.

— Или потому, что некоторые человеческие решения вообще невозможно вывести из формул.

Эта мысль заставила задуматься всех.

Вечером лаборатория почти опустела.

Только Сергей Павлович ещё оставался за своим столом.

Анна подошла к нему.

— Как вы думаете...

Он не дал ей закончить.

— Вы оба правы.

Она улыбнулась.

— Мы ещё ничего не спросили.

— И не нужно.

Он закрыл папку.

— Анна увидела возможность.

Максим увидел риск.

Если один из вас однажды перестанет видеть своё...

Он сделал небольшую паузу.

— Тогда проиграет не только проект.

Проиграют люди.

Анна долго молчала.

Она понимала, что спор становится всё глубже.

Речь уже давно шла не о программном коде.

Они пытались определить границы того, что вообще имеет право делать разум, созданный человеком.

И где заканчивается помощь...

И начинается ответственность.

Вечером того же дня лаборатория опустела не сразу.

На главном экране появилась короткая строка:

Обнаружено: третья пятница подряд. Время выхода превышает обычное на 47 минут.

Дима, не отрываясь от монитора, коротко бросил:

— Статистика — это не диагноз.

Он придвинул к себе коробку с остывшей пиццей, оставшейся ещё с обеда, и без особого энтузиазма откусил кусок.

На вопрос, всё ли в порядке, лишь пожал плечами.

— Всё нормально. Просто дела.

Помолчал.

— Хотя знаешь, в чём плюс задержек?

— В чём?

— Здесь хоть кто-то спрашивает, ел ли я.

Он улыбнулся, но улыбка вышла короче обычного.

АРГО молча зафиксировал запись. Причина осталась неизвестной.

Часть III. Разные дороги — одна цель

Несколько недель в институте царило необычное оживление.

Успехи АРГО обсуждали уже не только в научных лабораториях. Доклады ложились на стол руководства института, профильных министерств и государственных комиссий. Всё чаще звучали слова «прорыв», «новое поколение интеллектуальных систем», «стратегическая технология».

Но вместе с восторгом росло и другое чувство.

Осторожность.

Последние эксперименты показали то, чего не ожидал никто.

АРГО не нарушал поставленных задач.

Он не выходил за пределы ограничений.

Но всё чаще находил решения, которых никто из разработчиков не предусматривал.

Именно это заставило руководство института собрать расширенное совещание.

В большом конференц-зале присутствовали руководители лабораторий, представители научного совета и вся команда АРГО.

Директор института начал без привычных вступлений.

— Коллеги…

Он медленно оглядел зал.

— Несколько месяцев назад мы говорили о том, что создаём интеллект нового поколения.

Сегодня я хочу поговорить совсем о другом.

О границах этого интеллекта.

На экране появились результаты последних испытаний.

Знакомые графики.

Известные всем участникам эксперименты.

И решения, которые АРГО предложил самостоятельно.

Директор сделал небольшую паузу.

— Последние исследования показали, что система начинает находить способы решения задач, которых её разработчики заранее не предусматривали.

По залу пробежал едва заметный шёпот.

— Это не ошибка.

Он подчеркнул каждое слово.

— Это и есть признак настоящего развития.

Но каждое большое достижение рождает новую ответственность.

Мы не можем создавать интеллект, не понимая пределов его возможностей и связанных с ними рисков.

Он переключил следующий слайд.

На экране появилось название нового подразделения:

Центр прогнозирования, оценки и верификации безопасности интеллектуальных систем.

— Его задача — не создавать искусственный интеллект.

Его задача — понимать его.

Исследовать пределы его возможностей.

Разрабатывать методы проверки принимаемых им решений.

Создавать механизмы контроля.

И самое главное — сделать так, чтобы развитие интеллектуальных систем никогда не опережало понимание человеком их природы.

Директор посмотрел в сторону команды АРГО.

— Возглавить новое направление мы предлагаем человеку, который с самого начала проекта постоянно напоминал нам об одном простом принципе.

«Любой интеллект должен оставаться понятным человеку».

Максим Владимирович Орлов.

В кабинете стало совсем тихо.

Максим поднялся не сразу.

Он посмотрел сначала на директора.

Потом на Анну.

И только после этого спокойно произнёс:

— Благодарю за доверие.

Совещание закончилось.

Люди постепенно расходились по кабинетам.

Анна догнала Максима уже в коридоре.

Некоторое время они шли молча.

Так бывало всегда, когда разговор был слишком важным для первых слов.

— Значит, всё-таки уходишь? — тихо спросила она.

Максим улыбнулся.

— Я не ухожу.

Он покачал головой.

— Просто теперь буду смотреть на АРГО с другой стороны.

Они остановились у большого окна.

Во дворе института спешили сотрудники.

Жизнь продолжалась так же, как и вчера.

Изменились только они.

— Помнишь, — сказал Максим, — ты однажды спросила, что должен делать интеллект, если человек ошибается?

Анна кивнула.

— Помню.

— А я тогда ответил, что окончательное решение всегда должен принимать человек.

Он немного помолчал.

— Моё мнение не изменилось.

Анна улыбнулась.

— И моё тоже.

— Ты хочешь научить интеллект понимать человека.

— Да.

— А я хочу сделать всё, чтобы человек никогда не перестал понимать интеллект.

Она внимательно посмотрела на него.

— Получается…

…мы по-прежнему решаем одну и ту же задачу.

Максим кивнул.

— Просто начинаем с разных сторон.

Через несколько дней лаборатория устроила небольшие проводы.

Без официальных речей.

Без торжественных церемоний.

Дима привёз несколько коробок пиццы.

Кто-то заказал суши.

На столах появились сок, лимонад и сладости.

Даже Елена на этот вечер закрыла ноутбук раньше обычного.

— Не верится, что ты теперь начальник, — сказал Дима, протягивая Максиму стакан сока.

— Почему?

— Потому что человеку, который столько лет запрещал нам делать глупости, теперь доверили руководить целым направлением.

Все рассмеялись.

— Я ничего не запрещал.

— Конечно.

Ты всего лишь говорил: «Давайте сначала подумаем».

— И разве это плохо?

— Иногда очень мешало веселиться.

Даже Сергей Павлович улыбнулся.

Он сделал глоток и опустил стакан.

— Максим.

Тот обернулся.

— Запомни одну вещь.

Хорошие проекты рождаются благодаря идеям.

Великие...

...рождаются благодаря людям, которые умеют доверять друг другу, даже если не согласны между собой.

В лаборатории стало тихо.

Каждый понимал, что речь сейчас не только о Максиме.

Когда коробки были собраны, Максим остановился у двери.

На стекле уже висела аккуратная табличка.

АРГО.

Он долго смотрел на неё.

Потом повернулся к Анне.

— Сделай его умным.

Анна улыбнулась.

— Постараюсь.

Максим едва заметно кивнул.

— А я сделаю всё…

…чтобы однажды люди смогли ему доверять.

Он протянул ей руку.

Она крепко пожала её.

Это было не прощание.

Это было начало нового этапа.

Теперь существовали две лаборатории.

Одна искала ответ на вопрос, каким может стать искусственный интеллект.

Другая — каким он должен оставаться, чтобы человек не потерял над ним доверие.

Они больше не работали в одном кабинете.

Но продолжали строить один проект.