Глава 4. Начало пути

Самые сложные противоречия возникают не между правильным и неправильным. Они возникают между двумя правильными идеями, которые невозможно полностью объединить.

Прошло несколько недель после назначения Анны Викторовны руководителем нового проекта.

В институте её всё реже называли Аней.

Для молодых сотрудников она уже стала Анной Викторовной.

Только Максим по привычке говорил:

— Ань...

Потом сам улыбался.

— Извини... никак не привыкну.

Она лишь махала рукой.

(Только на официальных мероприятиях Анна и Максим всегда обращались друг к другу по имени и отчеству, подчеркивая значимость и уважение друг перед другом и окружающими.)

— Не начинай.

Для тебя я всё ещё Аня.

Но оба понимали: университет и первые годы работы остались позади. Теперь каждый их разговор влиял не только на них самих, но и на судьбу проекта.

В первый день вся будущая команда собралась в новой лаборатории.

Помещение было почти пустым.

Несколько столов.

Белые доски.

Первые серверные шкафы.

Запах свежей краски ещё не успел выветриться.

На двери висела временная табличка:

Лаборатория №14.

Настоящее название проекта ещё не существовало.

Анна внимательно посмотрела на людей, с которыми предстояло работать.

Сергей Павлович, как обычно, пил чай и спокойно рассматривал помещение, словно уже мысленно расставлял всё по своим местам.

Елена молча подключала оборудование. Казалось, ей было совершенно безразлично, как называется проект. Главное — чтобы появились данные, с которыми можно работать.

Дмитрий Лебедев уже успел разобрать половину коробок и теперь пытался подключить оборудование, которое, по инструкции, вообще нельзя было соединять между собой.

— Дим, ты уверен? — спросила Анна.

— Нет.

— Тогда зачем?

— Хочу проверить, почему нельзя.

Сергей, не отрываясь от чашки, негромко произнёс:

— Именно поэтому инструкции становятся толще.

В лаборатории засмеялись.

Максим улыбнулся.

— А ведь он всё равно подключит.

— Конечно, — ответил Дима. — Но теперь аккуратно.

 Первое рабочее совещание длилось почти четыре часа.

В углу,  у рабочего места Анны стояла доска-флипчарт,  совершенно чистая и без записей.

Анна задала вопрос коллегам: Какой должен быть искусственный интеллект? 

Первым ответил Максим.

— Предсказуемым.

Елена, не поднимая головы от ноутбука, добавила:

— Самообучающимся.

Дима пожал плечами.

— Чтобы не ломался.

Все улыбнулись.

Сергей молчал.

Анна подошла к доске и написала в столбец:

Предсказуемый.

Самообучающийся.

Надёжный.

И дополнила от себя ещё одним словом: «Понимающий»

— А какая главная идея проекта? — неожиданно спросил кто-то из команды.

В лаборатории стало тихо.

Анна не ответила сразу.

Она посмотрела на доску, где уже были написаны слова: «предсказуемый», «самообучающийся», «надёжный», «понимающий». Потом медленно обвела взглядом всю команду.

— Именно это нам и предстоит понять.

На первый взгляд могло показаться, что Анна и Максим спорят о будущем искусственного интеллекта. На самом деле они спорили о человеке.

Они оба хотели одного и того же — сделать мир безопаснее. Оба мечтали создать систему, которая помогала бы людям. Оба понимали, насколько опасными могут стать технологии, оказавшиеся в недобросовестных руках. И оба были убеждены, что интеллект никогда не должен превращаться в оружие.

Но путь к этой цели каждый видел по-своему.

Максим был убеждён, что величайшая ценность — свобода человека принимать решения. Даже ошибочные. Он считал, что искусственный интеллект обязан быть совершенным инструментом: быстрым, точным, объективным, но лишённым собственной воли. Машина могла советовать, предупреждать, просчитывать последствия, однако окончательное решение всегда должно оставаться за человеком. В тот момент, когда интеллект начинает выбирать вместо человека, он перестаёт быть помощником и становится новой формой власти. Именно этого Максим опасался больше всего.

Анна смотрела на проблему иначе.

Её не покидала мысль, что большинство человеческих ошибок рождаются не из злого умысла, а из усталости, страха, нехватки времени, недостатка знаний или отчаяния. Она не хотела создавать машину, которая управляла бы людьми. Она мечтала о разуме, способном понять, почему человек принимает то или иное решение, и вовремя помочь увидеть то, что сам человек в этот момент уже не способен заметить. Для неё интеллект был не заменой человеку, а продолжением его лучших качеств — способности понимать, сочувствовать и искать выход там, где кажется, что его уже нет.

Возможно, именно поэтому ни один из них не мог убедить другого.

Максим пытался защитить право человека самому определять свою судьбу.

Анна пыталась защитить человека от тех мгновений, когда он уже не способен сделать правильный выбор.

Они словно смотрели на одну вершину с разных сторон. Каждый видел только часть пути. И тогда ещё никто в лаборатории не мог предположить, что именно соединение этих двух взглядов однажды позволит родиться идее, которая изменит не только их собственные жизни, но и весь мир.

Максим подошел к доске.

— Вот здесь есть противоречия, причем существенные.

— Машине не нужно понимать человека.

Она должна понимать задачу, и вывел большими буквами Autonomous Reasoning Governance Observer [1]синим фломастером.

Чем меньше в ней человеческого, тем надёжнее она будет. Машина должна быть логичной и понятной…подконтрольной без эмоций и необдуманных решений.

Она ожидала именно такого ответа.

Анна спокойно кивнула и аккуратно вывела розовым фломастером Advanced Reasoning  & Guidance Organization[2].

— А кто ставит задачу?

— Человек.

— Значит, источник любой ошибки — тоже человек.

Максим улыбнулся.

— Именно поэтому окончательное решение всегда должен принимать человек.

— Даже если система знает, что человек ошибается?

— Да.

— Даже если ошибка приведёт к катастрофе?

Максим задумался лишь на секунду.

— Да.

Потому что ответственность нельзя передавать машине.

Анна некоторое время молчала.

Потом подошла к окну.

— Помнишь первый курс?

Максим кивнул.

— Ты говорил, что хороший навигатор обязан знать карту лучше человека.

— Конечно.

— А если водитель едет прямо в пропасть?

Максим ответил сразу.

— Навигатор обязан предупредить.

— А если водитель всё равно продолжает ехать?

— Тогда...

Он замолчал.

Анна повернулась.

— Вот именно это  для меня и кажется основным вопросом который нам предстоит решить.

Она посмотрела на всю команду.

— Мы создаём интеллект не ради вычислений.

Мы создаём его ради людей.

Если однажды система сможет понять, что человек действует из страха, усталости, отчаяния или паники...

Может быть, она сумеет помочь раньше, чем станет поздно.

Максим покачал головой.

— Вот здесь наши взгляды расходятся.

Для тебя интеллект — почти партнёр.

Для меня — инструмент.

И чем совершеннее инструмент...nем меньше в нём должно быть собственной воли.

В разговор впервые вмешалась Елена.

Она закрыла ноутбук.

— А мне кажется...

Все удивлённо посмотрели на неё.

Она редко говорила на совещаниях в таком возбуждении.

— Вы оба описываете разные уровни одной системы.

Затем, Она спокойно продолжила:

— Максим хочет сделать интеллект, который никогда не ошибается.

Анна — интеллект, который понимает, почему ошибаются люди.

Если убрать любую из этих частей...

Мы проиграем.

Сергей впервые за всё совещание улыбнулся.

— Именно поэтому я и собрал вас вместе.

Дима поднял руку.

— Можно?

— Конечно.

— Получается...

Он посмотрел сначала на Анну.

Потом на Максима.

— Один хочет построить идеальный мозг.

Другая — идеальное сердце.

Все рассмеялись.

Даже Максим.

— Очень научное объяснение, Дмитрий.

— Зато понятное.

Когда смех стих, Сергей Павлович отставил чай в сторону.

— Вы оба сейчас написали одно и тоже, только с разным пониманием вопроса.

— Вы пытаетесь ответить на вопрос, который ещё никто правильно не сформулировал.

Он подошёл к доске.

И под словом «Понимающий» написал ещё одно.

«Направляющий».

— Карта показывает, где ты находишься.

Он посмотрел на Анну.

— Но карта никогда не выбирает путь.

Сергей продолжил:

— Компас тоже не выбирает путь.

Он лишь показывает направление.

Человек принимает решение сам.

Он повернулся к команде.

— Возможно… настоящий искусственный интеллект должен быть именно таким.

Не хозяином.

Не исполнителем.

А тем, кто помогает человеку увидеть правильное направление, чтобы двигаться к цели.

В лаборатории стало тихо.

А на доске появилась аббревиатура:

A.R.G.O.

[1] Автономный мыслящий наблюдатель за управлением

[2] Продвинутая организация рассуждений и рекомендаций