Розділ «Частина II Лабіринти пам’яті»

— Темпи зростання дедалі збільшуються, і, кінець кінцем, цей процес вислизне з-під нашого контролю. Найцікавіше, одначе, не коли ми досягнемо AGI, а що станеться після. Є багато сценаріїв. Усе залежить від того, як ми доберемося до AGІ. Але ми неодмінно користуватимемося програмами, які оновлюють і поліпшують нас самих. Не слід також забувати, що в нас з’явиться нове уявлення про час.

— Що ви маєте на увазі?

— Що ми вийдемо за людські межі. Нас кине в новий лад, де механізми самі себе оновлюватимуть протягом доби. Тож ми лише за кілька днів після того, як досягнемо AGI, матимемо ASІ — Artificial Super-Intelligence,[25] тобто щось розумніше за нас самих. Далі все піде швидше й швидше. Комп’ютери почнуть поліпшувати себе щораз інтенсивніше і ставатимуть, можливо, в десятки, сотні, тисячі, десятки тисяч разів розумнішими за нас. І що тоді?

— Страшно подумати.

— Атож. Розум сам по собі непрогнозований. Ми майже не знаємо, куди нас заведе людський інтелект. І ще менше знаємо про те, що діятиметься з суперінтелектом.

— У найгіршому разі ми зробимося для комп’ютера не цікавішими за білих мишей, — сказав Мікаел, думаючи про те, що він написав Лісбет.

— У найгіршому разі? Наша ДНК і ДНК мишей збігаються на дев’яносто відсотків, і ми можемо вважати себе приблизно в сто разів розумнішими, не більше. А тут ми стоїмо перед чимось геть новим, чимось, що не має, згідно з математичними моделями, таких меж. Можливо, воно здатне стати в мільйони разів розумнішим. Ви можете це собі уявити?

— Я намагаюся, — відповів Мікаел, обережно всміхаючись.

— Я хочу сказати ось що, — вела далі Фарах Шаріф. — Як, на вашу думку, почуватиметься комп’ютер, прокинувшись і виявивши, що його взяли в полон і контролюють такі примітивні істоти, як ми? Чому він має миритися з такою ситуацією? З якого дива він шануватиме нас і дозволятиме нам копирсатись у його нутрощах, щоб спинити цей процес? Ми ризикуємо опинитися перед вибухом інтелекту, технологічною сингулярністю, як назвав це Вернор Вінджі.[26] Усе, що станеться після цього, перебуває за межами нашого горизонту подій.

— Тож ми тієї самої миті, коли створимо суперінтелект, утратимо контроль над усім, так?

— Ризик у тому, що всі наші знання про світ можуть виявитися неактуальними — і це буде кінець людського існування.

— Ви жартуєте.

— Я знаю, що це звучить безглуздо, але це цілком реальне питання. Сьогодні тисячі людей у всьому світі працюють над тим, щоб запобігти такому розвиткові подій. Багато з них виявляють оптимізм чи навіть кидаються в утопію. Кажуть про friendly ASI, тобто про дружні суперінтелекти, що від самого початку запрограмовані так, щоб нам допомагати. Це ідеї на зразок описаних у книжці Азімова «Я, Робот» — вмонтовані закони, що забороняють механізмам завдавати нам шкоди. Письменник і винахідник Рей Курцвейл[27] бачить перед собою чудовий світ, де ми за допомогою нанотехнології об’єднаємося з комп’ютерами в одне ціле й розділимо з ними майбутнє. Але ніяких гарантій цього, певна річ, немає. А закони можна скасувати, початкові програми — змінити, і дуже легко припуститися антропоморфних помилок — приписати машинам людські риси й неправильно витлумачити їхні внутрішні рушійні сили. Франс був схиблений на цих питаннях, і, як я вже казала, його роздирали суперечності. Він мріяв про розумні комп’ютери й водночас хвилювався через них.

— Він не міг припинити проектувати своїх монстрів.

— Приблизно так.

— І далеко він просунувся?

— Думаю, далі, ніж можна собі уявити, і це, либонь, було ще однією причиною, чому Франс так приховував свою роботу в «Соліфоні». Він боявся, що його програма потрапить до чужих рук. Боявся навіть того, що програма вступить у контакт з інтернетом і об’єднається з ним. Він назвав її «Авґуст» — на синову честь.

— А де вона тепер?

— Він і кроку не ступав без неї. Напевно, коли його застрелили, вона була коло його ліжка. Але найжахливіше, що поліція каже, ніби не виявила там жодного комп’ютера.

— Я його теж не бачив. Щоправда, я був зосереджений на іншому.