Джеймс Баррат - Последнее изобретение человечества

• Название: Последнее изобретение человечества
• Автор: Джеймс Баррат
• Жанр: Прочая научная литература
• Год: 2015
• ISBN: 978-5-91671-436-4

За каких-то десять лет искусственный интеллект сравняется с человеческим, а затем и превзойдет его. Корпорации и государственные структуры по всему миру, конкурируя между собой, вкладывают миллиарды в развитие искусственного разума. Но что ждет нас дальше? Ученые задаются вопросом: не окажется ли это изобретение последним — гибельным для нас самих? Достигнув определенного уровня развития, искусственный интеллект сможет сам себя совершенствовать, без участия человека. У нас появится соперник хитрее, сильнее и враждебнее, чем мы можем себе представить.

---

Еще одно непременное качество дружественного ИИ — стремление избежать догматических ценностей. Наши представления о хорошем и плохом изменяются со временем, и любому ИИ, связанному с человеческим благополучием, необходимо будет поспевать за нами в этом отношении. Если бы функция полезности некоего ИИ была ориентирована на предпочтения большинства европейцев в 1700 г. и не корректировалась бы со временем, то и в XXI в. этот ИИ связывал бы человеческое счастье и благополучие с такими архаичными ценностями, как расовое и половое неравенство, рабовладение, туфли с пряжками, а то и что-нибудь похуже. Мы не хотим закладывать в дружественный ИИ конкретные жестко заданные ценности. Мы хотим, чтобы его подвижная шкала ценностей развивалась с нами вместе.

Юдковски придумал для этого развития ценностей специальный термин — когерентная экстраполированная воля (КЭВ). ИИ, снабженный КЭВ, способен предвидеть наши желания. И не просто желания, а те желания, которые были бы у нас, если бы мы «знали больше, думали быстрее и лучше соответствовали бы собственным представлениям о себе».

КЭВ стал бы своеобразным оракулом дружественного ИИ. Ему пришлось бы извлекать из нас наши ценности, как если бы мы были лучше, чем есть на самом деле, и при этом сохранять демократичность и не допускать, чтобы нормы, установленные меньшинством, тиранили все человечество.

Вам кажется, что все это звучит немного… ну, не от мира сего? Для того есть веские причины. Во-первых, я излагаю концепции дружественного ИИ и КЭВ очень схематично, на самом деле об этом написаны целые тома (их можно почитать в Интернете). А во-вторых, тема дружественного ИИ не слишком проработана, но очень оптимистична. Неясно, можно ли изложить концепцию дружественного ИИ в формальном математическом виде, и не исключено, что построить такой ИИ или интегрировать его в перспективные ИИ-архитектуры попросту невозможно. Но если бы это можно было сделать, как выглядело бы наше будущее?

Давайте представим, что через десять или сорок лет проект SyNAPSE[12] фирмы IBM по обратному проектированию мозга принес, наконец, плоды. В результате работ по программе, начавшейся в 2008 г. с гранта DARPA в $30 млн, создана система, копирующая базовые схемы мозга млекопитающего: эта система одновременно воспринимает входные сигналы из тысяч источников, развивает стержневые алгоритмы обработки данных и выдает на выходе восприятие, мысль и действие. Начиналось все с мозга, по размеру примерно соответствующего кошачьему, затем дошло до человеческого — и двинулось дальше.

Чтобы построить такую копию, исследователи проекта SyNAPSE создали «когнитивный компьютер» из тысяч параллельных компьютерных чипов, обрабатывающих информацию. Воспользовавшись достижениями нанотехнологий, они разработали микросхемы размером в один квадратный микрон. Затем объединили множество таких микросхем в углеродный шар размером с баскетбольный мяч и для максимальной производительности погрузили в жидкий металл — соединение галлия с алюминием.

Отметим, что резервуар с металлом представляет собой мощный беспроводной роутер, подключенный к Интернету и связанный с миллионами разбросанных по всей планете сенсорами. Сенсоры принимают сигналы с камер, микрофонов, датчиков давления и температуры, от роботов и природных систем — пустынь, ледников, озер, рек, океанов, тропических лесов. SyNAPSE обрабатывает поступающую информацию, анализируя свойства и взаимосвязи этого громадного массива данных. Функция следует за формой, и нейроморфная, имитирующая живой мозг система самостоятельно создает разум.

В настоящее время SyNAPSE успешно симулирует работу 30 млрд нейронов человеческого мозга и 100 трлн нейронных связей — синапсов. Система уже превзошла скорость работы мозга — приблизительно 1000 трлн операций в секунду.

Впервые в истории человеческий мозг становится вторым по сложности объектом в известной нам Вселенной.

А что же дружественность? Понимая, что «дружественность» должна стать сердцем любой разумной системы, ее создатели встроили алгоритмы ценности и безопасности в каждый из миллионов чипов SyNAPSE. Он дружелюбен до самых глубин, до ДНК. Поэтому теперь, когда когнитивный компьютер становится все более мощным, он начинает принимать решения, значимые для судеб мира, — что делать с ИИ террористических государств, как изменить траекторию летящего к Земле астероида, как остановить стремительное повышение уровня Мирового океана или как ускорить развитие наномедицины, способной справиться с большинством болезней.

Обладая таким глубоким пониманием проблем человечества, SyNAPSE с легкостью определит, что выбрали бы люди, если бы были достаточно могущественными и разумными, чтобы принимать ответственные решения. В будущем мы переживем интеллектуальный взрыв! Мало того, человечество расцветет!

Да будет благословен дружественный ИИ!

Теперь, когда большинство разработчиков и теоретиков ИИ оценивает Три закона робототехники Азимова так, как они того заслуживают, — как инструменты построения сюжета, а не выживания, — дружественный ИИ, возможно, становится наилучшей концепцией, которую может предложить человечество, думая о сохранении своего существования. Но дружественный ИИ еще не создан, а у него уже много различных проблем.

Одна из них — это то, что слишком много организаций в самых разных странах работают над УЧИ и смежными технологиями; они ни за что не договорятся отложить свои проекты до того момента, когда будет создан дружественный ИИ, или включить в свои программы формальный модуль дружественности, если таковой может быть создан. Более того, мало кто из них хотя бы участвует в общественной дискуссии о необходимости дружественного ИИ.

Среди участников гонки за УЧИ можно назвать: IBM (несколько проектов), Numenta, AGIRI, Vicarious, NELL и ACT-R Университета Карнеги-Меллона, SNERG, LIDA, CYC и Google. Можно назвать по крайней мере десяток проектов с менее надежными источниками финансирования: среди них SOAR, Novamente, NARS, AIXItl и Sentience. Сотни других разработок, целиком или частично посвященные УЧИ, проводятся в США и других странах — некоторые из них под покровом тайны, некоторые (в таких странах, как Китай и Израиль) спрятаны за современным «железным занавесом» национальной безопасности. DARPA как открыто, так и тайно финансирует немало ИИ-проектов.

Что, собственно, я имею в виду. Вероятность того, что первый УЧИ будет создан непременно в Исследовательском институте машинного интеллекта MIRI и потому в него будет встроен модуль дружественности, достаточно мала. И вряд ли создатели первого УЧИ будут особенно много думать о таких вопросах, как дружественность. Тем не менее существует несколько способов заблокировать недружественный УЧИ. Президент Института машинного интеллекта Майкл Вассар[13] рассказал мне об образовательной программе для элитных университетов и математических конкурсов. MIRI и еще одна дружественная организация, Центр прикладного разума (CEAR), организовали «тренировочные лагеря разума», в которых надеются обучить будущих потенциальных строителей ИИ и руководителей, определяющих техническую политику, рациональному мышлению. Когда новая элита подрастет, эта наука пригодится им в работе и поможет избежать самых неприятных ловушек ИИ.

Этот план может показаться наивным, но на самом деле MIRI и CEAR нащупали важный фактор ИИ-риска. Тема сингулярности привлекает общественное внимание, и вопросы сингулярности будут попадать в поле зрения все большего числа все более умных людей. Окно возможностей для просвещения народа и информирования о связанных с ИИ рисках потихоньку открывается. Но любой план создания совещательного или руководящего органа по вопросам ИИ уже опоздал с реализацией; некоторых катастроф избежать уже невозможно. Как упоминалось в главе 1, по крайней мере 56 стран занимается в настоящее время разработкой боевых роботов. Утверждают, что в разгар войны в Ираке три дрона SWORDS фирмы Foster-Miller, вооруженных пулеметами, были выведены из боевой зоны после того, как направили оружие против своих. В 2007 г. в Южной Африке роботизированная зенитная пушка убила 9 и ранила 15 солдат в результате инцидента, продолжавшегося одну восьмую долю секунды.

Конечно, это еще не Терминатор, но дальше — больше. Как только появится продвинутый ИИ, особенно если платить за него будет DARPA или аналогичное агентство другой страны, ничто на свете не помешает оснастить им боевых роботов. Более того, роботы могут послужить платформами для реализации машинного обучения, в результате которого и появится ИИ. Когда же появится дружественный ИИ (если это когда-нибудь произойдет), сами подумайте, станут ли частные компании — производители роботов устанавливать его в машины, разработанные для убийства людей? Акционерам это наверняка не понравится.