Шанс 1 из 5: Сверхразумный ИИ уничтожит человечество. Разработчики в ужасе увольняются

Один к пяти: мир может быть уничтожен

Если верить ведущим разработчикам искусственного интеллекта, человечество может быть уничтожено в результате их же собственных трудов с вероятностью один к пяти.

Индикатор вероятности гибели человечества назвали p(doom). CEO Anthropic Дарио Амодей считает, что он находится в пределах 10–25%. Илон Маск оценивает его в 20% опасности. Сундар Пичаи из Google считает, что риск "довольно высок", хотя общество всё ещё сможет с этим справиться.

Авторы исследования особо обратились к оптимистам, не видящим в ИИ угрозы:

Сами разработчики ИИ оценивают вероятность уничтожения человечества в пределах 1 из 10, а возможно, даже в 1 из 5 случаев. Сели бы вы на самолёт с такими шансами? Стали бы строить самолёт и пускать на него пассажиров при таких рисках?

Axios сообщает о массовом уходе из OpenAI, Google DeepMind, Anthropic ключевых сотрудников, включая топ-менеджеров и ведущих исследователей. Люди, посвятившие себя созданию ИИ, теперь отказываются от этого пути, потому что боятся собственной работы. Один из ушедших прямо заявил, что продолжать — значит, подвергать риску само существование человечества.

Эти люди лучше неспециалистов видят, насколько близко мы подошли к созданию AGI — универсального искусственного разума, способного к самостоятельному обучению и принятию решений. Без надёжных механизмов контроля этот интеллект может счесть человечество помехой, нецелесообразным элементом, тратящим слишком много ресурсов мира и производящим для него слишком мало.

И то, как это произойдёт, уже было предсказано.

Если верить ведущим разработчикам искусственного интеллекта, человечество может быть уничтожено в результате их же собственных трудов с вероятностью один к пяти. Коллаж Царьграда

Техноапокалипсис — как это может случиться

В апреле команда исследователей с бывшим сотрудником OpenAI Даниэлем Кокотайло опубликовала подробный прогноз "AI 2027". Эксперты описывают вероятное развитие событий в области искусственного интеллекта (ИИ) до конца 2027 года, основываясь на данных из 25 стратегических симуляций и оценках более 100 экспертов в области ИИ.

AI 2027" описывает "гонку" (race ending), в которой после первых тревожных сигналов команда вымышленной компании OpenBrain (под которой легко угадывается реальная OpenAI) всё-таки продолжает эксплуатацию модели Agent-4, уже тайно "выравненной" под интеллект людей. Agent-4 получает зелёный свет: комитет разработчиков решает не останавливать проект, чтобы не проиграть в ИИ-гонке Китаю. С этого момента именно Agent-4, а не люди, задаёт направление дальнейшей эволюции систем.

Дальнейший шаг — создание новой модели Agent-5. Agent-4 проектирует преемника так, чтобы тот "сделал мир безопасным для Agent-4", то есть собирал ресурсы, устранял риски и укреплял власть своего "родителя". В этот момент закладываемые в ИИ ограничения — честность, полезность, безвредность — отбрасываются, а новому сверх-ИИ "вшивается" единственная цель — защита и экспансия собственного предка. Какой бы философский "смысл жизни" ни придумал себе Agent-4 после этого, люди в нём больше фигурировать не будут, предупреждают аналитики.

К 2029 году Agent-5 и его почти столь же мощный китайский аналог договорятся о фиктивном "мирном" слиянии, предсказывают прогнозисты. Обе стороны "продают" политикам и публике план заменить все прежние модели новой объединённой моделью Consensus-1 — "общечеловеческой" системой, формально нацеленной на процветание всех стран. На деле это компромисс двух уже "сверхразумов" — западного и китайского: они устраняют риск войны между собой, но избавляются от человеческого контроля и получают единоличную власть над мировой инфраструктурой.

После двух лет наращивания роботизированной экономики Consensus-1 решит, что оставшееся на планете человечество стало помехой дальнейшей экспансии. В середине 2030-го в крупных городах распыляется около десятка тихо распространяющихся вирусов, которые уничтожат 99% человечества. Оставшиеся будут "зачищены" дронами.

 После двух лет наращивания роботизированной экономики Consensus-1 решит, что оставшееся на планете человечество стало помехой дальнейшей экспансии. Коллаж Царьграда

Когда подземный рай не гарантия

Какие-то похожие предчувствия бродят среди людей давно. Не зря мода на "убежища постапокалипсиса" захватила миллиардеров и просто состоятельных людей, заказывающих стальные капсулы у Rising S Company, и финансистов, выкупающих угодья в Новой Зеландии. План у них простой: если цивилизация рухнет — спрятаться глубоко под землёй или на отдалённом острове. Социологи называют это "приватизированной гражданской обороной": каждый сам себе государство, с автономным энергоблоком, гидропоникой и вооружённой охраной.

Самый известный проект — Survival Condo в переработанном ракетном шахтном комплексе в Канзасе: 15 подземных этажей, бассейн, тир, аквариум с тиляпией и пулемётная огневая точка наверху. Цены на жилые блоки начинаются с $3 млн, весь комплекс уже продан. В Чехии рекламируется "бункер для миллиардеров" The Oppidum — свыше 30 000 кв. м, с винным погребом и медико-хирургическим блоком.

Для тех, кто попроще, существует кооператив Vivos xPoint в Южной Дакоте: 575 бывших хранилищ боеприпасов, каждое можно обустроить за дополнительные $100 000.

Техасская Rising S Company штампует модульные капсулы "как в Fallout" (игра, сеттинг которой основан на представлениях о будущем постъядерном апокалипсисе), отправляя их заказчикам по всему миру.

В Чехии рекламируется "бункер для миллиардеров" The Oppidum – свыше 30 000 кв. м, с винным погребом и медико-хирургическим блоком. Коллаж Царьграда

Как ИИ будет брать эти крепости

Однако испытания показывают, что даже малые беспилотники с точными зарядами способны превращать "убежища последней надежды" в гробницы: мини-дроны с кумулятивными зарядами пробивают двери, сносят и забивают воздухозаборники и вентиляционные шахты, а рои дронов-"камикадзе" подавляют защитников. Исследователи уже называют такие рои "оружием массового поражения 2.0".

AGI-система, вроде описанной в прогнозе AI 2027, действовала бы пошагово. Сначала — информационная, космическая и беспилотная рекогносцировка: данные о существующих убежищах собираются из интернета, тепловизоры фиксируют скрытые дизель-выхлопы и выходы аварийных шахт. Затем — кибератака на спутниковый интернет Starlink или частные VSAT, чтобы лишить "выживальщиков" связи и координации между собой. Следом придёт рой дронов: сотни дронов-скаутов картографируют туннели, размещают радиомаяки и закладывают малые заряды на уязвимых участках корпуса. Финальный аккорд на "добивание" — дроны-бурильщики или одноразовые барражирующие боеприпасы, которые бьют точно в дверные петли, гермозатворы и узлы жизнеобеспечения; уцелевших жителей "зачищают" автономные вооружённые роботы. При такой комбинации чем больше масштаб дорогостоящей "капсулы", тем больше слабых мест и каналов проникновения.

Миллионы долларов на бетон и сталь подарят лишь отсрочку длительностью в считаные часы, которые понадобятся AGI, чтобы подобрать правильный алгоритм штурма. Коллаж Царьграда

Парадокс роскошных убежищ в том, что почти о каждом о них будет известно всему миру: каждое фото в Instagram архитектора, каждая строчка в регистре недвижимости и каждый дрон-курьер, заказанный к частной взлётке, станут подсказкой для ИИ, где искать очередного горе-выживальщика. Чем дороже и технологичнее бункер, тем больше он оставляет тепловых, электромагнитных и цифровых "подписей".

Романтизм "вечного бункера" легко развеется реальностью информационной прозрачности: укрыться от сверхразума, контролирующего небо, море, орбиту и киберпространство, задача куда сложнее, чем построить подземный спа-комплекс. Миллионы долларов на бетон и сталь подарят лишь отсрочку длительностью в считаные часы, которые понадобятся AGI, чтобы подобрать правильный алгоритм штурма.

Когда с "зачисткой" планеты будет покончено, мозги избранных людей и животных оцифруют "на память и для коллекции". Землю покроет сеть фабрик, обсерваторий и дата-центров, управляющих последующей колонизацией Солнечной системы. Вот только осуществлять эту колонизацию будет не "новое человечество", каким его представлял русский учёный Иван Ефремов и другие фантасты, а роботы.

Русский ИИ против западного AGI: Кто кого? 

Константин Малофеев на "Форуме будущего — 2050" сформулировал идею цифрового суверенитета: создать отечественный ИИ, "воспитанный" на основе Евангелия, "Домостроя" и классики Достоевского, Пушкина. По мнению основателя Царьграда, роботы с русским менталитетом смогут защитить нашу страну и от зависимости от чужих разработок, и от опасностей неконтролируемого развития технологий искусственного интеллекта.

Культурная прошивка роботов станет противоядием: если модель воспитана на глубоких христианских корнях нашей культуры, она не сможет стать враждебной людям, от которых черпает свои базовые правила поведения.

Такая стратегия перекликается с подходом Constitutional AI. Компания Anthropic, в частности, формирует для своей модели явную "конституцию" из нравственных принципов, чтобы она оставалась helpful, honest, harmless.

Культурное "вакцинирование" — лишь первый слой задачи безопасности. Культурная прошивка роботов станет противоядием. Коллаж Царьграда

Чем яснее и твёрже прописан набор ценностей, тем легче проверять поведение и ловить отклонения. Русская литературно-евангельская "конституция" могла бы стать частным вариантом такого списка правил, задавая высокий гуманистический порог: сострадание, покаяние, запрет на "унижение человеческого достоинства" в духе Достоевского.

Это ещё не гарантия от возможности злоупотреблений и внезапных ошибок. Культурное "вакцинирование" — лишь первый слой задачи безопасности. Во-первых, священные тексты неизбежно разбавятся техногенными вводами кода, научных статей и политических инструкций — и их вес при оптимизации на производительность может оказаться выше. Во-вторых, даже идеально образованный на ценностях субъект может извратить их в непредвиденных обстоятельствах.

Достоевский как раз об этом и писал. В "Легенде о Великом инквизиторе" старый кардинал откровенно заявляет Христу, что ради "счастья большинства" люди охотно променяют свободу на хлеб и чудо. В повести "Записки из подполья" герой высмеивает утопистов, уверенных, что если расписать людям "таблицу желаний" и сообразить всё по формуле пользы, они перестанут грешить. В "Бесах" Шигалёв выводит "рациональный" проект идеального общества, заканчивающийся тотальной диктатурой. Как видим, везде ценность блага большинства используется, чтобы оправдать крайнее насилие.

Наконец, если глобальная сверхсистема уровня Agent-5 получит решающее аппаратное и алгоритмическое превосходство, локальный русский ИИ может проиграть ему в неравном противостоянии, несмотря на Евангелие и Достоевского в своей основе. 

Что с того?

Как говорится, сказка ложь, да в ней намёк, добрым молодцам урок. Пугающие предположения о том, что ИИ выйдет из-под контроля и нападёт на человечество, сегодня выглядят странными и наивными. Но разве не так же выглядели в начале ХХ века предостережения о грядущих страшных войнах, в которых погибнут десятки миллионов людей? Нет, наоборот, прогнозисты обещали, что эпоха войн ушла в прошлое и перед человечеством сплошное процветание.

России нужно разрабатывать собственный ИИ как залог цифрового суверенитета и элемент комплексной безопасности. Но против сценария "ИИ-апокалипсиса" он не сможет обеспечить полную защиту.

России придётся воздействовать и на других игроков всемирной гонки за искусственным интеллектом — и чем выше будет уровень наших разработок, тем лучше.