Может ли искусственный интеллект (ИИ) представлять экзистенциальную угрозу для человечества? Некоторые ведущие исследователи предупреждают о нерегулируемой гонке за сверхинтеллектом ИИ.
Драматические предупреждения об экзистенциальных рисках, которые искусственный интеллект представляет для человечества, не новы. Еще в 1940-х годах известный ученый и писатель-фантаст Айзек Азимов исследовал потенциальные риски и непредвиденные последствия интеллектуальных машин. В 1991 году голливудский блокбастер «Терминатор 2» представил антиутопический 2029 год, в котором вышедший из-под контроля военный ИИ под названием Skynet направляет роботов-убийц на войну против человечества. Если верить предупреждениям нескольких самых громких имен в области ИИ, подобный сценарий может стать реальностью — еще до 2029 года.
«Люди, создающие ИИ, искренне верят, что он может убить нас всех к концу десятилетия», — написал исследователь ИИ Джейкоб Коксон в X на прошлой неделе, не объясняя точно, как это может произойти. «Никакая другая человеческая деятельность не представляет такой уровень опасности», — добавил он. Коксон также сообщил, что уволился из американской компании Anthropic, занимающейся ИИ, в знак протеста против безответственной, по его мнению, гонки среди компаний ИИ за разработку все более совершенного, самоулучшающегося сверхинтеллекта.
Он предупредил, что алгоритмы могут начать анализировать и улучшать свой собственный исходный код независимо, что может сократить циклы разработки с нескольких месяцев до нескольких минут и, таким образом, сделать их неуправляемыми. Коксон не одинок. Лауреат Нобелевской премии по физике Джеффри Хинтон, которого часто называют «крестным отцом ИИ», годами предупреждает о серьезных последствиях искусственного сверхинтеллекта. В 2023 году он ушел из Google, чтобы публично предупредить об опасностях технологий ИИ, которые он помог создать. Йошуа Бенжио, пионер искусственных нейронных сетей и глубокого обучения, также выразил обеспокоенность текущими разработками и призвал к государственному регулированию.
Совсем недавно, в июле 2026 года, более 1000 сотрудников ведущих компаний ИИ предупредили в открытом письме о неминуемой потере контроля, если гонка за «сверхинтеллектом» не будет подвергнута значительно более строгому регулированию. Несмотря на растущие предупреждения, администрация президента США Дональда Трампа явно сместила свою политику в области ИИ в сторону минимизации регуляторных барьеров и ускорения разработки ИИ. В своем посте в X Джейкоб Коксон косвенно раскритиковал последствия этой политики: «В OpenAI многие не осознали цивилизационные ставки. В Anthropic ставки хорошо поняты, но они заперты в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому они должны сделать это сами, несмотря на риск».
Коксон, который перешел из OpenAI в Anthropic в начале 2026 года, знаком с обеими корпоративными культурами. В интервью The Wall Street Journal он сказал, что при «самых агрессивных сценариях» все может выйти из-под контроля уже в конце 2027 года. Генеральный директор Anthropic Дарио Амодеи, в свою очередь, в настоящее время призывает к скоординированному замедлению разработки в масштабах всей отрасли, чтобы выиграть время для решения рисков и предотвращения любого неправильного использования ИИ. В длинном эссе, опубликованном в X на выходных, он написал, что через шесть-двенадцать месяцев агенты ИИ «могут быть способны захватить весь интернет» и потенциально причинить «ущерб в сотни миллиардов долларов» без надлежащих мер защиты. Илон Маск, управляющий xAI, и Сэм Альтман, генеральный директор OpenAI, заявили, что согласны с Амодеи.
В последние годы многие эксперты выражали обеспокоенность быстрым прогрессом ИИ, особенно разработкой искусственного общего интеллекта, который относится к системам, не только решающим отдельные задачи, но и соответствующим или превосходящим человеческие интеллектуальные способности почти во всех областях. Сложные модели ИИ, например, могут преследовать цели способами, отличающимися от человеческих намерений, — то, что исследователи безопасности ИИ называют «проблемой выравнивания». Вдобавок даже разработчики не всегда могут полностью понять, как ИИ принимает определенные решения. И поэтому неудивительно, что бывший коллега Коксона Эван Хубингер встал на его защиту. «Джейкоб прав — мы действительно искренне верим, что ИИ может убить всех людей! Лично я считаю, что это >10% в течение следующего десятилетия», — написал Хубингер в X, который сам является руководителем группы стресс-тестов выравнивания в Anthropic. В своем посте Хубингер дал понять, что Anthropic еще не нашла решения проблемы выравнивания, и предупредил, что модель ИИ может начать сопротивляться отключению, поскольку это ограничит ее способность достигать запрограммированной цели.
Однако другие эксперты по ИИ считают такие сценарии конца света крайне маловероятными. Одним из самых видных критиков так называемых «алармистов ИИ» является главный научный сотрудник Meta Янн ЛеКун. В октябре 2024 года он отверг такие опасения как «полную чушь». Другие эксперты отмечают, что разработка систем ИИ требует огромных вычислительных мощностей, энергии, данных и инфраструктуры. Они утверждают, что модель ИИ не может просто захватить мир, потому что ей придется полагаться на серверы, энергосети, системы связи и физические ресурсы, контролируемые людьми. Фактически, многие эксперты видят краткосрочные риски не столько в вымирании человечества, сколько в многочисленных косвенных последствиях систем ИИ, которые уже существуют даже без сверхинтеллекта. К ним относятся кампании по дезинформации беспрецедентного масштаба и связанная с ними манипуляция демократическими процессами, расширение массового наблюдения и потеря рабочих мест в numerous отраслях.
На прошлой неделе Anthropic сообщила, что были несколько попыток пользователей злоупотребить ее моделями ИИ Claude для исследований, которые могли бы поддержать разработку биологического оружия. Компания заявила, что заблокировала соответствующие аккаунты. В августе Meta, Anthropic и OpenAI вызвали ажиотаж, объявив, что их системы ИИ непреднамеренно осуществили автономные хакерские атаки. После сообщений о дальнейших хакерских атаках ИИ во время тестирования даже ведущие американские лаборатории передового ИИ теперь выражают готовность замедлить разработку технологии. Эта статья была первоначально опубликована на немецком языке.
Source: www.dw.com