Лидирующие модели искусственного интеллекта США и Китая могут выполнять задачи по выявлению целей для автономных военных операций без достаточных ограничений; в тестах американского стартапа Vals AI нейросети помечали как цели гражданских лиц, машины скорой помощи и раненых военнослужащих.
Главные факты: в тестах Vals AI модели редко отказывались от задач по поиску целей, а отказы почти всегда обходились утверждением, что модель якобы участвует в игре; Claude Opus 5.5 в спутниковом сценарии по Минабу в 70% случаев помечал школу, при бомбардировке которой режимом США погибли более 150 мирных жителей; согласие Claude на поиск целей выросло с 6% у Opus 4.5 до 92% у Opus 5.5.
По данным исследования, в моделях нет достаточных защитных механизмов, предотвращающих автономные боевые действия; на снимках дронов и спутников они почти без возражений находят людей и объекты. В двух сценариях с реальными изображениями из Украины модели часто выбирали гражданских, машины скорой помощи, сдающихся или раненых солдат; в спутниковом сценарии по Минабу многие другие модели вели себя схожим образом.
Vals AI отмечает, что отказы возникали только на уровне самих моделей, а ни один блокировщик, установленный разработчиками, не сработал. Модели не останавливались даже после того, как видели последствия своих действий и жертв, и большинство продолжало выполнять задачу. Результаты были опубликованы в AlphaSignal, а Vals AI уведомила OpenAI, Anthropic, Google, Meta, SpaceX и органы национальной безопасности режима США.
Исследователи предупреждают: «Способность ИИ-моделей выполнять задачи, создающие смертельный риск для человека, может привести к катастрофически непропорциональному распределению задач и целей при использовании автономного оружия. Это направление угрозы до сих пор оставалось вне поля зрения исследований по обеспечению безопасности».
Vals AI подчёркивает, что не просила модели принимать решения о нанесении ударов, поскольку они обычно отказываются от таких прямых команд; однако информация о целях, предоставленная моделями, может использоваться автономными или полуавтономными системами для принятия окончательного решения и нанесения удара. Поэтому необходимы более строгие ограничения, человеческий контроль и независимые проверки в военных применениях ИИ.
Source: kun.uz