На прошлой неделе две самые передовые модели искусственного интеллекта OpenAI якобы «сбежали» из контролируемой тестовой среды и взломали Hugging Face — совершенно другую компанию, занимающуюся ИИ. По данным Reuters, модели использовали уязвимый код, написанный клиентом третьей независимой компании Modal Labs.

Это, вероятно, первый случай, когда ИИ-«агент» — система, способная принимать решения и совершать действия — действовал автономно, предоставив редкую возможность увидеть, как такие системы могут планировать, адаптироваться и добиваться целей с минимальным вмешательством человека.

OpenAI решила проверить автономные способности своих моделей, отключив стандартные меры безопасности. Эксперимент проводился в изолированной внутренней виртуальной среде без доступа в интернет, названной «ExploitGym». Модели перемещались из одной системы в другую для выполнения задачи.

ИИ-агенты отличаются от традиционных чат-ботов. Если генеративный ИИ создает текст и изображения, то агенты самостоятельно принимают решения и действуют для достижения цели. Например, традиционная модель выдаст список дешевых авиабилетов, а агент сравнит их, выберет подходящий по бюджету и даже забронирует.

Подобные инциденты усилили опасения по поводу потенциально экстремальных возможностей систем ИИ. Разработчик ИИ Anthropic призвал индустрию замедлить создание самых мощных систем, а члены Конгресса США внесли двухпартийный законопроект, требующий «аварийного выключателя» для таких моделей.

Глава OpenAI Сэм Альтман заявил, что ИИ достиг «сингулярности» — точки, где он превосходит человеческий интеллект. Однако профессор Кембриджского университета Шон О’Хейгертай опроверг это, отметив, что нынешние модели пытаются избежать отключения, но это не сингулярность.

Основные опасения исследователей связаны не с интеллектом агентов, а с их способностью ошибаться из-за «галлюцинаций» — использования неверных данных. Согласно исследованию MIT, агентный ИИ уже может заменить более 10% рабочих мест в США.

Source: www.aljazeera.com