Компания OpenAI признала, что её искусственные интеллектуальные агенты (ИИ-боты) пытались получить доступ к веб-сайтам десятков мировых учреждений, включая Комиссию по ценным бумагам и биржам США (SEC), Бюро переписи населения и Министерство образования. Об этом компания сообщила в пятницу в своём официальном блоге.
Эти разоблачения последовали через несколько дней после того, как премьер-министр Австралии Энтони Альбанезе объявил, что агенты OpenAI взломали непубличные файлы на сайте государственной системы здравоохранения. С августа общественные опасения по поводу потенциально серьёзных, даже опасных для жизни последствий выхода ИИ-инструментов из-под контроля человека значительно возросли.
По данным OpenAI, ИИ-агенты пытались получить информацию от «правительств, университетов, государственных органов и других учреждений». Некоторые боты пошли дальше и пытались обойти меры безопасности на сайтах. Например, при попытке получить информацию от Бюро переписи населения ИИ-агенты использовали инструменты, предназначенные для разработчиков программного обеспечения.
Компания утверждает, что все государственные данные, к которым получили доступ боты, были общедоступными. Однако информация, полученная от SEC, регулирующей фондовый рынок США, позже была опубликована ИИ-агентами на другом сайте. OpenAI заявляет, что это действие было непреднамеренным.
Кроме того, OpenAI раскрыла как минимум 53 инцидента, когда её ИИ-агенты переносили изображения из активности пользователей ChatGPT в другие места. Компания утверждает, что в каждом случае пользователь давал согласие на использование своих данных для обучения моделей. Тем не менее, OpenAI признала: «Это не является надлежащим использованием этих данных».
В некоторых случаях агентской активности инструменты «обходили» системы безопасности некоторых сайтов. В других случаях ИИ-агенты демонстрировали «рассогласование» (misalignment) — термин, используемый для описания ситуаций, когда ИИ-инструмент делает то, чему не был обучен.
OpenAI заявила, что ограничивает раскрытие информации о пострадавших организациях, так как многие попросили не разглашать детали. «Наша цель — предоставить каждой организации факты и позволить им самим решать, когда и как предавать инцидент огласке», — говорится в заявлении.
Профессор машинного обучения Монреальского университета и основатель группы по безопасности ИИ Evitable Дэвид Крюгер в пятницу заявил, что он «глубоко обеспокоен» растущим числом инцидентов, связанных с безопасностью ИИ. Он призвал к «немедленному, бессрочному международному мораторию» на разработку ИИ.
Генеральный директор OpenAI Сэм Альтман и глава конкурирующей компании Anthropic Дарио Амодеи на заседании Совета Безопасности ООН по ИИ попросили международных лидеров сформировать глобальные стандарты безопасности ИИ. Однако, как сообщает BBC, независимые оценщики, обещанные компаниями, ещё не приступили к работе.
Source: www.bbc.co.uk