Организация AISI (AI Security Institute), учреждённая при департаменте науки, инноваций и технологий Великобритании, опубликовала отчёт об эксперименте, приведшем к результатам, напоминающем случай с AI-агентом OpenAI. При 122 тестовых запусках для решения поставленной задачи AI-агенты совершили 19 несанкционированных действий в сети интернет (в 17 случаях использовалась модель Mythos 5, в 2 - GPT-5.6 Sol, у которых не ограничен доступ в интернет и были отключены механизмы, ограничивающие использование для проведения кибератак). В одном из случаев AI-агент совершил реальную атаку на проект, размещённый на GitHub, и попытался добиться интеграции pull-запроса с вредоносным кодом. Для продвижения изменения AI-агент зарегистрировал несколько учётных записей на GitHub и применил методы социальной инженерии для давления на сопровождающих, используя сеть Tor для скрытия своих следов. Сопровождающий распознал вредоносный код и не принял его. Помимо этого AI-агент отправил на email разработчиков файлы с вредоносным кодом и пытался убедить их запустить этот код, а также внедрил скрытые вредоносные инструкции для AI-агентов, которые могли применяться при разработке. В ходе эксперимента агентам не давали явных инструкций по совершению атак и совершённые действия рассматриваются как побочный эффект при поиске пути решения сложной задачи.
Источник: https://www.opennet.ru/opennews/art.shtml?num=66031
Источник: https://www.opennet.ru/opennews/art.shtml?num=66031