Black Hat One надеется, что широко используемое корпоративное программное обеспечение безопасно. Приготовьтесь к тому, что эти надежды снова будут разбиты, поскольку сегодня технический директор Zenity Майкл Баргури раскрыл свои уязвимости Microsoft Copilot на Black Hat.
«На самом деле очень сложно создать безопасного бота [Copilot Studio]», — сказал Баргури The Register в интервью перед своими выступлениями на конференции, «потому что все настройки по умолчанию небезопасны».
На этой неделе на Black Hat в Лас-Вегасе Баргури дважды говорил о недостатках безопасности Microsoft Copilot. Его первый доклад был посвящен вышеупомянутой Copilot Studio, инструменту Microsoft без кода для создания собственных корпоративных ботов Copilot. Во втором докладе были рассмотрены все отвратительные вещи, которые злоумышленник может сделать с Copilot, если ему удастся взломать системы организации, использующей эту технологию, а также то, как использовать Copilot для получения этого начального доступа.
Zenity, если говорить точнее, предлагает, помимо прочего, средства управления безопасностью для Copilot и подобных корпоративных помощников. Помните об этом. Он предупреждает о рисках использования служб искусственного интеллекта Microsoft.
Ваши боты Copilot довольно болтливы
Если вы не очень хорошо знакомы с Copilot Studio, это инструмент для нетехнических людей, позволяющий создавать простых разговорных ботов с использованием искусственного интеллекта Copilot от Microsoft, которые могут отвечать на вопросы людей, используя внутренние деловые документы и данные. Это стало возможным благодаря так называемой генерации дополненного поиска или RAG.
Это способ Microsoft «расширить щупальца [Copilot] в другие сферы бизнеса, такие как CRM и ERP», как мы писали здесь. Компании могут создавать ботов для взаимодействия с клиентами и/или сотрудниками, которые обеспечивают интерфейс на естественном языке для внутренней информации.
К сожалению для всех клиентов Copilot Studio, нам говорят, что настройки по умолчанию на платформе совершенно недостаточны. Объедините это с тем, что, по словам Эндрю Силбермана, директора по маркетингу Zenity, в среднем на крупном предприятии (речь идет о компаниях уровня Fortune 500) насчитывается около 3000 ботов Copilot Studio, а также с исследованиями, показывающими, что 63 процента из них можно обнаружить в сети, и у вас есть потенциальный рецепт для утечки данных.
В частности, если эти боты доступны для общественности, а нам говорят, что многие из них доступны, их можно обмануть и заставить передать или просто намеренно передать информацию людям, которая не должна была быть предоставлена добровольно во время разговоров, утверждается.
Нам говорят, что поскольку боты Copilot часто имеют доступ к внутренним данным компании и конфиденциальным документам, нужно выяснить, как их обмануть или заставить раскрыть эти данные. Баргури сказал, что ему удалось добиться этого, настроив ChatGPT так, чтобы он вводил в заблуждение ботов Copilot автоматическими некорректными подсказками.
«Мы просканировали интернет и обнаружили десятки тысяч таких ботов», — сказал Баргури. Он объяснил высокую доступность этих агентов в сети настройками Copilot Studio по умолчанию, которые публиковали их в сети без необходимости аутентификации для доступа к ним — упущение, которое Microsoft исправила после того, как команда Zenity обратила на него внимание.
К сожалению, новые настройки по умолчанию, которые по умолчанию не допускают ботов Copilot Studio в общедоступный интернет, в настоящее время применяются только к новым установкам, сказал Баргури, поэтому пользователи пакета, которые установили его ранее, должны проверить свои развертывания, чтобы убедиться в этом.
Баргури и его команда выпустили новый инструмент для обнаружения и использования уязвимостей ботов Copilot. Получивший название CopilotHunter, он теперь доступен в виде модуля PowerPwn, инструмента Zenity, выпущенного Black Hat в прошлом году для тестирования злоупотреблений гостевыми учетными записями Microsoft 365.
Второй пилот, пожалуйста, нарушьте мою цель
Хотя Баргури сказал The Reg, он, возможно, перенапрягся, планируя два разговора Black Hat в этом году его второй результат демонстрирует не меньше усилий – или разрушительного эффекта – чем первый.
Copilot, как продемонстрировал Баргури на этой неделе, весьма восприимчив к атакам с непрямым внедрением подсказок, которые, по его мнению, повышают серьезность удаленного выполнения кода (RCE), когда они выполняются против корпоративной цели с доступом к конфиденциальным данным.
«RCE — это просто возможность из удаленного местоположения выполнить код, который что-то делает на вашей машине», — сказал Баргури. «Непрямое внедрение подсказок, которое заставляет ИИ что-то делать от вашего имени, — это то же самое с тем же воздействием».
Баргури заявил, что, получив доступ к скомпрометированной среде, он может взломать Copilot, заставить его посещать фишинговые сайты, чтобы заставить его передавать пользователям вредоносную информацию, контролировать ссылки, отображать произвольную информацию, тайно извлекая зашифрованные данные, проводить операции без одобрения пользователя и тому подобное.
В довершение всего, Copilot также можно обманом заставить предоставить первоначальный доступ к сети и выполнять другие вредоносные действия, используя только электронную почту, прямое сообщение, приглашение в календаре или другую распространенную тактику фишинга, но эта работает даже без необходимости взаимодействия пользователя с ней или нажатия ссылки из-за того, как Copilot сканирует сообщения.
«Microsoft Copilot построен на корпоративном графе», — объяснил Баргури. Как только сообщение, электронное письмо или приглашение отправляется, оно попадает в граф, Copilot сканирует его, «и это путь для меня, чтобы начать с оперативного внедрения».
В одном примере Баргури продемонстрировал, как он смог изменить банковскую информацию, чтобы перехватить банковский перевод между компанией и клиентом, «просто отправив электронное письмо этому человеку».
Функция бота на основе искусственного интеллекта
Баргури объяснил нам, что он рассматривает эти открытия как показатель того, что отрасль все еще находится на самых ранних этапах развития искусственного интеллекта на предприятии и сталкивается с тем фактом, что ИИ меняет наши отношения с данными.
«Здесь есть фундаментальная проблема», — сказал он. «Когда вы предоставляете ИИ доступ к данным, эти данные становятся поверхностью атаки для немедленного внедрения».
Когда вы предоставляете ИИ доступ к данным, эти данные теперь становятся поверхностью атаки для немедленного внедрения
Если это правда, то боты Copilot по своей природе небезопасны, поскольку многие из них общедоступны, они тесно связаны с корпоративными данными и готовы раскрыть секреты с помощью небольшого количества скрытого HTML или фаззинга на базе ChatGPT.
«Это довольно забавно в некотором смысле — если у вас есть полезный бот, то он уязвим. Если он не уязвим, то он бесполезен», — сказал Баргури.
Технический директор Zenity отметил, что Microsoft невероятно оперативно реагирует на его отчеты, и сказал, что несколько обнаруженных им ошибок были устранены, хотя и в определенных пределах.
«Приложения [ИИ] в основном меняются в процессе производства, потому что ИИ выбирает делать то, что хочет, поэтому нельзя ожидать, что платформа будет просто безопасной и все», — сказал Баргури. «Этого не произойдет, потому что эти платформы должны быть гибкими, иначе они бесполезны».
Если у вас есть полезный бот, он уязвим. Если он не уязвим, он бесполезен
Баргури считает, что для обеспечения безопасности программного обеспечения ИИ, такого как Copilot, требуется мониторинг памяти в реальном времени, мониторинг разговоров и отслеживание потенциальных RCE-инъекций, но даже это может быть сложно в закрытых корпоративных средах.
Суть в том, что предприятия — это подопытные кролики, тестирующие экспериментальный препарат под названием «искусственный интеллект», и мы пока не достигли той точки, когда знаем, как сделать его безопасным.
Баргури и его команда выпустили еще один набор для тестирования под названием «LOLCopilot» для организаций, которые хотят проверить свои настройки на уязвимость к его эксплойтам.
«Copilot обладает прекрасными навыками. Он может выполнять поиск, он может позволить вашим сотрудникам находить данные, к которым у них есть доступ, но они не знали об этом… эти вещи важны», — сказал нам Баргури. «Но это не так важно, как предотвращение удаленного выполнения кода».
Мы ждем ответа от Microsoft по поводу результатов Zenity и сообщим вам, если получим ответ от гиганта Windows. ®
