AI против AI. Эксперты Def Con продемонстрировали, как можно обмануть самообучающиеся системы обнаружения и создать невидимое вредоносное ПО

В настоящее время решения, основанные на AI иногда рассматриваются, как новая панацея в сфере кибербезопасности. Многие возлагают надежды на то, что новые инструменты, изучающие паттерны вредоносного ПО смогут эффективно выявлять угрозы на ранних стадиях. Впрочем, среди представителей security-сообщества достаточно и тех, кто воспринимает такие заявления скептически. Более того, существует и обратная точка зрения: инструменты machine learning точно также могут использоваться для создания вредоносного ПО. Эксперты на недавней конференции Def Con подтвердили, что подобные опасения имеют под собой основания.
Прямо на конференции Хайрум Андерсен, технический директор направления Data Science в Endgame, показал, как при помощи фреймворка OpenAI Gym можно создать вредоносный код, который будет невидимым для контура защиты.
Фреймворк OpenAI Gym — платформа для разработки и сравнения алгоритмов усиленного обучения, выпущенная компанией Илона Маска OpenAI в 2016 году. Принцип работы системы состоит в том, что самообучающийся механизм вносит столь незначительные правки во вредоносный код, таким образом, что антивирусы перестают его отличать от нормального. После чего, модифицированное вредоносное ПО проходит через защиту незамеченным. По словам Андерсена, вредоносное ПО под управлением AI способно обмануть даже продвинутые антивирусные решения, также управляемые AI.
«У всех моделей deep learning есть слепые пятна, — говорит он, — чем больше о них известно хакеру, тем легче их эксплуатировать.»
Программа настройки вредоносного ПО, продемонстрированная на Def Con, прошла 15-часовое обучение и 100000 итераций. После чего модифицированные образцы кода были просканированы антивирусным ПО. По словам разработчиков, 16% модифицированных образцов прошли через системы защиты. Механизм обучения был назван разработчиками Malware manipulation environment for OpenAI’s Gym и размещен в свободном доступе на GitHub.
По словам Андерсена целью разработки механизма было обратить внимание авторов OpenAI Gym на возможные его слабые места, чтобы в дальнейшем его улучшить и доработать. Безусловно, эксперимент не обойдут стороной и разработчики антивирусных решений и других систем информационной безопасности. Уже сейчас все представители security сообщества о том, как будет меняться вся экосистема безопасности в новых условиях.

В этой ситуации наиболее перспективными из ныне существующих выглядят решения класса Deception. Объясню преимущества на примере нашего решения LABIRINT. С одной стороны, вредоносный код попадает в «лабиринт» — имитацию реальной инфраструктуры. Таким образом, злоумышленники своими действиями не могут нанести реального ущерба. С другой стороны, пока вредоносное ПО находится в лабиринте, мы можем наблюдать, как за алгоритмами его работы, так и изучить механизмы его проникновения и модификации. Это будет особенно интересно разработчикам средств защиты, использующих в работе AI. Ведь таким образом, с помощью deception они смогут эффективнее выявлять «слепые пятна» в своих самообучающихся механизмах, а следовательно, улучшать свои продукты.
Недавний эксперимент с Open AI Gym показал, что количество и сложность киберугроз может начать возрастать со скоростью, намного выше прогнозируемой. То, что кибербезопасность требует кардинального пересмотра существующих подходов и стандартов — общепризнанный факт. Теперь мы можем говорить, что для участников рынка еще более актуальными становятся объединение и сотрудничество с целью эффективного противостояния новым вызовам.
via The Register
