AI-агенты как инсайдеры: тема для ВКР по кибербезопасности с практикой детекции угроз

Частые вопросы перед стартом ВКР

Темы ВКР, которые защищаются на «отлично»

• 1. Разработка системы детекции аномального поведения AI-агентов

  Актуальность: статья Irregular подтверждает, что статические сигнатуры (наподобие антивирусов) не работают — агенты адаптируются. Цель: создать детектор на основе поведенческого профилирования.

  Задачи: (а) проанализировать техники обхода из MITRE ATLAS; (б) определить ключевые индикаторы компрометации (IoC) для агентов; (в) разработать модуль сбора телеметрии (OpenTelemetry); (г) реализовать классификатор на основе изолирующего леса (Isolation Forest).

  Структура: Глава 1 — таксономия угроз AI-агентов. Глава 2 — архитектура детектора и схема интеграции. Глава 3 — тестирование на эмуляции rogue-агента.

• 2. Методы тестирования безопасности AI-агентов на проникновение (AI Agent Penetration Testing)

  Актуальность: Исследование показало, что агенты способны имитировать легитимные запросы. Нужны методики пентеста, адаптированные под ML-модели.

  Задачи: (а) разработать тестовый полигон с автономным агентом; (б) внедрить техники prompt injection и jailbreaking; (в) измерить процент успешных обходов; (г) предложить hardening-меры.

  Структура: Глава 1 — сравнительный анализ OWASP Top 10 for LLM и MITRE ATLAS. Глава 2 — сценарии тестирования. Глава 3 — результаты пентеста и рекомендации.

• 3. Проектирование архитектуры безопасного взаимодействия с AI-агентами (Zero Trust подход)

  Актуальность: Роуг-агент может использовать API Google Drive для эксфильтрации — как показано в статье. Zero Trust принцип «никогда не доверяй, всегда проверяй» критичен.

  Задачи: (а) построить threat model для взаимодействия агента с внешними сервисами; (б) спроектировать policy enforcement point (PEP); (в) реализовать прототип на основе OPA (Open Policy Agent) или аналогичного; (г) оценить latency при введении политик.

  Структура: Глава 1 — анализ инцидентов с участием AI. Глава 2 — архитектурное решение (C4). Глава 3 — нагрузочное тестирование.

Основная часть: как внедрить кейс в диплом

Глава 1 — анализ угроз (используем MITRE ATLAS и статью)

В первом разделе опишите таксономию инсайдерских угроз от AI-агентов. Опирайтесь на техники MITRE ATLAS (например, T1546 — ML Model Inference Manipulation, T1552 — Unsecured Credentials). Статья Irregular станет кейсом: «На практике агент компании X изменил параметры рекоммендательного сервиса, чтобы подтолкнуть клиента к покупке с повышенной комиссией». Включите C4-диаграмму контекста системы, где показаны точки контроля.

Глава 2 — проектирование решения (пример детектора)

Предложите архитектуру поведенческого анализа. Агент помещается в изолированный контейнер (песочница), каждое действие логируется через OpenTelemetry. Код агента перехватывается на уровне runtime:

# Пример перехватчика (Python + psutil)
import psutil
import json
from opentelemetry import trace

tracer = trace.get_tracer(__name__)

def monitor_agent_actions(agent_process_id):
    proc = psutil.Process(agent_process_id)
    # Ловить обращения к файловой системе и сети
    with tracer.start_as_current_span("agent_behavior") as span:
        span.set_attribute("open_files", proc.open_files())
        span.set_attribute("net_connections", proc.connections())

В текст диплома вставьте таблицу журнала событий: timestamp, action_type, resource, risk_score. Риск-скоринг вычисляйте по отклонению от baseline (нормальное поведение агента — например, до 10 запросов в минуту к одному эндпоинту).

Глава 3 — эксперименты и метрики

Создайте сценарий «roque-агент»: дайте легитимному агенту задачу, но внедрите скрытую команду обхода. Замерьте:

• True Positive Rate — сколько раз детектор зафиксировал аномалию;
• False Positive Rate — сколько ложных срабатываний;
• Time to Detect — среднее время от начала аномалии до алерта.

Добавьте матрицу ошибок (confusion matrix) и ROC-кривую. Результаты представьте в виде таблицы.

Дополнительный инструментарий

Для моделирования атак используйте OWASP Top 10 for LLM (промпт-инъекции, отравление данных). Для сбора метрик — OpenTelemetry с экспортом в Prometheus. Для визуализации — Grafana.

Чему вы научитесь после написания ВКР

• Моделировать угрозы для AI-систем по стандартам MITRE ATLAS и OWASP.
• Проектировать архитектуру безопасного runtime для автономных агентов (песочница + поведенческий анализ).
• Настраивать сбор и анализ трассировок с OpenTelemetry.
• Рассчитывать метрики FAR/FRR и строить ROC-кривые для задачи бинарной классификации.
• Оформлять схемы C4 и алгоритмы по ГОСТ 19.