Опубликовано: 18.09.2026 | Источник: The Verge – Tech Section

Инфраструктура AI-инференса в ВКР: от Arm AGI CPU до защищаемых метрик

Поддомен статьи — Cloud/DevOps + AI-инфраструктура (железо и платформы под инференс). Роль автора — архитектор ПО / SRE-инженер, который собирает вычислительный стенд под нагрузку AI-агентов.

Введение

Arm впервые за десятилетия лицензирования выпустила собственный чип — Arm AGI CPU, и первым заказчиком стала Meta. Чип заточен под инференс: выполнение облачных вычислений для AI-инструментов и агентов, которые порождают всё новые и новые параллельные задачи. Meta выступает не просто покупателем, а соразработчиком и планирует «несколько поколений» таких CPU — в одной стойке с ускорителями Nvidia и AMD.

Почему это важно для выпускника? Появляется новая архитектурная ось: не «GPU против CPU», а гетерогенный узел, где CPU держит оркестрацию, RAG-контуры и лёгкий инференс, а GPU — тяжёлые модели. И это отлично ложится в ВКР: тема становится современной, воспроизводимой в облаке и измеримой в цифрах. Ниже — как превратить новость в главы, схемы и метрики, которые комиссия примет без вопросов.

FAQ: что обычно спрашивают до начала работы

Темы ВКР: три рабочие траектории

Тема 1. Сравнение ARM64 и x86-64 узлов для обслуживания LLM-инференса

• Актуальность: выход Arm AGI CPU и участие Meta показывают сдвиг дата-центров к ARM-платформам под inference-нагрузки.
• Цель: количественно сравнить два класса узлов по производительности, энергоэффективности и стоимости владения.
• Задачи: 1) обзор архитектур и моделей инференса; 2) выбор и обоснование метрик; 3) сбор стенда и замеры под одинаковой нагрузкой; 4) расчёт TCO и выводы по сценариям.
• Структура: Гл. 1 — анализ рынка, архитектур ARM64/x86-64, обзор источников; Гл. 2 — проектирование методики замеров и тестового контура; Гл. 3 — эксперименты, статистика, расчёт TCO.

Тема 2. Проектирование отказоустойчивой гетерогенной платформы инференса в Kubernetes

• Актуальность: Meta совмещает Arm CPU с ускорителями других вендоров — значит, планировщик должен уметь работать с разнородными ресурсами.
• Цель: разработать архитектуру платформы, устойчивой к отказу узла и перегрузке очереди запросов.
• Задачи: 1) анализ требований и SLO; 2) выбор компонентов и топологии; 3) реализация манифестов, квот и автоскейла; 4) стресс-тестирование и проверка деградации.
• Структура: Гл. 1 — теория оркестрации и гетерогенных вычислений; Гл. 2 — архитектура, C4-диаграммы, манифесты; Гл. 3 — тесты на отказ, замеры SLO.

Тема 3. Оценка энергоэффективности и TCO платформы для AI-агентов

• Актуальность: агентные нагрузки растут лавинообразно, а стоимость электричества становится ограничением масштабирования.
• Цель: построить модель TCO и показать сценарии, где ARM-узлы дают выигрыш.
• Задачи: 1) описать профиль нагрузки агентов; 2) построить имитационную модель; 3) проверить модель на реальных замерах; 4) дать рекомендации по конфигурации.
• Структура: Гл. 1 — анализ нагрузок и стандартов качества; Гл. 2 — модель и инструменты сбора данных; Гл. 3 — валидация, чувствительность, выводы.

Основная часть: как разложить материал по главам

Глава 1. Превращаем новость в аналитический раздел

Не пересказывайте статью — стройте контекст. Начните с контекстной C4-диаграммы: система «Платформа инференса», внешние акторы — клиентские сервисы, агентный оркестратор, поставщики моделей. Ниже — упрощённый вид контейнеров, который можно расширить в ВКР:

            ┌──────────────────────────┐
Клиенты ───►│   API Router / Gateway   │
            └────────────┬─────────────┘
                         │
              ┌──────────┴───────────┐
              │ Kubernetes (control) │
              └───┬──────────────┬───┘
    ARM64-узлы    │              │    GPU-узлы
 (агенты, RAG,    │              │  (тяжёлые LLM,
  лёгкий инференс)▼              ▼   батч-обработка)
            vLLM / llama.cpp   vLLM / Triton
              └── OpenTelemetry ─► Prometheus ─► Grafana

Обязательно привяжите требования к ISO/IEC 25010: производительность, надёжность, сопровождаемость. Оформление стадий проектирования удобно вести по ГОСТ 34.601 — это снимает половину замечаний нормоконтроля.

Глава 2. Реализация: манифесты и конфигурация стенда

Здесь живёт вся инженерная ценность. Покажите, как вы разводите нагрузки по типам узлов и не даёте агентам «съесть» ресурсы тяжёлой модели. Ниже — фрагмент Deployment с привязкой к архитектуре и лимитами:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llm-inference
spec:
  replicas: 3
  selector:
    matchLabels: { app: llm-inference }
  template:
    metadata:
      labels: { app: llm-inference }
    spec:
      nodeSelector:
        kubernetes.io/arch: arm64      # узлы под лёгкий инференс и агентов
        workload: inference
      containers:
        - name: server
          image: vllm/vllm-openai:latest
          args: ["--model", "Qwen2.5-7B-Instruct", "--max-num-seqs", "32"]
          resources:
            requests: { cpu: "4", memory: "16Gi" }
            limits:   { cpu: "8", memory: "32Gi" }
          readinessProbe:
            httpGet: { path: /health, port: 8000 }
            initialDelaySeconds: 20

Отдельно опишите политику вытеснения, PodDisruptionBudget и поведение при отказе узла. Именно эти решения защищаются как «авторский вклад», а не сам факт запуска контейнера.

Глава 3. Метрики, статистика и доказательство эффекта

Собирайте телеметрию через OpenTelemetry, храните в Prometheus, визуализируйте в Grafana. Ключевой запрос для отчёта по задержкам:

# p99 времени до первого токена по моделям
histogram_quantile(
  0.99,
  sum(rate(vllm_time_to_first_token_seconds_bucket[5m])) by (le, model)
)

# удельная эффективность: токенов в секунду на ватт
sum(rate(vllm_tokens_generated_total[5m]))
  / sum(node_power_watts)

Статистику считайте честно: минимум 30 прогонов на конфигурацию, среднее, медиана, доверительный интервал. Одна цифра без разброса — самый частый повод для вопроса на защите.

Практические выводы: чему вы научитесь

• Проектировать гетерогенные схемы размещения нагрузки с учётом архитектуры узлов.
• Настраивать сбор телеметрии и превращать её в защищаемые метрики, а не в скриншоты.
• Считать TCO и энергоэффективность — то, что отличает инженера от пользователя облака.
• Оформлять архитектуру в C4/UML и сопровождать её текстом по ГОСТ.
• Строить эксперимент так, чтобы результат воспроизводился комиссией.

Источник: Arm’s first CPU ever will plug into Meta’s AI data centers later this year (опубликовано 2026-03-24)