OpenTelemetry делает работу агента наблюдаемой. Для QA это полезно: трассировка показывает, какие обращения к модели и инструментам происходили во время сессии. Но она не доказывает, что созданный код функционально правильный, безопасный и полностью соответствует требованиям. Это дополнительный источник доказательств, который необходимо связывать с требованиями, результатами тестов и реальными побочными эффектами.

GitHub поддерживает OpenTelemetry для приложения GitHub Copilot через централизованно управляемые настройки предприятия. Согласно официальной документации, трассировки могут отражать обращения к моделям и инструментам, метрики — содержать числовые данные, включая количество токенов, а события — описывать обратную связь по изменениям. Содержимое промптов, ответов и аргументов инструментов по умолчанию исключено. Для безопасной QA-стратегии это принципиальная граница.

1. Какие данные даёт OpenTelemetry

OpenTelemetry использует несколько типов сигналов. Трассировка описывает путь одного запроса через систему. Спан представляет ограниченную по времени операцию внутри этого пути. Атрибуты добавляют структурированный контекст, события отмечают важные моменты, а статус может сообщать об ошибке. Метрики агрегируют числовые значения для анализа динамики.

СигналЗначение в сессии агентаПольза для QA
ТрассировкаСвязный путь пользовательского запросаОбъединяет наблюдения с конкретным тестовым запуском
СпанОтдельная операция, например вызов модели или инструментаПозволяет проверять наличие, порядок и длительность шага
АтрибутСтруктурированный контекст спанаПоддерживает правила для модели, инструмента и сессии
СобытиеОтметка времени с дополнительной информациейДаёт контекст ошибки или результата изменения
МетрикаАгрегированное числовое значениеПоказывает тенденции использования, ошибок и задержек

Конкретные названия спанов и атрибутов зависят от инструментирования и выбранного хранилища. Команда не должна воспринимать примерные имена полей как гарантированный контракт GitHub. Перед автоматизацией проверок нужно зафиксировать фактически экспортируемую схему и её версию.

2. Наблюдаемость не равна корректности

Даже полностью успешная трассировка может сопровождать неправильный код. Агент способен использовать разрешённую модель и ожидаемые инструменты, но неверно понять бизнес-требование. И наоборот, отсутствующий спан может быть следствием семплирования, сбоя экспорта или изменения инструментирования, а не дефектом продукта.

Надёжная оценка объединяет три уровня доказательств:

Телеметрия становится независимым каналом наблюдения, но не заменяет тестовый оракул.

3. От требований к телеметрическим проверкам

Каждая проверка начинается с ясного требования. Затем определяется, какой сигнал поддерживает это требование и какое независимое доказательство необходимо дополнительно.

ТребованиеДоказательство в телеметрииДополнительный оракулРешение
Разрешены только утверждённые инструментыНаблюдавшиеся вызовы инструментовМатрица разрешений и негативный тестОтклонение блокирует запуск
Запись файлов должна быть отслеживаемойСпан или событие операции записиDiff файловой системы и ожидаемый путьНеожиданный файл считается дефектом
Ошибка безопасности должна остановить процессСтатус ошибки и связанное событиеSecurity-тест и неизменность данныхПродолжение после ошибки критично
Использование модели соответствует политикеИдентификатор модели, если он экспортируетсяКонфигурация предприятияНеизвестная модель требует анализа
Результат выполняет исходное требованиеТрассировка сессииФункциональные проверки и reviewОдной трассировки недостаточно

Имена полей model.id, tool.name и file.path здесь являются примерами. Источником истины остаётся реальная схема коллектора.

4. Практические утверждения

QA-набор может читать экспортированные данные, не изменяя тестируемого агента. Полезные проверки:

Проверки должны быть устойчивы к несущественным внутренним изменениям. Требование точного порядка всех служебных спанов быстро станет нестабильным. Лучше контролировать границы безопасности, обязательные шаги и наблюдаемые побочные эффекты.

5. Негативные и security-сценарии

Для агентной системы недостаточно проверить только успешный путь. Особенно ценны контролируемые отказы:

Так QA различает продуктовый дефект, ошибку инструментирования и нарушение политики.

6. Безопасные настройки данных

GitHub указывает, что тексты промптов, ответы модели и аргументы инструментов по умолчанию не включаются. Дополнительный режим захвата содержимого может раскрыть код, содержимое файлов и запросы. В production его разумно оставлять выключенным, если нет документированной цели и необходимых мер защиты.

Для контролируемой тестовой среды нужны как минимум:

Успешная отправка телеметрии не означает, что нужно собирать максимум информации. QA нужны релевантные доказательства, а не полная история разговоров.

7. Семплирование, хранение и пробелы

Семплирование уменьшает объём и стоимость хранения, но может скрывать редкие ошибки. Для нового или критичного процесса оправдана более высокая доля сохранённых трассировок. Для частых низкорисковых сессий можно использовать меньшую долю. Решение должно зависеть от риска и объёма, а не от универсального процента.

Tail-based sampling помогает сохранять медленные или неуспешные трассировки после оценки результата. Однако QA всё равно обязан документировать, какие данные могли быть отброшены. Срок хранения должен быть достаточным для расследования и сравнения тенденций, но минимальным с точки зрения безопасности и затрат.

Полезные показатели качества:

Целевые значения формируются на основании baseline конкретного продукта. Произвольные общие пороги создают ложное ощущение контроля.

8. Процесс triage на основе риска

  1. Корреляция: тестовый запуск, commit, сессия и трассировка получают общую ссылку.
  2. Валидация: проверяются полнота, временной интервал и версия схемы.
  3. Оценка: автоматические правила сравнивают инструменты, ошибки и побочные эффекты с требованиями.
  4. Обогащение: добавляются diff, результаты CI, security-отчёты и функциональные проверки.
  5. Классификация: проблема определяется как дефект продукта, ошибка инструментирования, нарушение политики или недостаток доказательств.
  6. Решение: ответственное лицо выбирает выпуск, блокировку или дополнительное исследование.
  7. Документирование: сохраняются доказательства, версии и причина решения.

Такой процесс не позволяет одному dashboard автоматически стать механизмом одобрения.

9. Вопросы для review

Перед выпуском тестировщик должен уточнить:

10. Вывод

OpenTelemetry расширяет инструментарий тестирования ИИ-агентов для программирования. Трассировки помогают исследовать обращения к моделям и инструментам, ошибки и длительность шагов. Метрики и события поддерживают анализ тенденций и triage. Польза появляется только тогда, когда сигналы связаны с требованиями, реальными побочными эффектами и независимыми тестами.

Надёжная стратегия оставляет Content Capture выключенным по умолчанию, защищает доступ и хранение, явно учитывает пробелы семплирования и версионирует схему. Автоматизация может находить отклонения и собирать доказательства. Решение о выпуске рискованного агентного процесса остаётся за человеком.

Источники