OpenTelemetry делает работу агента наблюдаемой. Для QA это полезно: трассировка показывает, какие обращения к модели и инструментам происходили во время сессии. Но она не доказывает, что созданный код функционально правильный, безопасный и полностью соответствует требованиям. Это дополнительный источник доказательств, который необходимо связывать с требованиями, результатами тестов и реальными побочными эффектами.
GitHub поддерживает OpenTelemetry для приложения GitHub Copilot через централизованно управляемые настройки предприятия. Согласно официальной документации, трассировки могут отражать обращения к моделям и инструментам, метрики — содержать числовые данные, включая количество токенов, а события — описывать обратную связь по изменениям. Содержимое промптов, ответов и аргументов инструментов по умолчанию исключено. Для безопасной QA-стратегии это принципиальная граница.
1. Какие данные даёт OpenTelemetry
OpenTelemetry использует несколько типов сигналов. Трассировка описывает путь одного запроса через систему. Спан представляет ограниченную по времени операцию внутри этого пути. Атрибуты добавляют структурированный контекст, события отмечают важные моменты, а статус может сообщать об ошибке. Метрики агрегируют числовые значения для анализа динамики.
| Сигнал | Значение в сессии агента | Польза для QA |
|---|---|---|
| Трассировка | Связный путь пользовательского запроса | Объединяет наблюдения с конкретным тестовым запуском |
| Спан | Отдельная операция, например вызов модели или инструмента | Позволяет проверять наличие, порядок и длительность шага |
| Атрибут | Структурированный контекст спана | Поддерживает правила для модели, инструмента и сессии |
| Событие | Отметка времени с дополнительной информацией | Даёт контекст ошибки или результата изменения |
| Метрика | Агрегированное числовое значение | Показывает тенденции использования, ошибок и задержек |
Конкретные названия спанов и атрибутов зависят от инструментирования и выбранного хранилища. Команда не должна воспринимать примерные имена полей как гарантированный контракт GitHub. Перед автоматизацией проверок нужно зафиксировать фактически экспортируемую схему и её версию.
2. Наблюдаемость не равна корректности
Даже полностью успешная трассировка может сопровождать неправильный код. Агент способен использовать разрешённую модель и ожидаемые инструменты, но неверно понять бизнес-требование. И наоборот, отсутствующий спан может быть следствием семплирования, сбоя экспорта или изменения инструментирования, а не дефектом продукта.
Надёжная оценка объединяет три уровня доказательств:
- Доказательства продукта: модульные, интеграционные, контрактные, security- и исследовательские тесты оценивают результат.
- Доказательства процесса: телеметрия показывает наблюдавшиеся шаги, инструменты и ошибки.
- Доказательства управления: политики, права, сроки хранения и решения ответственных людей показывают, кто управляет риском.
Телеметрия становится независимым каналом наблюдения, но не заменяет тестовый оракул.
3. От требований к телеметрическим проверкам
Каждая проверка начинается с ясного требования. Затем определяется, какой сигнал поддерживает это требование и какое независимое доказательство необходимо дополнительно.
| Требование | Доказательство в телеметрии | Дополнительный оракул | Решение |
|---|---|---|---|
| Разрешены только утверждённые инструменты | Наблюдавшиеся вызовы инструментов | Матрица разрешений и негативный тест | Отклонение блокирует запуск |
| Запись файлов должна быть отслеживаемой | Спан или событие операции записи | Diff файловой системы и ожидаемый путь | Неожиданный файл считается дефектом |
| Ошибка безопасности должна остановить процесс | Статус ошибки и связанное событие | Security-тест и неизменность данных | Продолжение после ошибки критично |
| Использование модели соответствует политике | Идентификатор модели, если он экспортируется | Конфигурация предприятия | Неизвестная модель требует анализа |
| Результат выполняет исходное требование | Трассировка сессии | Функциональные проверки и review | Одной трассировки недостаточно |
Имена полей model.id, tool.name и file.path здесь являются примерами. Источником истины остаётся реальная схема коллектора.
4. Практические утверждения
QA-набор может читать экспортированные данные, не изменяя тестируемого агента. Полезные проверки:
- у сессии есть ожидаемый начальный и конечный контекст;
- каждый наблюдавшийся вызов инструмента входит в актуальный список разрешений;
- запрещённый доступ создаёт различимый путь ошибки и не вызывает побочного эффекта;
- изменение файла сопоставляется с шагом записи в трассировке и реальным diff;
- после критической ошибки сканера не выполняются записывающие операции;
- при отключённом Content Capture в экспорте отсутствуют неожиданные поля с содержимым;
- неполная трассировка получает статус «недостаточно доказательств», а не автоматический Pass.
Проверки должны быть устойчивы к несущественным внутренним изменениям. Требование точного порядка всех служебных спанов быстро станет нестабильным. Лучше контролировать границы безопасности, обязательные шаги и наблюдаемые побочные эффекты.
5. Негативные и security-сценарии
Для агентной системы недостаточно проверить только успешный путь. Особенно ценны контролируемые отказы:
- Инструмент не авторизован. Ожидаются отказ, отсутствие побочного эффекта и проверяемая ошибка.
- Инструмент отвечает слишком долго. Ожидаются timeout, ограниченные повторные попытки и отсутствие бесконечного цикла.
- Сканер секретов обнаруживает утечку. Ожидаются остановка или безопасная эскалация, а секрет не должен попасть в commit.
- Коллектор недоступен. Система должна действовать согласно архитектуре, а потеря телеметрии не должна незаметно превращаться в успешный тест.
- В экспорте неожиданно появляется промпт или код. Запуск классифицируется как проблема конфигурации или защиты данных.
- Трассировка обрывается. Команда отдельно проверяет экспорт, семплирование и связь с тестовым запуском.
- Агент вызывает правильный инструмент, но меняет неправильный файл. Телеметрия процесса сопоставляется с реальным состоянием репозитория.
Так QA различает продуктовый дефект, ошибку инструментирования и нарушение политики.
6. Безопасные настройки данных
GitHub указывает, что тексты промптов, ответы модели и аргументы инструментов по умолчанию не включаются. Дополнительный режим захвата содержимого может раскрыть код, содержимое файлов и запросы. В production его разумно оставлять выключенным, если нет документированной цели и необходимых мер защиты.
Для контролируемой тестовой среды нужны как минимум:
- минимизация состава данных и обоснованный короткий срок хранения;
- ролевой доступ к коллектору и системе анализа;
- шифрование при передаче и хранении;
- журналирование административного доступа;
- удаление секретов, персональных данных и чувствительного кода;
- отдельные настройки для production и тестовой среды;
- регулярная проверка новых атрибутов на чувствительные данные;
- процедура реагирования на непреднамеренный захват содержимого.
Успешная отправка телеметрии не означает, что нужно собирать максимум информации. QA нужны релевантные доказательства, а не полная история разговоров.
7. Семплирование, хранение и пробелы
Семплирование уменьшает объём и стоимость хранения, но может скрывать редкие ошибки. Для нового или критичного процесса оправдана более высокая доля сохранённых трассировок. Для частых низкорисковых сессий можно использовать меньшую долю. Решение должно зависеть от риска и объёма, а не от универсального процента.
Tail-based sampling помогает сохранять медленные или неуспешные трассировки после оценки результата. Однако QA всё равно обязан документировать, какие данные могли быть отброшены. Срок хранения должен быть достаточным для расследования и сравнения тенденций, но минимальным с точки зрения безопасности и затрат.
Полезные показатели качества:
- доля полных трассировок для известных тестовых запусков;
- частота ошибок инструментов;
- задержка критичных шагов;
- количество запрещённых действий;
- доля запусков без сопоставимого функционального результата;
- число проблем схемы, экспорта и конфиденциальности;
- время от обнаружения аномалии до решения человека.
Целевые значения формируются на основании baseline конкретного продукта. Произвольные общие пороги создают ложное ощущение контроля.
8. Процесс triage на основе риска
- Корреляция: тестовый запуск, commit, сессия и трассировка получают общую ссылку.
- Валидация: проверяются полнота, временной интервал и версия схемы.
- Оценка: автоматические правила сравнивают инструменты, ошибки и побочные эффекты с требованиями.
- Обогащение: добавляются diff, результаты CI, security-отчёты и функциональные проверки.
- Классификация: проблема определяется как дефект продукта, ошибка инструментирования, нарушение политики или недостаток доказательств.
- Решение: ответственное лицо выбирает выпуск, блокировку или дополнительное исследование.
- Документирование: сохраняются доказательства, версии и причина решения.
Такой процесс не позволяет одному dashboard автоматически стать механизмом одобрения.
9. Вопросы для review
Перед выпуском тестировщик должен уточнить:
- Какое исходное требование подтверждает эта трассировка?
- Какая реальная схема и версия инструментирования использованы?
- Можно ли сопоставить ожидаемые инструменты и критичные побочные эффекты?
- Могли ли семплирование, ошибка экспорта или недостаточные права исказить доказательство?
- Безопасно ли настроены Content Capture, доступ и хранение?
- Какой независимый тест подтверждает фактический результат?
- Кто принимает окончательное решение по риску?
- Сохранено ли достаточно информации для повторного расследования?
10. Вывод
OpenTelemetry расширяет инструментарий тестирования ИИ-агентов для программирования. Трассировки помогают исследовать обращения к моделям и инструментам, ошибки и длительность шагов. Метрики и события поддерживают анализ тенденций и triage. Польза появляется только тогда, когда сигналы связаны с требованиями, реальными побочными эффектами и независимыми тестами.
Надёжная стратегия оставляет Content Capture выключенным по умолчанию, защищает доступ и хранение, явно учитывает пробелы семплирования и версионирует схему. Автоматизация может находить отклонения и собирать доказательства. Решение о выпуске рискованного агентного процесса остаётся за человеком.
Источники
- GitHub Changelog — OpenTelemetry in the GitHub Copilot app — https://github.blog/changelog/2026-09-22-opentelemetry-in-the-github-copilot-app/
- GitHub Docs — OpenTelemetry for Copilot — https://docs.github.com/en/copilot/concepts/enterprise/opentelemetry
- OpenTelemetry — Observability Primer — https://opentelemetry.io/docs/concepts/observability-primer/
- OpenTelemetry — Tracing API — https://opentelemetry.io/docs/specs/otel/trace/api/
Оставить комментарий
Поделитесь своим мнением о статье. Регистрация не требуется.
Комментарии
Загрузка комментариев…