Сервер Model Context Protocol может пройти все тесты на уровне исходного кода и всё равно провалиться после релиза. Пакет может не включить файл выполнения, точка входа в контейнер может быть ошибочной, исполняемый файл может быть собран для другой платформы, или обёртка может записывать диагностический текст в стандартный вывод и повредить поток протокола. Эти дефекты невидимы, когда CI тестирует только исходный код с моками.

Таким образом, кандидатом на выпуск является не репозиторий, а конкретный архив пакета npm, дайджест контейнера, бинарный файл или другой архив, который установят пользователи. Надёжная контрольная проверка релиза создаёт этот артефакт один раз, идентифицирует его и запускает тесты методом чёрного ящика на тех же байтах, которые будут опубликованы.

Почему тестов исходного кода недостаточно

Модульные и интеграционные тесты остаются необходимыми. Они обеспечивают быструю обратную связь и локализируют сбои. Тесты артефактов охватывают другую границу риска: всё, что происходит между успешной сборкой исходного кода и рабочей установкой.

Типичные отказы, связанные только с артефактами, включают:

Это форма дифференциального тестирования. Исходное рабочее пространство и опубликованный артефакт должны показывать одинаковое задокументированное поведение. Любое необъяснимое различие считается дефектом выпуска.

Практический контрольная проверка выпуска артефактов

Самый безопасный поток является линейным и основанным на доказательствах.

  1. Создайте один раз и назовите кандидата. Создайте артефакт выпуска в CI и рассчитайте криптографический дайджест, например SHA-256. Не восстанавливайте его в последующей публикации.
  2. Записывайте происхождение, когда оно доступно. Аттестация может связать артефакт с репозиторием, рабочим процессом и сборкой. SBOM может описывать включённые компоненты. Ни один из них не доказывает безопасность или корректность программного обеспечения; оба способа улучшают отслеживаемость.
  3. Проверить пакет перед выполнением. Перечислить его содержимое и сравнить его с допустимым списком обязательных и запрещённых путей. Для npm-пакетов npm pack --dry-run может показать, что будет включено, а тестирование должно устанавливать полученный tarball, а не исходный каталог.
  4. Установка в одноразовой среде. Используйте кратковременный контейнер, виртуальную машину или песочницу, в которой нет файлов и зависимостей из среды разработчика. Отключите ненужный доступ к сети и не устанавливайте личные учётные данные.
  5. Запустить задокументированную точку входа. Выполнить ту же команду и транспорт, что и пользователи. Для stdio сообщения протокола должны использовать стандартный вход и стандартный вывод, а логи — стандартные ошибки. Для потокового HTTP проверьте задокументированное поведение конечной точки и аутентификации.
  6. Согласовать поддерживаемую версию протокола. Тестовый клиент должен следовать жизненному циклу версии, объявленной сервером. Старые версии используют процесс инициализации; новые версии могут использовать метаданные обнаружения и пошагового запроса. Gate не должен предполагать, что каждый сервер поддерживает самую новую версию.
  7. Проверьте заявленное поведение. Сравните заявленные инструменты, ресурсы, подсказки и другие возможности с контрактом на релиз. Не ожидайте имён или возможностей, которые продукт никогда не обещал.
  8. Вызовите одну детерминированную, безвредную операцию. Выберите операцию из собственного задокументированного интерфейса сервера, которая не вызывает внешних побочных эффектов. Проверьте схему и значения результата. Сам MCP не гарантирует универсальный инструмент ping, поэтому тестовый инструмент должен быть частью продукта или его тестовой конфигурации.
  9. Выполнить пути отказа. Отправить искажённый ввод, неизвестный метод, некорректные аргументы и несанкционированный HTTP-запрос при применении аутентификации. Тестировать тайм-аут и отмену только тогда, когда согласованная версия и заявленная возможность поддерживают их.
  10. Завершите работу и сохраните доказательства. Завершите работу клиента и сервера в соответствии с выбранным транспортом, проверьте отсутствие осиротевших процессов и занятых портов, затем сохраните digest, журналы, результаты теста и ссылку на аттестацию вместе с релизом.

Задание продвижения должно получать уже протестированный артефакт по неизменяемому идентификатору. Если задание скачивает его по изменяемому тегу, например latest, цепочка доказательств прерывается.

Минимальная провайдер‑нейтральная тестовая оболочка

Тесту не нужно знать внутренние модули сервера. Ему необходим транспортный адаптер и файл ожиданий, специфичный для продукта. Следующий псевдокод намеренно избегает названия вымышленной клиентской библиотеки:

artifact = download_by_digest(RELEASE_DIGEST)
assert sha256(artifact) == RELEASE_DIGEST

sandbox = create_disposable_environment(network="restricted")
installation = sandbox.install(artifact)
server = installation.start(documented_command, transport=DOCUMENTED_TRANSPORT)

client = connect_with_supported_mcp_sdk(server)
session = client.negotiate_revision(expected_revision_range)

advertised = session.list_capabilities()
assert advertised satisfies RELEASE_CONTRACT

result = session.call_tool(DETERMINISTIC_FIXTURE_TOOL, FIXTURE_INPUT)
assert validate_schema(result, FIXTURE_RESULT_SCHEMA)
assert result == FIXTURE_EXPECTED_RESULT

assert unknown_method_returns_protocol_error(session)
assert invalid_arguments_return_structured_error(session)
assert protocol_stdout_contains_no_log_lines(server)

client.close()
server.stop()
assert sandbox.has_no_orphan_processes()
archive_evidence(RELEASE_DIGEST, session.logs, test_results)

Конкретные названия методов должны быть получены из официального SDK и версии протокола, используемой продуктом. Тест должен явно провалиться, если сервер согласует неподдерживаемую версию, а не угадывает жизненный цикл.

Негативные случаи, которые стоит хранить в CI

Компактный набор негативных тестов должен охватывать сбои, позволяющие отличить дефекты упаковки от дефектов приложения.

В каждом случае должен быть указан ожидаемый наблюдаемый результат. Избегайте изобретения универсальных строк ошибок: серверы MCP и SDK могут по-разному представлять ошибки продукта в рамках правил протокола.

Проектирование CI без перестройки

Надёжный конвейер отделяет производство артефакта от валидации и продвижения:

jobs:
  build:
    outputs:
      digest: ${{ steps.digest.outputs.sha256 }}
    steps:
      - run: ./build-release-artifact
      - id: digest
        run: ./record-sha256
      - run: ./upload-immutable-artifact

  validate:
    needs: build
    steps:
      - run: ./download-by-digest "${{ needs.build.outputs.digest }}"
      - run: ./inspect-package
      - run: ./test-in-disposable-environment
      - run: ./archive-validation-evidence

  publish:
    needs: [build, validate]
    steps:
      - run: ./promote-the-same-digest "${{ needs.build.outputs.digest }}"

Имена команд служат временными заполняющими скриптами проекта, а не командами копирования и вставки продукта. Важным инвариантом является то, что publish продвигает тот же digest, который проверило задание validate.

Аттестации артефактов GitHub могут обеспечивать происхождение сборки. Их доступность зависит от видимости репозитория и плана, поэтому конвейер должен проверять текущие требования GitHub, а не делать аттестацию обязательным шагом. Отсутствие необязательной аттестации — это не то же самое, что проваленный функциональный тест; политика организации должна решать, блокирует ли выпуск.

Критерии выпуска и отката

Продвижение следует блокировать, если digest не совпадает; установка в чистой среде завершается сбоем; документированный транспорт не запускается; не удаётся согласовать заявленную поддерживаемую версию; публичный контракт неожиданно изменился; детерминированная операция возвращает неверный результат; аутентификацию можно обойти; либо обнаружена утечка секретов.

Откат должен указывать на ранее проверенный неизменный артефакт, а не запускать новую пересборку старого коммита. Запись отката должна содержать неудачный дайджест, известный дайджест, причину и местоположение доказательств.

Где помогает автоматизация

Автоматизация особенно ценна для повторяемой проверки упаковки, сравнения дайджеста, чистой установки, smoke-тестирования протокола, проверки схемы, поиска секретов и хранения доказательств. Она также предотвращает распространённую человеческую ошибку: проверку одного артефакта и публикацию другого.

Экспертная оценка по-прежнему необходима для утверждения контракта релиза, выбора действительно безвредной операции, интерпретации изменений возможностей и решения о допустимости исключений из требований к происхождению артефакта. Успешное прохождение проверки доказывает только то, что фактически проверяет её набор тестов.

Контрольный список QA

Вопросы для обзора

  1. Почему MCP-сервер может пройти тесты исходного кода, но провалиться после публикации?
  2. Какой идентификатор доказывает, что валидация и публикация использовали один и тот же артефакт?
  3. Почему тест не должен предполагать универсальный инструмент MCP ping?
  4. Что stdio сервер должен держать вне стандартного вывода?
  5. Какие проверки требуют человеческого суждения, даже если автоматизирован процесс релиза?

Заключение

Исходные тесты показывают, что код может работать в контексте разработки. Тесты артефактов показывают, что получаемый пользователями артефакт можно установить, согласовать, использовать и остановить в реальных условиях. Однократная сборка, проверка по неизменяемому идентификатору, публикация тех же байтов и сохранение доказательств закрывают пробел в процессе релиза, который не выявляют моки и тесты на уровне репозитория.

Источники