Сервер MCP може пройти всі тести на рівні вихідного коду і все одно зазнати невдачі після релізу. Пакет може не включити файл під час виконання, точка входу в контейнер може бути неправильною, виконуваний файл може бути зібраним для іншої платформи, або обгортка може записувати діагностичний текст на стандартний вивід і пошкодити потік протоколу. Ці дефекти невидимі, коли CI тестує лише вихідний код за допомогою тестових підмін.

Отже, кандидатом на реліз є не репозиторій. Користувачі встановлюють саме той npm-архів, контейнерний дайджест, бінарний файл або архів. Надійний релізний гейт створює цей артефакт один раз, ідентифікує його і виконує тести методом чорної скриньки на тих самих байтах, які будуть опубліковані.

Чому тестів вихідного коду недостатньо

Модульні та інтеграційні тести залишаються необхідними. Вони забезпечують швидкий зворотний зв'язок і локалізують збої. Тести артефактів охоплюють іншу межу ризиків: усе, що відбувається між успішною збіркою коду та робочою інсталяцією.

Типові відмови лише для артефактів включають:

Це форма диференціального тестування. Вихідний робочий простір і опублікований артефакт повинні демонструвати однакову задокументовану поведінку. Будь-яка необґрунтована відмінність є дефектом випуску.

Практичний процес випуску артефактів

Найбезпечніший потік є лінійним і базується на доказах.

  1. Зберіть один раз і зафіксуйте кандидата на реліз. Виведіть артефакт випуску в CI та розрахуйте криптографічний дайджест, наприклад SHA-256. Не перебудовуйте його під час наступної публікації.
  2. Записуйте походження, коли воно доступне. Атестація може пов'язати артефакт із репозиторієм, робочим процесом і збіркою. SBOM може описувати включені компоненти. Жоден із них не доводить, що програмне забезпечення є безпечним або правильним; обидва покращують відстежуваність.
  3. Перевірте пакет перед виконанням. Переглянути його вміст і порівняти його з дозволеним списком обов'язкових і заборонених шляхів. Для npm-пакетів npm pack --dry-run може показати, що буде включено, а тестування має встановити отриманий tarball замість вихідної директорії.
  4. Встановіть в одноразовому середовищі. Використовуйте короткочасний контейнер, віртуальну машину або пісочницю, яке не містить локальної робочої копії репозиторію. Вимкніть непотрібний доступ до мережі та не встановлюйте персональні облікові дані.
  5. Запустіть задокументовану точку входу. Виконуйте ту ж команду і транспорт, що й користувачі. Для stdio протокольні повідомлення повинні використовувати стандартний вхід і стандартний вихід, тоді як журнали належать до стандартної помилки. Для потокового HTTP перевірте задокументовану кінцеву точку та поведінку автентифікації.
  6. Узгодьте підтримувану версію протоколу. Тестовий клієнт повинен дотримуватися життєвого циклу версії, оголошеної сервером. Старіші версії використовують процес ініціалізації; Для MCP 2026-07-28 клієнт використовує server/discover, а потрібні відомості передає в _meta кожного запиту; старіші версії використовують initialize і notifications/initialized. Гейт не повинен припускати, що кожен сервер підтримує найновішу версію.
  7. Перевірте оголошену поведінку. Порівняйте оголошені інструменти, ресурси, підказки та інші можливості з контрактом на реліз. Не очікуйте назв чи можливостей, які продукт ніколи не обіцяв.
  8. Викликайте одну детерміновану, безпечну операцію. Виберіть операцію з власного задокументованого інтерфейсу сервера, яка не має зовнішніх побічних ефектів. Перевірте схему результату та значення. Сам MCP не гарантує універсальний інструмент ping, тому фікстура має належати продукту або його тестовій конфігурації.
  9. Перевірте негативні сценарії. Надіслати неправильний вхід, невідомий метод, недійсні аргументи та несанкціонований HTTP-запит у випадку автентифікації. Перевіряйте тайм-аути й скасування лише тоді, коли це передбачено узгодженою версією протоколу та контрактом продукту.
  10. Завершіть роботу та збережіть докази. Завершіть роботу клієнта й сервера відповідно до обраного транспорту, перевірте відсутність осиротілих процесів і зайнятих портів, потім збережіть дайджест, журнали, результати тесту та посилання на атестацію разом із релізом.

Завдання просування релізу має отримати вже перевірений артефакт за незмінним ідентифікатором. Якщо артефакт завантажують за змінним тегом, таким як latest, ланцюг доказів розривається.

Мінімальний тестовий каркас, нейтральний до провайдера

Тесту не потрібно знати внутрішні модулі сервера. Потрібен транспортний адаптер і файл очікувань, специфічний для продукту. Наступний псевдокод навмисно уникає назви вигаданої клієнтської бібліотеки:

artifact = download_by_digest(RELEASE_DIGEST)
assert sha256(artifact) == RELEASE_DIGEST

sandbox = create_disposable_environment(network="restricted")
installation = sandbox.install(artifact)
server = installation.start(documented_command, transport=DOCUMENTED_TRANSPORT)

client = connect_with_supported_mcp_sdk(server)
session = client.connect_using_supported_revision(expected_revision_range)

advertised = session.list_capabilities()
assert advertised satisfies RELEASE_CONTRACT

result = session.call_tool(DETERMINISTIC_FIXTURE_TOOL, FIXTURE_INPUT)
assert validate_schema(result, FIXTURE_RESULT_SCHEMA)
assert result == FIXTURE_EXPECTED_RESULT

assert unknown_method_returns_protocol_error(session)
assert invalid_arguments_return_structured_error(session)
assert protocol_stdout_contains_no_log_lines(server)

client.close()
server.stop()
assert sandbox.has_no_orphan_processes()
archive_evidence(RELEASE_DIGEST, session.logs, test_results)

Конкретні назви методів мають походити з офіційного SDK та ревізії протоколу, який використовує продукт. Тест має явно провалитися, коли сервер приймає непідтримувану версію, а не вгадує життєвий цикл.

Негативні випадки, які варто зберігати в CI

Компактний набір релізних тестів повинен включати відмови, які відрізняють дефекти упаковки від дефектів застосування.

Кожен випадок має містити очікуваний спостережуваний результат. Уникайте вигадування універсальних рядків помилок: сервери MCP і SDK можуть по-різному відображати помилки продукту в межах правил протоколу.

Проєктування CI без перебудови

Надійний конвеєр відокремлює виробництво артефакту від валідації та просування:

jobs:
  build:
    outputs:
      digest: ${{ steps.digest.outputs.sha256 }}
    steps:
      - run: ./build-release-artifact
      - id: digest
        run: ./record-sha256
      - run: ./upload-immutable-artifact

  validate:
    needs: build
    steps:
      - run: ./download-by-digest "${{ needs.build.outputs.digest }}"
      - run: ./inspect-package
      - run: ./test-in-disposable-environment
      - run: ./archive-validation-evidence

  publish:
    needs: [build, validate]
    steps:
      - run: ./promote-the-same-digest "${{ needs.build.outputs.digest }}"

Назви команд є заповнювачами для скриптів проєкту, а не команд для копіювання та вставки продукту. Важливим інваріантом є те, що publish просуває дайджест, перевірений validate.

Підтвердження артефактів GitHub можуть забезпечити походження збірки. Їхня доступність залежить від видимості репозиторію та плану, тому конвеєр повинен перевіряти поточні вимоги GitHub, а не робити атестацію обов'язковим кроком. Відсутність необов'язкової атестації не є проваленим функціональним тестом; політика організації має вирішувати, чи блокує вона випуск.

Критерії випуску та відкат

Просування слід блокувати, якщо дайджест не збігається; встановлення в чистому середовищі завершується збоєм; задокументований транспорт не запускається; не вдається узгодити заявлену підтримувану версію; публічний контракт несподівано змінився; детермінована операція повертає неправильний результат; автентифікацію можна обійти; або виявлено витік секретів.

Відкат має вказувати на раніше перевірений незмінний артефакт, а не запускати нову збірку зі старого коміту. Запис відкату повинен містити невдалий дайджест, останній завідомо справний дайджест, причину та місце зберігання доказів.

Де допомагає автоматизація

Автоматизація особливо цінна для повторюваної перевірки упаковки, порівняння дайджестів, чистого встановлення, smoke-тестів протоколу, перевірки схеми, пошуку секретів та збереження доказів. Вона також запобігає поширеній людській помилці: перевірці одного артефакту та публікації іншого.

Експертна оцінка все ще потрібна для затвердження релізного контракту, вибору справді безпечної операції, інтерпретації змін можливостей і рішення щодо допустимості винятків із вимог до походження артефакту. Успішне проходження тестового набору підтверджує лише те, що перевірили його сценарії.

Список перевірки якості

Питання для повторення

  1. Чому MCP-сервер може пройти тести вихідного коду, але провалитися після публікації?
  2. Який ідентифікатор доводить, що валідація та публікація використовували один і той самий артефакт?
  3. Чому тест не повинен передбачати універсальний інструмент MCP ping?
  4. Що сервер stdio має тримати поза стандартним виводом?
  5. Які перевірки вимагають людського судження, навіть коли автоматизований релізний шлюз?

Висновок

Тести вихідного коду показують, що код може працювати в контексті розробки. Тести артефактів показують, що отриманий користувачами артефакт можна встановити, узгодити за підтримуваною версією протоколу, використати та контрольовано зупинити в реальних умовах. Збирайте один раз, перевіряйте за незмінним ідентифікатором, опублікуйте ті ж байти та зберігайте докази. Це усуває прогалину в процесі релізу, яку не бачать тести на рівні репозиторію та імітації.

Джерела