Сервер MCP може пройти всі тести на рівні вихідного коду і все одно зазнати невдачі після релізу. Пакет може не включити файл під час виконання, точка входу в контейнер може бути неправильною, виконуваний файл може бути зібраним для іншої платформи, або обгортка може записувати діагностичний текст на стандартний вивід і пошкодити потік протоколу. Ці дефекти невидимі, коли CI тестує лише вихідний код за допомогою тестових підмін.
Отже, кандидатом на реліз є не репозиторій. Користувачі встановлюють саме той npm-архів, контейнерний дайджест, бінарний файл або архів. Надійний релізний гейт створює цей артефакт один раз, ідентифікує його і виконує тести методом чорної скриньки на тих самих байтах, які будуть опубліковані.
Чому тестів вихідного коду недостатньо
Модульні та інтеграційні тести залишаються необхідними. Вони забезпечують швидкий зворотний зв'язок і локалізують збої. Тести артефактів охоплюють іншу межу ризиків: усе, що відбувається між успішною збіркою коду та робочою інсталяцією.
Типові відмови лише для артефактів включають:
- правила пакування, які виключають конфігурацію, схеми, ліцензії або скомпільовані файли;
- згенеровані файли, які є застарілими або відсутніми;
- точки входу, які відрізняються від команди, використаної у розробці;
- неоголошені залежності під час виконання, які були доступні лише на агенті збірки;
- несумісність платформи або середовища виконання;
- транспортні обгортки, які поєднують журнали з протокольними повідомленнями;
- публікація файлу, відмінного від перевіреного в CI.
Це форма диференціального тестування. Вихідний робочий простір і опублікований артефакт повинні демонструвати однакову задокументовану поведінку. Будь-яка необґрунтована відмінність є дефектом випуску.
Практичний процес випуску артефактів
Найбезпечніший потік є лінійним і базується на доказах.
- Зберіть один раз і зафіксуйте кандидата на реліз. Виведіть артефакт випуску в CI та розрахуйте криптографічний дайджест, наприклад SHA-256. Не перебудовуйте його під час наступної публікації.
- Записуйте походження, коли воно доступне. Атестація може пов'язати артефакт із репозиторієм, робочим процесом і збіркою. SBOM може описувати включені компоненти. Жоден із них не доводить, що програмне забезпечення є безпечним або правильним; обидва покращують відстежуваність.
- Перевірте пакет перед виконанням. Переглянути його вміст і порівняти його з дозволеним списком обов'язкових і заборонених шляхів. Для npm-пакетів
npm pack --dry-runможе показати, що буде включено, а тестування має встановити отриманий tarball замість вихідної директорії. - Встановіть в одноразовому середовищі. Використовуйте короткочасний контейнер, віртуальну машину або пісочницю, яке не містить локальної робочої копії репозиторію. Вимкніть непотрібний доступ до мережі та не встановлюйте персональні облікові дані.
- Запустіть задокументовану точку входу. Виконуйте ту ж команду і транспорт, що й користувачі. Для stdio протокольні повідомлення повинні використовувати стандартний вхід і стандартний вихід, тоді як журнали належать до стандартної помилки. Для потокового HTTP перевірте задокументовану кінцеву точку та поведінку автентифікації.
- Узгодьте підтримувану версію протоколу. Тестовий клієнт повинен дотримуватися життєвого циклу версії, оголошеної сервером. Старіші версії використовують процес ініціалізації; Для MCP 2026-07-28 клієнт використовує
server/discover, а потрібні відомості передає в_metaкожного запиту; старіші версії використовуютьinitializeіnotifications/initialized. Гейт не повинен припускати, що кожен сервер підтримує найновішу версію. - Перевірте оголошену поведінку. Порівняйте оголошені інструменти, ресурси, підказки та інші можливості з контрактом на реліз. Не очікуйте назв чи можливостей, які продукт ніколи не обіцяв.
- Викликайте одну детерміновану, безпечну операцію. Виберіть операцію з власного задокументованого інтерфейсу сервера, яка не має зовнішніх побічних ефектів. Перевірте схему результату та значення. Сам MCP не гарантує універсальний інструмент
ping, тому фікстура має належати продукту або його тестовій конфігурації. - Перевірте негативні сценарії. Надіслати неправильний вхід, невідомий метод, недійсні аргументи та несанкціонований HTTP-запит у випадку автентифікації. Перевіряйте тайм-аути й скасування лише тоді, коли це передбачено узгодженою версією протоколу та контрактом продукту.
- Завершіть роботу та збережіть докази. Завершіть роботу клієнта й сервера відповідно до обраного транспорту, перевірте відсутність осиротілих процесів і зайнятих портів, потім збережіть дайджест, журнали, результати тесту та посилання на атестацію разом із релізом.
Завдання просування релізу має отримати вже перевірений артефакт за незмінним ідентифікатором. Якщо артефакт завантажують за змінним тегом, таким як latest, ланцюг доказів розривається.
Мінімальний тестовий каркас, нейтральний до провайдера
Тесту не потрібно знати внутрішні модулі сервера. Потрібен транспортний адаптер і файл очікувань, специфічний для продукту. Наступний псевдокод навмисно уникає назви вигаданої клієнтської бібліотеки:
artifact = download_by_digest(RELEASE_DIGEST)
assert sha256(artifact) == RELEASE_DIGEST
sandbox = create_disposable_environment(network="restricted")
installation = sandbox.install(artifact)
server = installation.start(documented_command, transport=DOCUMENTED_TRANSPORT)
client = connect_with_supported_mcp_sdk(server)
session = client.connect_using_supported_revision(expected_revision_range)
advertised = session.list_capabilities()
assert advertised satisfies RELEASE_CONTRACT
result = session.call_tool(DETERMINISTIC_FIXTURE_TOOL, FIXTURE_INPUT)
assert validate_schema(result, FIXTURE_RESULT_SCHEMA)
assert result == FIXTURE_EXPECTED_RESULT
assert unknown_method_returns_protocol_error(session)
assert invalid_arguments_return_structured_error(session)
assert protocol_stdout_contains_no_log_lines(server)
client.close()
server.stop()
assert sandbox.has_no_orphan_processes()
archive_evidence(RELEASE_DIGEST, session.logs, test_results)Конкретні назви методів мають походити з офіційного SDK та ревізії протоколу, який використовує продукт. Тест має явно провалитися, коли сервер приймає непідтримувану версію, а не вгадує життєвий цикл.
Негативні випадки, які варто зберігати в CI
Компактний набір релізних тестів повинен включати відмови, які відрізняють дефекти упаковки від дефектів застосування.
- Збій чистого встановлення: артефакт не може встановити без репозиторію або глобальної залежності.
- Помилка відсутнього файлу: у пакеті немає схеми, шаблону, виконуваного файлу або згенерованого ресурсу, необхідних під час виконання.
- Помилка точки входу: задокументована команда виходить раніше або визначає хибний шлях.
- Забруднення протоколу: сервер stdio записує банер або рядок журналу на стандартний вихід.
- Дрейф контракту: артефакт відкриває іншу назву інструменту, схему введення або форму результату, що відрізняється від затвердженого контракту.
- Помилка межі автентифікації: віддалена кінцева точка приймає захищений запит без дійсних облікових даних.
- Секретний витік: токени або значення середовища з'являються в журналах, помилках, корисних навантаженнях протоколу або архівованих доказах.
- Помилка вимкнення: процес, дочірній процес, тимчасовий файл або порт прослуховування залишаються після тесту.
Кожен випадок має містити очікуваний спостережуваний результат. Уникайте вигадування універсальних рядків помилок: сервери MCP і SDK можуть по-різному відображати помилки продукту в межах правил протоколу.
Проєктування CI без перебудови
Надійний конвеєр відокремлює виробництво артефакту від валідації та просування:
jobs:
build:
outputs:
digest: ${{ steps.digest.outputs.sha256 }}
steps:
- run: ./build-release-artifact
- id: digest
run: ./record-sha256
- run: ./upload-immutable-artifact
validate:
needs: build
steps:
- run: ./download-by-digest "${{ needs.build.outputs.digest }}"
- run: ./inspect-package
- run: ./test-in-disposable-environment
- run: ./archive-validation-evidence
publish:
needs: [build, validate]
steps:
- run: ./promote-the-same-digest "${{ needs.build.outputs.digest }}"Назви команд є заповнювачами для скриптів проєкту, а не команд для копіювання та вставки продукту. Важливим інваріантом є те, що publish просуває дайджест, перевірений validate.
Підтвердження артефактів GitHub можуть забезпечити походження збірки. Їхня доступність залежить від видимості репозиторію та плану, тому конвеєр повинен перевіряти поточні вимоги GitHub, а не робити атестацію обов'язковим кроком. Відсутність необов'язкової атестації не є проваленим функціональним тестом; політика організації має вирішувати, чи блокує вона випуск.
Критерії випуску та відкат
Просування слід блокувати, якщо дайджест не збігається; встановлення в чистому середовищі завершується збоєм; задокументований транспорт не запускається; не вдається узгодити заявлену підтримувану версію; публічний контракт несподівано змінився; детермінована операція повертає неправильний результат; автентифікацію можна обійти; або виявлено витік секретів.
Відкат має вказувати на раніше перевірений незмінний артефакт, а не запускати нову збірку зі старого коміту. Запис відкату повинен містити невдалий дайджест, останній завідомо справний дайджест, причину та місце зберігання доказів.
Де допомагає автоматизація
Автоматизація особливо цінна для повторюваної перевірки упаковки, порівняння дайджестів, чистого встановлення, smoke-тестів протоколу, перевірки схеми, пошуку секретів та збереження доказів. Вона також запобігає поширеній людській помилці: перевірці одного артефакту та публікації іншого.
Експертна оцінка все ще потрібна для затвердження релізного контракту, вибору справді безпечної операції, інтерпретації змін можливостей і рішення щодо допустимості винятків із вимог до походження артефакту. Успішне проходження тестового набору підтверджує лише те, що перевірили його сценарії.
Список перевірки якості
- [ ] Артефакт зібрано один раз та ідентифіковано за незмінним дайджестом.
- [ ] Вміст пакету відповідає дозволеному переліку і містить необхідні файли виконання.
- [ ] Встановлення проходить успішно без робочої копії вихідного коду або прихованих глобальних залежностей.
- [ ] Задокументований stdio або точка входу Streamable HTTP успішно запускається.
- [ ] Клієнт погоджує версію протоколу, яку фактично підтримує сервер.
- [ ] Оголошена поведінка відповідає затвердженому контракту на продукт.
- [ ] Детермінована, без побічних ефектів детермінирована операція повертає очікуваний результат.
- [ ] Некоректно сформовані та неавторизовані запити безпечно відхиляються.
- [ ] Журнали stdio не забруднюють потік протоколів.
- [ ] Журнали та помилки не розкривають жодних секретів.
- [ ] Вимкнення не залишає жодних осиротілих процесів, портів чи тимчасових файлів.
- [ ] Точний валідований дайджест — це артефакт, який просувають у релізний канал.
Питання для повторення
- Чому MCP-сервер може пройти тести вихідного коду, але провалитися після публікації?
- Який ідентифікатор доводить, що валідація та публікація використовували один і той самий артефакт?
- Чому тест не повинен передбачати універсальний інструмент MCP
ping? - Що сервер stdio має тримати поза стандартним виводом?
- Які перевірки вимагають людського судження, навіть коли автоматизований релізний шлюз?
Висновок
Тести вихідного коду показують, що код може працювати в контексті розробки. Тести артефактів показують, що отриманий користувачами артефакт можна встановити, узгодити за підтримуваною версією протоколу, використати та контрольовано зупинити в реальних умовах. Збирайте один раз, перевіряйте за незмінним ідентифікатором, опублікуйте ті ж байти та зберігайте докази. Це усуває прогалину в процесі релізу, яку не бачать тести на рівні репозиторію та імітації.
Залишити коментар
Поділіться думкою про статтю. Реєстрація не потрібна.
Коментарі
Завантаження коментарів…