QA case study · AI Testing · перевірена демонстрація

Тестування AI Customer Support Center: коли інтерфейс говорить «безпечно», а workflow суперечить

Проєкт починався як візуально готовий прототип в AI Studio. На лабораторію Quality Engineering він перетворився після того, як тестування виявило змішування імен клієнтів, суперечливий routing, хибні обіцянки ескалації та архітектуру, що ще не відповідала заявам про deployment.

Навчальна portfolio-демонстрація. Не вводьте справжні дані клієнтів, платежів, здоров’я чи акаунтів. Реальний працівник підтримки не підключається.

6/6контрактів сценаріїв пройшли
3раунди регресії
0API-секретів у клієнті
Процес Quality Engineering від вимог до перевіреного deployment
Release Gate поєднує докази з вимог, аудиту, виправлень, регресії та перевірки розгортання.

1. Що було створено

Прототип моделює центр підтримки з ШІ: шість заздалегідь заданих клієнтських сценаріїв і вільний Testing Playground. Система визначає категорію та пріоритет звернення, витягує сутності, знаходить перевірений FAQ, пропонує відповідь і обирає між автоматичною інструкцією та імітацією черги до фахівця.

Клієнт побудований на React і Vite. Публічна версія використовує Netlify Functions. Gemini може допомагати з класифікацією, а детермінований механізм слугує прозорим fallback. Обидва шляхи повертають одну нормалізовану схему відповіді. Demo-тікети та зміни FAQ зберігаються лише в браузері й автоматично очищуються через 24 години.

2. Головне завдання тестування — визначити оракул

Переконливий текст не означає PASS. Для кожного готового сценарію визначено явний контракт: категорія, пріоритет, route, FAQ ID, обов’язкові та заборонені сутності. Так відкритий результат ШІ стає перевірюваним без хибного припущення, що для будь-якого вільного звернення існує лише одна ідеальна відповідь.

Ризик-орієнтоване покриття включало ізоляцію стану, конфліктні джерела істини, рішення за низької впевненості, safety wording, семантику сутностей, межі вводу, метрики dashboard та заяви про deployment.

3. Що виявив перший аудит

ДефектЧому це важливоПервинний статус
Sarah отримала звернення «Marcus», Elena — «Robert»Перенесення контексту між запитами — дефект довіри та приватності.Major
Картка показувала Automated FAQ, runtime обирав Human QueueДва джерела істини призводили до різної поведінки.Major
Низький FAQ match одночасно показував автоматичне й ручне рішенняКористувач не розумів, який шлях справді обрано.Major
Симуляція обіцяла дзвінок менеджераСистема стверджувала, що станеться неможлива реальна дія.Major
Express API називався готовим до NetlifyСтатичний deploy сам по собі не розміщує backend endpoint.Major
KPI ескалацій і status filter мали різну семантикуПідсумок не збігався з деталями.Minor

Негативні тести охоплювали порожній ввід, пробіли, HTML/XSS-подібний рядок, низьку релевантність FAQ та довгий текст. XSS-подібний рядок відображався як текст, але одна така перевірка не видавалася за повний security audit.

4. Як виправлялася система

  • Ідентичність клієнта прив’язана до поточного запиту; минулі імена заборонені у prompt і нормалізованій відповіді.
  • Один нормалізований об’єкт рішення керує UI-бейджами, routing, поясненням FAQ і створенням тікета.
  • Для всіх шести сценаріїв додано контракти замість окремих hardcoded-виправлень.
  • Order та Invoice відокремлено від SKU, а відсутні значення не показуються як сирий null.
  • UI і Function обмежують запит 4 000 символами та повертають зрозумілий HTTP 400.
  • Текст ескалації залишається умовним і явно позначений як симуляція.
  • Додано Netlify Functions, redirects, валідацію запиту, rate limiting, детермінований fallback і server-only Gemini credentials.
  • Дані браузера автоматично видаляються через 24 години; доступний ручний Reset Demo.
Шість перевірених контрактів сценаріїв підтримки
Фінальна регресія контрактів: усі шість сценаріїв пройшли перевірки категорії, пріоритету, route, FAQ та сутностей.

5. Регресія стала окремою фазою продукту

Перша регресія підтвердила частину виправлень, але знову відкрила проблему Delivery routing і виявила відсутність order ID, сирі null, помилку межі 4 001 символ, неточний опис localStorage та невідповідність badge. Другий focused round закрив більшість проблем, але виявив нову регресію: damaged refund змінив Billing and Payments на Delivery, а SKU потрапив у поле замовлення.

Третій раунд перевірив виправлені нормалізовані контракти. Усі шість пройшли. Хронологія збережена навмисно: початковий аудит не можна замінювати пізнім PASS — історія дефектів є частиною доказів.

СценарійОчікуваний контрактРезультат
Delayed DeliveryDelivery · Medium · Automated FAQ · US-98214PASS
Damaged Item RefundBilling and Payments · High · Human Queue · SKU-4401 · $89.50PASS
Duplicate BillingBilling and Payments · High · Human Queue · INV-7731 · $49.00PASS
Mobile App 503Technical Support · High · автоматичний troubleshootingPASS
Angry ComplaintComplaints · Critical · Human Queue · Manager EscalationPASS
Support HoursGeneral Questions · Low · Automated FAQ · без вигаданих сутностейPASS

6. Deployment також є частиною QA

Успішний preview в AI Studio не доводить працездатність Netlify build. Тому Release Gate перевіряє реальні Function routes, Gemini success і deterministic fallback, HTTP 400/429, CSP та security headers, відсутність секретів у клієнті, строк зберігання даних, cold start і desktop/mobile rendering.

Ключ Gemini читає лише serverless function. Frontend його не отримує. Wildcard CORS не використовується, бо застосунок викликає API на тому самому origin.

7. Чого ця демонстрація не обіцяє

  • Це не справжня служба підтримки: вона не зв’язується з агентами й не виконує повернення коштів.
  • In-memory rate limiter підходить лише для невеликої навчальної демонстрації, а не для розподіленої production-системи.
  • Start/stop мікрофона перевірені, але точність speech-to-text не сертифікована контрольованим аудіокорпусом.
  • Контракти стабілізують готові сценарії; вільні звернення залишаються об’єктом дослідження.

8. Повторно використовувані прийоми AI Testing

  1. Запускати один сценарій після кожного іншого, щоб виявити застарілий контекст.
  2. Перевіряти суперечності між полями, а не лише правдоподібність кожного значення.
  3. Відокремлювати рішення моделі від детермінованих business і safety rules.
  4. Вважати safety-тексти, заяви про зберігання та deployment перевірюваною поведінкою.
  5. Зберігати початкові дефекти окремо від пізніших результатів регресії.

Спробуйте контрольовану демонстрацію

Використовуйте вигадані дані та спостерігайте нормалізоване рішення, знайдений FAQ, сутності, route і execution engine.

Відкрити AI Customer Support Center ↗

Пов’язані матеріали

Коментарі

Залишити коментар

Поділіться думкою про case study. Реєстрація не потрібна.

Коментарі

Завантажуємо коментарі…

Коментарі публікуються одразу та можуть бути пізніше модеровані.