AWS повідомила, що перед запуском Customer Insights Agent виявила хибні фінансові відповіді, хоча моніторинг показував нормальну роботу системи. Компанія описала цей випадок у блозі про перевірку якості агентів.
Це самозвіт AWS про власну систему для відділу продажів. Приклади помилок і результати тестів нижче наведено за даними AWS ML.
У чому помилявся агент?
Customer Insights Agent завищував суми, неправильно називав показники та додавав відомості, яких не було в даних.
- Виручку клієнта від користування одним сервісом за три місяці — $410,08 — подав як «$410.08 Million».
- Назвав Sales Revenue показником Sales Revenue excluding Adjustments, тобто виручкою без урахування коригувань.
- Навів оцінку Annual Recurring Revenue, якої не було в даних.
- Видав власні розрахунки за факти з джерел.
За описом AWS, продавці використовують відповіді системи, щоб планувати роботу з клієнтами й готуватися до зустрічей. Автори попереджають: продавець, який повторить завищену цифру, може втратити довіру клієнта. Компанія стверджує, що виявила ці помилки до запуску.
Чому моніторинг не виявив хибних відповідей?
Моніторинг у наведених тестах AWS фіксував відповідь системи, але не перевіряв її правильність. Успішна відповідь за технічними показниками могла містити неправильну суму чи вигадану оцінку.
Ці випадки дають конкретні критерії для перевірки фінансового агента: чи збігаються сума та її масштаб із джерелом, чи відповідає назва показника його змісту, чи є наведена оцінка в даних і чи відокремлено розрахунки агента від отриманих фактів. Це висновки з описаних помилок; наданий уривок не пояснює, як AWS автоматизувала кожну таку перевірку.
Як неузгоджені оновлення вплинули на результат?
Неузгоджені оновлення даних, інструмента й промпту, за повідомленням AWS, знизили частку успішних перевірок із 78% до 38% в одному тесті до запуску. Пов’язані зміни набули чинності в різний час, і система тимчасово працювала з несумісними версіями.
Отже, цей результат описує конкретне вікно неузгодженості у внутрішньому тесті AWS. У наданому уривку немає розміру тестового набору чи критеріїв успішної перевірки, тому ці відсотки не дають змоги оцінити якість інших агентів.
AWS також зазначає, що її пайплайни оновлюють вхідні дані щотижня. Для цієї системи перевірка після оновлення даних потрібна навіть тоді, коли команда не випускає новий код: змінився матеріал, на якому агент будує відповіді.
Що відомо про сам фреймворк перевірки?
AWS називає AgentCore Evaluations основою перевірки якості своєї системи, але наданий уривок описує лише загальну архітектуру.
Amazon CloudWatch збирає метрики, підтримує сповіщення й трасування; Amazon S3 та Amazon Redshift зберігають результати оцінювань; Amazon Quick показує дашборди. AWS Lambda використовується для власних оцінювачів, а Amazon Bedrock Guardrails — для безпеки.
Автори ставлять перед фреймворком завдання перевіряти обґрунтованість і правильність відповідей та знаходити причину збою в даних, промпті чи коді агента. Проте в наданому тексті немає логіки оцінювачів або прикладу такого пошуку. Цей опис пояснює потребу в перевірках змісту відповідей, але його недостатньо, щоб відтворити фреймворк.
