LLM evaluation для production AI-систем: метрики, тесты и регрессии
LLM-системы легко показывать на демо и сложно контролировать в реальной работе. Промпт может сработать десять раз при команде, а на одиннадцатом примере от клиента дать плохой ответ. Evaluation это дисциплина, которая превращает AI из красивого прототипа в управляемую систему.
Первый принцип: оценивать workflow, а не только модель.
Соберите test set
Хороший test set содержит реальные примеры: support tickets, lead forms, sales questions, документы, invoices, chat transcripts и edge cases. Добавьте простые кейсы, неоднозначные, adversarial и те, где правильное поведение это отказ или эскалация.
Для каждого кейса определите ожидаемый output. Иногда это финальный ответ. Иногда JSON, классификация, tool call, summary или решение задать уточняющий вопрос.
Оценивайте важное
Типовые измерения:
- factual accuracy;
- instruction following;
- source grounding;
- completeness;
- tone;
- format validity;
- tool-call correctness;
- escalation accuracy;
- privacy and safety compliance;
- cost and latency.
Не каждой системе нужны все метрики. Support agent требует grounding и escalation. Data extraction workflow требует schema accuracy. Marketing assistant требует brand voice и factual guardrails.
Human review там, где есть judgment
Автоматические evals полезны, но в нюансных ответах нужен человек. Создайте легкую rubric с оценкой от 1 до 5 и короткими notes. Разбирайте failures по категориям. Если reviewers не согласны, значит политика или промпт недостаточно ясны.
Следите за regressions
Каждое изменение промпта, модели, retrieval или tool может сломать поведение. Запускайте один и тот же test set перед релизом. Храните старые failures, чтобы система не возвращалась к прошлым ошибкам.
Production-сигналы
После запуска evaluation продолжается. Смотрите human correction rate, escalation rate, task completion, hallucination reports, latency, cost per task, user satisfaction и AI-caused support escalations.
Цель LLM evaluation не сделать AI идеальным. Цель сделать качество видимым. Когда качество видно, его можно улучшать системно, а не по ощущениям и скриншотам.