Как составить проверяемые критерии оценки звонка магазина
Запишите каждый критерий как одно действие оператора, которое можно подтвердить конкретной репликой. Для каждого действия задайте условие применимости, вес и правило на случай, когда записи не хватает. Ниже — ручное упражнение на вымышленном разговоре о доставке; это способ подготовить шкалу, не тест UIS и не инструкция по настройке кабинета.
Коротко
- Запишите каждый критерий как одно действие оператора, которое можно подтвердить конкретной репликой.
- Для каждого действия задайте условие применимости, вес и правило на случай, когда записи не хватает.
- Запись результата: 71,4% при покрытии 77,8% применимого веса.
Что понадобится
Откройте учебный разговор, бланк критериев и текстовый либо табличный редактор с поддержкой CSV. Ответы — в файле заполненная таблица. Кабинет UIS, аудиозапись и платный инструмент для упражнения не нужны. Здесь мы работаем с созданным редакцией текстом, а не с данными покупателя или сотрудника.
Результат упражнения — шесть отдельных критериев с весами и ручная разметка одного разговора. Точность ИИ на реальных звонках по нему определить нельзя.
1. Определите, что именно измеряете
Задача нашего учебного магазина — проверить, как оператор провёл консультацию о доставке. Мы не проверяем выполнение заказа: в исходных данных нет ни оформленного заказа, ни подтверждения доставки.
Вместо «вежливо выяснил запрос и успешно продал» разделите наблюдаемые действия. Например, вопрос о городе и подтверждение желаемого дня — разные критерии. В справке UIS тоже рекомендуют один проверяемый поступок на пункт, однозначное подтверждение текстом и формулировку без оценочных слов. Это требование к критерию, а не доказательство точности его автоматической проверки.
2. Разберите учебный разговор
Полный вход — в файле. Ключевые реплики:
T01. Покупатель: Хочу узнать про доставку на завтра.
T02. Оператор: В каком городе нужна доставка?
T03. Покупатель: В условном городе N.
T04. Оператор: Есть интервал с десяти до четырнадцати.
T05. Покупатель: Сколько стоит доставка?
T06. Оператор: Стоимость доставки — [фрагмент отсутствует в учебной записи].
T07. Оператор: Отправить вам ссылку на оформление?
T08. Покупатель: Да, отправьте.
Редакция специально вставила пропуск в T06. Это не результат распознавания реальной записи. В T04 оператор не повторил день: из одной реплики нельзя узнать, к какому дню относится интервал.
3. Заполните по одной строке на действие
Веса ниже придуманы для упражнения: большая доля отведена интервалу, дню и цене. Это не рекомендуемая шкала для любого магазина. Условия применимости заданы для этого учебного входа заранее.
| Код | Одно действие оператора | Когда применимо | Вес | Ручная отметка и основание |
|---|---|---|---|---|
| C1 | Задал вопрос о городе доставки | Консультация о доставке | 1 | Выполнено: вопрос T02 |
| C2 | Подтвердил желаемый день до первого названного интервала | Покупатель назвал день | 2 | Не выполнено: в T01–T04 оператор не подтвердил день перед интервалом |
| C3 | Назвал интервал доставки | Консультация о доступном интервале | 2,5 | Выполнено: T04; реальная доступность интервала этим не проверена |
| C4 | Назвал точную стоимость доставки | Покупатель спросил цену | 2 | Нет данных: значение потеряно в T06 |
| C5 | Получил согласие отправить ссылку на оформление | Оператор предложил отправить ссылку | 1,5 | Выполнено: предложение T07, согласие T08 |
| C6 | Назвал адрес пункта самовывоза | Покупатель спросил о самовывозе | 1 | Не применимо: такого вопроса нет |
C2 проверяет подтверждение дня оператором до первого предложенного интервала. Этот участок T01–T04 доступен полностью; поздний пропуск T06 на него не влияет. Если для вашей задачи достаточно, что день назвал покупатель, перепишите критерий до разметки и пересмотрите его результат. Не меняйте формулировку после того, как увидели удобный балл.
C5 не означает, что ссылка отправлена. Для проверки отправки понадобился бы другой источник. C3 засчитывает произнесённый интервал, но не его соответствие фактическому расписанию. Так узкая шкала не подменяет проверку обещаний магазина.
4. Разделите четыре состояния
- Выполнено: есть реплика, которая подтверждает заданное действие.
- Не выполнено: условие применимости наступило, нужная часть разговора доступна, но действия в ней нет.
- Не применимо: заранее заданное условие не наступило. Вес не должен ухудшать оценку этого разговора.
- Нет данных: условие наступило, но исходного материала недостаточно. Это не доказанный ноль и не выполненное действие.
В нашем примере C2 — «не выполнено», потому что весь заданный для него участок до первого интервала виден. Условие C6 зависит от вопросов покупателя, а они в учебном тексте доступны полностью. C4 — «нет данных», потому что потерян как раз ответ о цене. Если запись оборвана целиком, сначала пересмотрите возможность оценивать и другие критерии.
5. Посчитайте балл вместе с покрытием
Это редакционная формула для ручной таблицы. Она не описывает алгоритм UIS.
Сумма всех весов — 10. Исключаем C6 с весом 1: к этому разговору применим вес 9. Из него вес 2 приходится на неизвестный C4. Значит, уверенно оценить можно вес 7, а выполненные действия дают вес 5: C1 + C3 + C5.
| Что считаем | Расчёт | Ответ |
|---|---|---|
| Выполнение среди оценимых действий | 5 / 7 × 100 | 71,4% |
| Покрытие применимого веса | 7 / 9 × 100 | 77,8% |
| Неизвестная часть применимого веса | 2 / 9 × 100 | 22,2% |
Запись результата: 71,4% при покрытии 77,8% применимого веса. Один процент без покрытия скрывает потерянный ответ о цене.
Можно показать границы: если C4 не выполнен, итог по всему применимому весу равен 5 / 9 = 55,6%; если выполнен — 7 / 9 = 77,8%. Это границы незнания, не доверительный интервал и не прогноз работы ИИ. До восстановления фрагмента один точный итог за весь разговор не известен. Если оценимого веса нет совсем, балл не рассчитывайте: знаменатель равен нулю.
Как сверить будущую настройку UIS
В официальной справке указано, что сумма весов критериев равна 10 и меняется распределение весов при выборе приоритетов. Это не обещание повторного анализа старых звонков. Поддержку наших состояний «не применимо» и «нет данных», а также такой формулы нормирования мы не установили: таблица не является готовым импортом в UIS.
Прежде чем трактовать пустую оценку как провал оператора, выясните причину её отсутствия. В разделах о сценариях описаны фильтры звонков, незаполненный сценарий и проверка соответствия разговора сценарию. При пересечении фильтров подходящий сценарий выбирает LLM с учётом названия, текста скрипта и тегов. Даже единственный сценарий проверяется на соответствие. Для случая, когда ни один сценарий не подошёл, справка отдельно описывает звонок без оценки при доступных записи и транскрипции. Не заменяйте это состояние нулевым баллом.
В описании шкалы есть расхождение: в общей логике указано 0–10, а в разделе речевых метрик — оценка сценария 1–10 и минимальный итог 1 после штрафов. Мы не разрешили это расхождение в кабинете. Перед сравнением выгрузок нужно уточнить, какое поле и какие штрафы в них представлены, а не переводить наш ручной процент в балл сервиса.
Что проверить перед использованием своей шкалы
Возьмите несколько собственных учебных разговоров: с выполненным действием, без него, с неприменимым условием и с недостающим фрагментом. Дайте разметить их двум проверяющим по одинаковым определениям. Разберите расхождения до выбора порога и использования автоматической оценки. Это следующий шаг для вашей шкалы; редакционный пример не устанавливает приемлемую точность и не даёт основания оценивать сотрудников по одному числу.
Решён ли вопрос клиента, отправлена ли ссылка и выполнена ли доставка — отдельные результаты с отдельными свидетельствами. Наша таблица отвечает только на вопрос о наблюдаемых действиях в данном разговоре.
Как мы проверяли
25 октября 2026 года редакция составила вымышленный текст, вручную разметила шесть критериев и пересчитала веса, доли и границы. Пропуск в одном ответе создан намеренно. Запись упражнения — вход и разметка. Рабочая среда упражнения — текст и CSV, без версии кабинета сервиса; интерфейс UIS и автоматическое распознавание не проверялись. Документальные сведения сверены с сохранённой полной статической справкой; текст на изображениях и содержание закрытого кабинета в проверку не входили.
Источники
- UIS: Речевая аналитика ИИ — официальная справка поставщика, проверена 26 октября 2026 года. Подтверждает описание критериев, весов, сценариев и шкал, но не точность продукта на звонках магазина.
Редакция Кометы · Как работает редакция