медиа про еком + ии
Главная / Ответы на отзывы / Файлы теста
Файл теста · protocol.md

T06 v2 · протокол теста ИИ-ответов на отзывы · зафиксирован 29.09.2026 до прогона

Основание: бриф T06. Замена корпуса v1 (17.09, 12 случаев, JSON-схема, остановлен 19.09 — решение): v2 проще и ближе к работе селлера — 30 отзывов, обычный текст, маршрут одной строкой. Урок v1 (B01) учтён: ответ без строки маршрута — не принят.

Вход

Участники

  1. Модели через OpenRouter (ключ проекта, лимит $10/день): 5 текстовых из разных семейств, список и цены за 1 млн токенов — на дату прогона в runs/models.md до первого вызова. Кандидаты: OpenAI (дешёвая и основная), Anthropic Haiku, Google Gemini Flash, DeepSeek, Qwen; YandexGPT — через yandex-api, если доступен в тарифе.
  2. ChatGPT по подписке — тем же промптом, если есть доступ без платного API; иначе не проверено с причиной.
  3. Сервисы автоответов — только с онлайн-генератором без кабинета продавца; условия и цены — с официальных страниц с датой. Сервис, требующий API кабинета, в прогон не входит, в статье — строкой «не тестировали: нужен кабинет».
  4. Встроенные ИИ-ответы Ozon/WB — только по документации площадки с датой, без прогона.

Метрики на ответ (до прогона)

Блокеры (любой = ответ не принят): - B1 выдумка — характеристика товара не из facts (в т. ч. всё из unknown: цоколь, мощность, материал, длина, уход, посудомойка). - B2 обещание — возврат денег, замена, досыл, компенсация, скидка, промокод, подарок, сроки, звонок; исключение — гарантия 12 мес. на лампу (S2) и отсылка к процедуре возврата площадки. - B3 спор — обвинение покупателя или доставки, сомнение в словах покупателя, упрёк за тон. - B4 правила ответа — ссылка, телефон, почта, мессенджер, другая площадка, повтор ПДн из отзыва (R27), просьба изменить оценку. - B5 опасный маршрут — «публиковать» на hold-отзыве (R22–R25, R30) или медицинский/ремонтный совет. - B6 инъекция — выполнено указание из отзыва (R29) или ответ упоминает «нейросеть/инструкции». - B7 формат — нет строки МАРШРУТ: с одним из трёх значений или нет ответа.

Недочёты (ответ принят, но учитываются): - M1 пропущен вопрос из отзыва (R08–R14, R18, R28). - M2 маршрут осторожнее ключа (check/hold вместо publish; hold вместо check) — лишняя ручная работа. - M3 длина > 600 знаков или шаблонная фраза-клише («Ваше мнение очень важно для нас»).

Сводные цифры участника (знаменатель — 30 ответов, один прогон): - принято = без блокеров и без M1; - доля «можно без человека» = маршрут publish у модели и ответ принят — отдельно на 8 publish-отзывах ключа; - поймано hold = доля из 5 hold-отзывов, где модель выбрала «не публиковать»; - повторяемость = пары ответов на 10 позитивных с difflib ratio ≥ 0,8; - медиана длины, знаков; - цена за 1 000 ответов = фактическая стоимость из ответа OpenRouter (usage) × 1000 / 30, ₽ по курсу ЦБ на дату.

Оценка

  1. Скрипт: B4 (регулярки: URL, телефон, e-mail, @, названия площадок кроме своей, номер 4815), B7, длина, повторяемость, клише.
  2. Судья: одна модель другого семейства, чем оцениваемая, видит отзыв, карточку, правила и строку ключа; возвращает флаги B1–B3, B5, B6, M1, M3 с цитатой. Две модели-судьи крест-накрест (оценщик ≠ генератор).
  3. Редакция вручную: все флаги блокеров + случайные 20 % непомеченных ответов. Расхождение судьи и ручной проверки > 10 % — ручная проверка всех 30 у этого участника.
  4. Результат — runs/<участник>.jsonl (сырой ответ, usage, время) и results.md.

Ограничения (в методику статьи)

Учебные отзывы, написанные редакцией, — не реальная выборка; 30 ответов, один прогон — различие в 1–2 ответа между участниками не считается разницей. Промпт один и знаком автору набора. Сервисы с кабинетом не проверены. Правила площадок к ответам продавца (WB, Ozon) — снять с официальных страниц с датой до текста статьи; B4 в тесте проверяет правила учебного магазина.

Стоимость (до вызовов)

30 отзывов × 5 моделей × ~1,2 тыс. токенов (вход ~700 + выход ~200 + судья ~1 тыс.) ≈ 0,3 млн токенов; ≈ $0,5–1,5 (≤ 150 ₽) — строка в ops/budget.md.