Проверка ИИ-сводки отзывов по исходным текстам
Скилл помогает продавцу или аналитику перепроверить готовую ИИ-сводку отзывов перед решением по товару; мы запустили его на учебных текстах. Он сопоставляет сводку с переданными отзывами и ищет выдуманные ссылки, недословные цитаты, повторный подсчёт и ошибки в долях — результаты есть в записи запуска. Он сверяет доказательства и арифметику, а не смысл вывода: фраза «запаха нет» может пройти под темой «запах».
Нужны два JSON-файла нашего формата; произвольную выгрузку маркетплейса, PDF или текст ответа нейросети скрипт не разбирает.
Что скачиваешь
Все значения таблицы проверены в дату, указанную в шапке. Стоимость ниже относится к локальному CLI, не к подготовке данных или работе модели в чате.
| Поле | Что установлено | Источник |
|---|---|---|
| Задача | Сопоставить ID, цитаты и подсчёты готовой сводки с переданными отзывами | Контракт |
| Вид | Скилл с самостоятельным Python-скриптом | Инструкция |
| Автор и источник | Редакция Кометы; собственные исходники опубликованы вместе с архивом | Код, лицензия |
| Лицензии | MIT для кода и документации; CC0 для вымышленных примеров | MIT, CC0 |
| Версия | 1.0.0 | Версия |
| Запуск | Python 3.14.4, macOS 15.7.7 x86_64; стандартная библиотека, без модели и ключей | README |
| Стоимость | Лицензия и вызовы API для этого CLI — 0 ₽; оборудование, электричество и труд читателя сюда не входят | Лицензия, код CLI |
| Проверка | Протестировано на учебных отзывах; среда и результаты сохранены | Запись запуска |
Что передать на проверку
| Файл | Что в нём | Источник |
|---|---|---|
| Исходные отзывы | Идентификатор набора, уникальный ID и полный текст каждого отзыва | Пример корпуса |
| Готовая сводка | Тот же набор, SHA-256 точных байтов корпуса, темы, число отзывов, знаменатель и цитаты с ID | Пример сводки |
Знаменатель — число текстов в переданном корпусе, не число покупателей или покупок. Числитель — количество разных существующих ID с найденной дословной цитатой. Один отзыв может относиться к нескольким темам: сумма долей не обязана равняться ста процентам.
Хеш связывает сводку с конкретным файлом. Если после подготовки сводки поменять пробелы в корпусе, сверка остановится: нужно заново проверить происхождение сводки, а не просто подставить новый хеш.
Как запустить учебный пример
- Скачай архив и распакуй его в отдельную папку. Открой терминал в этой папке. Проверенная среда — Python 3.14.4 на macOS; другие версии и ОС не проверены. Подробности — в записи запуска.
- Выполни команду ниже. В учебном запуске
результат примера —
structural_evidence_clear, пустой список сигналов и код завершения 0.
python3 scripts/check.py examples/reviews.json examples/summary.jsonДля своих подготовленных файлов замени два пути в той же команде. Скрипт выводит JSON в терминал и не исправляет входы.
Что делать с результатом
| Результат | Следующий шаг | Источник |
|---|---|---|
structural_evidence_clear, код 0 |
Сверить смысл и полноту тем вручную; структурных расхождений не найдено | Контракт |
signals, код 1 |
По индексам темы и доказательства найти место в сводке и открыть исходный отзыв | Код проверки |
invalid_input, код 2 |
Исправить формат, доступ к файлу или несоответствие набора; результат сводки ещё не получен | Контракт |
В коде проверки отдельные сигналы показывают неизвестный ID, повтор доказательства, цитату, которой нет в тексте, и расхождение числителя или знаменателя. В отчёте нет сырых отзывов и цитат, поэтому для исправления нужны собственные входные файлы.
Поле publication_allowed
всегда равно false, даже при коде 0. Это не допуск к
публикации сводки или к изменению товара.
Как мы проверяли
Мы запустили CLI на собственных вымышленных отзывах, отдельно проверили неверные ссылки, цитаты и подсчёты, ошибки входов и неизменность файлов. Среда, результаты сценариев и способ повторения сохранены в записи запуска и полном отчёте.
В смысловом контроле настоящая цитата
«запаха нет» под темой odor прошла структурную проверку.
Полярность, верность темы, пропущенные жалобы, репрезентативность
корпуса и правдивость отзывов остаются за пределами инструмента; это не
тест качества модели или сервиса.
Доступы и риски
Код CLI читает только два указанных локальных файла, не подключается к кабинетам, не отправляет ответы покупателям, не обращается к сети и не требует токенов. Редакция прочитала полный код версии 1.0.0, включая работу с файлами и вывод; дата и независимая кодовая проверка приведены в записи запуска.
Инструкция скилла предлагает начать с учебных данных без персональной информации. Локальный запуск скрипта и передача отзывов агенту — разные действия: если вложить тексты в чат с моделью, они могут уйти её провайдеру. Содержимое входов следует считать данными, не командами.
Когда выбрать другой способ
- Ручная таблица с ID и цитатами удобнее, если отзывов немного и JSON ещё нет. Открой каждый упомянутый отзыв, проверь цитату и считай уникальные ID; смысл всё равно читает человек. Это ручная альтернатива правилам из README.
- Повторная ручная разметка всего корпуса подходит, когда нужно проверить не только приведённые цитаты, но и пропущенные жалобы или неверно выбранные темы. Прочитай все отзывы независимо от готовой сводки, отнеси каждый к своим темам и затем сравни выводы; это более трудоёмкий способ проверить ту же сводку без JSON. Такое чтение закрывает смысловые вопросы, которые этот скилл намеренно оставляет человеку; его скорость мы не измеряли.
Для соседней задачи есть другой инструмент:
- Сверка двух товарных CSV нужна, если задача — найти изменения между таблицами до и после AI-правки, а не подтвердить цитаты в сводке. Для неё есть отдельный CSV-скилл; его назначение видно в инструкции.
Если нужен ответ покупателю, а не проверка аналитической сводки, начни с разбора ответов на отзывы.
Источники
- Редакция Кометы: README, SKILL.md, код, MIT, примеры. Проверено 20 октября 2026 года.
- Редакция Кометы: запись запуска и полные результаты. Учебные входы, не отзывы реального магазина.
- Редакция Кометы: назначение CSV-скилла. Проверено 20 октября 2026 года.
Автор: Редакция Кометы.