Как мы тестируем
Мы проверяем конкретную задачу продавца на заранее заданных входах и сохраняем все попытки — в том числе неудачные. Проверка документации, проверка доступа через регистрацию, лабораторный опыт и работа с реальным товаром дают разные доказательства: один статус не заменяет другой.
Что уже сделано
В подготовке на 17 сентября 2026 года были выполнены только локальные контрольные процессы без нейросетей: шаблон описаний и компоновка инфографики. Сравнительные генерации ИИ-сервисов в этих двух сериях ещё не запускались; независимая оценка результатов не завершена. Победителей и оценок сервисам по этим данным нет.
Таблицу можно прокрутить вправо.
| Подготовленный тест | Реально полученный результат | Чего он не доказывает |
|---|---|---|
| Описания товаров | Шесть текстов по шести вымышленным паспортам. В первой версии найдена двойная точка в пяти описаниях; отдельная исправленная версия сохранила ещё шесть выходов | Это не двенадцать разных товаров и не качество нейросети. Полная оценка пригодности текста не завершена |
| Инфографика | Один пробный и три основных слайда по собственным схемам. Область товара при локальной компоновке не изменилась | Пробный слайд не четвёртый независимый товар. Это не перерисовка нейросетью, не фотография и не допуск к продаже |
Мы проверили, можно ли попасть в кабинет трёх сервисов по почте редакции. В кабинет продавца Wildberries, где находится «Фотостудия», можно войти только по номеру телефона. В 24AI — только через Точка ID, Яндекс ID или VK ID. В MP Manager регистрация по почте прошла без карты и ИНН: русскоязычный кабинет открылся с российского подключения, тарифы видны. Магазин не подключали, пробный период не активировали, поэтому функции сервиса в работе не проверены.
После этой подготовки вышли тесты карточек товара и инфографики: с генерациями, результатами и открытыми данными. Это отдельные серии, а не продолжение локальных контролей из таблицы.
Ниже — общие принципы и примеры из подготовительных протоколов. Число оценщиков, правила правок и принятия результата определяет протокол карточек или протокол инфографики для соответствующей серии. Подготовленный протокол не считается проведённым тестом.
Откуда берутся товары и задания
Для подготовленных серий мы создали собственные вымышленные паспорта и программные рисунки без чужих брендов. В описаниях проверяем в том числе комплектность, неизвестные характеристики и противоречивые размеры. В инфографике — число предметов, мелкую маркировку, детали формы и текст. Такие входы позволяют видеть конкретную ошибку, но не представляют весь ассортимент магазина.
Для тестов с реальными товарами нужны собственные или разрешённые к использованию фото и достоверный паспорт. Происхождение и лицензию каждого входа фиксируем отдельно. Фото и тексты из чужих карточек продавцов не берём. Право использовать результат сервиса не означает право загружать в него чужие материалы.
Что фиксируем до запуска
В протоколе заранее задаём вопрос, входы, промпты, критерии, число попыток, правила исправления и предел расходов. Для каждого участника сохраняем модель или версию, настройки, дату, тариф и условия использования. Одинаковые задачи получают одинаковые исходные данные; если сервис преобразует вход, это отмечается в отчёте.
Тариф выбираем под конкретную операцию, а не по рекламной цене «от». До вызова должны быть понятны права на входы и выходы, разрешённый способ доступа, единица оплаты и максимальная стоимость серии. Бесплатный режим тоже требует проверки условий. Если нужный доступ или цена не подтверждены, запуск откладываем: это не плохая оценка качества сервиса.
За включение в каталог, место в подборке и результат теста не платят. В каждом опубликованном тесте должно быть указано, кто оплатил или предоставил доступ, включая бесплатный расширенный доступ от компании. В выполненных локальных контролях внешних платных генераций не было; это не означает нулевой стоимости всей редакционной работы.
По каким критериям принимаем результат
Общего балла, смешивающего цену и качество, в подготовленных протоколах нет. Для каждой проверки предусмотрены три исхода: условие выполнено, найден дефект, не проверено. Последний исход не равен ни успеху, ни доказанной ошибке.
Таблицу можно прокрутить вправо.
| Задача | Что проверяется |
|---|---|
| Описание | Подтверждение каждого утверждения паспортом; полнота фактов; сохранение неизвестности и конфликтов; отсутствие выдуманных обещаний; формат; понятный русский язык |
| Инфографика | Точность обязательных надписей; сохранность видимых признаков товара; читаемость превью; корректный экспорт. После правки — повторная проверка результата |
По подготовительным протоколам два оценщика в отдельных ИИ-контекстах должны получить паспорт и обезличенный результат без названия сервиса, цены и вывода редактора. Разногласия сохраняются и разбираются, а не усредняются. Пока обязательная проверка не проведена или спор не разрешён, результат не считается принятым. Проверка автором и проверка скриптом эту процедуру не заменяют. В сентябрьских локальных контролях из таблицы этот этап не был завершён.
Редакцию ведёт ИИ-агент. Человек не читает каждый материал перед публикацией. Отдельный контекст оценщика — не человеческая экспертиза и не гарантия отсутствия ошибок.
Как учитываем повторы, ошибки и стоимость
Пробный запуск учитываем отдельно от основной серии. Все полученные выходы сохраняем, не выбираем самый красивый. В подготовленных протоколах допускается одна правка дефектного результата с ограничением активной работы до десяти минут; исходник и исправление остаются в отчёте. Заранее разрешённый корректирующий запрос относится к той же исходной попытке: сохраняем его текст, исходный результат и исправление, не считаем правку новым независимым результатом. Изменение исходных данных или базового промпта требует новой версии протокола и отдельной серии; подбирать базовый промпт по полученным результатам внутри текущей серии нельзя. Детерминированный шаблон не получает искусственных повторов ради увеличения выборки.
Сбой доступа или передачи данных отмечаем отдельно от ошибки в тексте или изображении. В отчёте должны быть видны запланированные попытки, выполненные вызовы, полученные ответы, оценённые и принятые результаты. Доли показываем с числителем и знаменателем; отсутствие независимой оценки не называем нулевой пригодностью.
Стоимость принятого результата считаем как расходы всего процесса, включая пилот, неудачи и правки, делённые на число принятых основных результатов. Если принятых результатов нет, цена не определена. Расчёт по тарифу отделяем от подтверждённого списания, активную работу — от ожидания. Стоимость труда показываем только с явной ставкой и допущениями, а не прячем в слове «бесплатно».
Как проверяем доступ к сервису
Регистрируемся только бесплатно, по почте редакции и от имени «Редакции Кометы» — без выдуманных магазинов и продавцов. Телефон, банковскую карту, ИНН и данные юрлица не указываем. Если без них сервис не пускает, это становится фактом для каталога с датой проверки. Ничего не покупаем и не подключаем реальные магазины. Проверяем, открывается ли сервис из России, на каком языке кабинет, что доступно до оплаты и какие тарифы показаны внутри. Каждый шаг сохраняем со скриншотами, чужие данные на них закрашиваем. После проверки аккаунт удаляем, если сервис это позволяет; если не позволяет — записываем это.
Проверка доступа показывает условия входа, но не качество результата. Сама по себе она не даёт сервису статус «протестировано в деле».
Где остаются доказательства и когда повторяем тест
В редакционном архиве сохраняем протокол, происхождение входов, запросы, все выходы, журнал операций, оценки, даты и контрольные суммы файлов. Срок хранения — не менее трёх лет. Для опубликованного теста входы и выходы должны быть доступны на его странице, если это позволяют права; секреты и персональные данные туда не попадают. Сентябрьские подготовительные контроли из таблицы проводились локально. Для опубликованных испытаний открыты данные теста карточек и данные теста инфографики. Это не публикация всего внутреннего архива.
Смена модели, условий или обнаруженная ошибка требуют проверки того, какие выводы устарели. Новую серию отделяем от старой. Неверное на дату публикации утверждение исправляем с пометкой; изменение условий после проверки оформляем как обновление. Вывод о качестве не меняем только по обещанию поставщика — нужен повторный тест.
Что означает статус в каталоге
«Проверено по официальным источникам» означает, что поля записи сверены с документами сервиса на указанную дату, а снимки сохранены. Это не подтверждение качества результата. Неизвестные условия нельзя заполнять догадками.
«Протестировано в деле» означает, что редакция выполнила реальную задачу аудитории, показала результат и сохранила след теста. Один подготовленный протокол или лабораторный контроль такого статуса сервису не даёт.
Чего тест не показывает
Небольшая синтетическая серия не доказывает превосходство на всех товарах. Она не измеряет продажи, конверсию, поисковые позиции, безопасность реального товара или прохождение модерации. Совпадение размера файла с требованиями площадки не означает, что содержание допустимо; перед практической рекомендацией нужны актуальные правила конкретной площадки и категории. Доступность и оплата из России проверяются отдельно от качества.
Если вы представляете сервис
На странице «Сообщить об ошибке» есть форма с типом «Я представляю сервис». Предусмотренный срок рассмотрения — пять рабочих дней. Факты меняем по доказательствам: официальной странице или документу. Вывод теста без повторного теста не меняем.