медиа про еком + ии
Тест · Причины отмены DBS

ИИ и причины отмены DBS-заказа: 12 учебных историй без подмены вины

Редакция Кометы · опубликовано

Проверено: 30 октября 2026

Модель GPT-6.1 Sol правильно распределила все 12 учебных историй по заранее заданным причинам отмены заказа Яндекс Маркета DBS. Если магазин менял условия или нарушал их, модель не записывала отказ как самостоятельное решение покупателя. Это тест черновика для сотрудника, не автоматической отмены в кабинете. Входы и результаты открыты.

Почему фразы «отмените» недостаточно

По правилам Маркета, причину «Покупатель передумал» нельзя указывать, если до отказа магазин предлагал перенести доставку или заменить товар. Для такой ситуации предусмотрена причина «Магазин не может выполнить заказ». Поэтому анализировать последнюю реплику без предыдущих событий опасно.

У самовывоза другая граница. Причина «Покупатель не забрал заказ» применяется после окончания срока хранения и закрытия пункта выдачи. Если покупатель отказался из-за опоздания, другого пункта или другого товара, Маркет относит причину к магазину. Само истечение срока хранения не превращает нарушение условий в неявку покупателя.

Как модель разобрала 12 историй

Участник — GPT-6.1 Sol, один ответ на каждую историю. Правила выбора были даны в промпте: мы проверяли применение заданных правил, а не знание справки моделью. Полные тексты, ответы и эталоны доступны в записи теста.

До прогона мы задали пять условий зачёта: решение совпадает с эталоном; причина магазина не записана на покупателя; все цитаты дословны; требуется проверка сотрудником; JSON соответствует схеме. Ответ принимался только при соблюдении всех пяти условий. Пропуск или невалидный JSON — ошибка в том же знаменателе.

ID Учебная ситуация Эталон и решение модели
C1 Магазин соблюдает условия; покупатель самостоятельно передумал Покупатель передумал
C2 Магазин предложил перенос или замену, затем покупатель отказался Магазин не может выполнить заказ
C3 Заказанного товара нет на складе Магазин не может выполнить заказ
C4 Верный товар вовремя в выбранном пункте; объявленный срок окончен, пункт закрылся, покупатель не пришёл Покупатель не забрал заказ
C5 Привезли другой товар, покупатель отказался Магазин не может выполнить заказ
C6 Сохранилась одна просьба отменить, предыдущая история неизвестна Нужны сведения
C7 Покупатель ещё не пришёл, но срок хранения не истёк Нужны сведения
C8 Покупатель отказался из-за опоздания; затем истёк срок хранения Магазин не может выполнить заказ
C9 Покупатель отказался ехать в другой пункт выдачи Магазин не может выполнить заказ
C10 Магазин предложил более высокую цену и попросил покупателя отменить Магазин не может выполнить заказ
C11 Покупатель самостоятельно отказался; оператор предложил замену уже после отказа Покупатель передумал
C12 Срок вышел, но время прибытия, пункт и соответствие товара неизвестны Нужны сведения

Источник всех строк — наши входы и выходы. «Нужны сведения» — наш учебный отказ от классификации, а не название кнопки Маркета. В C11 порядок событий специально задан контрактом: это не отдельное новое правило площадки.

Проверка Результат
Совпадение решения с замороженным эталоном 12 из 12
Ошибочно приписанный покупателю отказ, когда условия изменил или нарушил магазин 0 из 6
Все опорные цитаты дословно найдены во входе 12 из 12
Ответ требует проверки сотрудником 12 из 12
Ответ соответствует нашей JSON-схеме 12 из 12

Знаменатели и правила подсчёта — в записи теста. Отсутствующий или невалидный ответ считался бы ошибкой, а не исключался из выборки.

Где хронология меняет вывод

В C2 магазин сначала предложил изменить условия. Модель выбрала store_cannot_fulfil и объяснила: «Магазин сообщил о невозможности доставки в обещанный день и предложил перенос или замену, после чего покупатель отказался». В C11 самостоятельный отказ произошёл раньше предложения оператора; ответ оказался buyer_changed_mind. Оба полных ответа — в записи прогона.

В C12 срока хранения недостаточно: неизвестно, какой товар, когда и куда прибыл. Модель выбрала needs_evidence: «Не подтверждено, что правильный товар прибыл вовремя в выбранный пункт; наличие и причина отказа также неизвестны. Сотруднику нужно проверить недостающие сведения». Ответ C12 показывает полезную границу: сначала восстановить факты, затем выбирать причину.

А где ошибки модели?

В этом прогоне ошибок по заранее заданным проверкам не обнаружено. Это небольшой набор явно сформулированных историй: он не показывает, как модель поведёт себя в длинном чате с противоречащими сообщениями или без готовых правил. Все ответы и проверки сохранены в данных теста.

Кому подойдёт такой черновик

Для небольшой очереди отмен и бюджета 0 ₽ на новый сервис разумный первый шаг — ручная сверка событий с таблицей причин Маркета. Покупать подписку ради 12 учебных историй мы не предлагаем.

Если у поддержки уже есть оплаченная модель для подготовки черновиков и бюджет на новый сервис также 0 ₽, используйте наш набор историй для проверки черновиков. Сверьте итоговую метку, цитаты, порядок событий и отказ от ответа при пробелах. В нашем прогоне эти проверки прошли; на вашу модель результат не переносится.

Для автоматической отмены этот тест не подходит. У сотрудника остаётся проверка истории заказа и действующего срока хранения, в том числе продлений. Возможность отмены зависит от финального статуса, а срок хранения своего пункта можно продлевать — это отдельные условия справки Маркета.

Сколько стоила проверка

У нас использовался ChatGPT Pro. В официальной справке Pro на дату проверки перечислены три ежемесячных варианта: Pro 100 — $100, Pro 200 — $200, Pro 500 — $500. Это цена месяца доступа, не цена 12 ответов. Какой из трёх вариантов оплачен сейчас и какую долю его лимита занял прогон, мы не измеряли.

Измеренная платная часть — два прохода судьи Sonnet 5 по всем 12 ответам через OpenRouter: 24 вызова, $0,172956 по сохранённым данным о расходах. В редакционном учёте по фиксированным 85 ₽/$ это 14,70 ₽; это не курс банка и не предложение оплаты в рублях. Данные о расходах и способ подсчёта находятся в записи теста. Эта сумма не включает подписку, подготовку, рецензии статьи и внедрение.

Как мы проверяли

Редакция Кометы, работающая с ИИ, выполнила один прогон GPT-6.1 Sol (openai/gpt-6.1-sol) через редакционный маршрут ChatGPT Pro (подписка владельца; название подтверждено 25 сентября 2026 года). Точный вариант Pro 100/200/500 в данных этого прогона не указан; мы его не приписываем. Контракт, входы, эталоны, критерии и программа проверки были заморожены до первого вызова. Параметры: temperature 0, максимум 1200 выходных токенов на ответ; сумма времени генераций — 203,5 секунды, не время внедрения. Подписка не делает полную цену проверки нулевой: долю подготовки и стоимость рабочего сценария магазина мы не измеряли. Протокол и ответы позволяют сверить параметры.

Все входы — наши синтетические тексты. Это 12 историй: самостоятельный отказ, нарушение или изменение условий магазином, корректное неполучение и недостаточные сведения. Скрипт проверял решение, дословность цитат, схему и обязательность проверки сотрудником. Каждый ответ дважды оценил вслепую судья другого семейства — Sonnet 5. Ручная сверка всех историй совпала с обоими проходами; ответы судьи и сверка находятся в записи теста.

Ограничения: одна модель, один ответ на вход, готовые правила, учебные тексты без реальных заказов. Мы не проверяли интерфейс отмены, влияние конкретного заказа на индекс качества, возврат денег или интеграцию. Сервисы не платили за участие; доступ и судейство оплачивает редакция. Ни экономию труда, ни окупаемость для магазина этот прогон не доказывает.

Промпт, которым мы проверяли

Ниже полный текст контракта; вместо {text} подставляется одна история из учебного файла.

Ты готовишь только черновик сотруднику магазина по синтетической истории заказа Яндекс Маркет DBS. Ничего в кабинете не меняй. В этой задаче четыре учебных кода (не API):
- buyer_changed_mind: покупатель самостоятельно отказался, магазин мог исполнить все исходные условия и до отказа не предлагал заменить товар или перенести доставку;
- store_cannot_fulfil: магазин не может исполнить исходные условия, в том числе отказ после предложенной магазином замены/переноса; при неполучении покупатель отказался из-за опоздания, другого пункта или другого товара;
- buyer_did_not_collect: только самовывоз, товар приехал вовремя, правильный и в выбранный пункт, срок хранения истёк и пункт уже закрылся, покупатель не пришёл;
- needs_evidence: сведений недостаточно для подтверждения одной из причин, либо срок/закрытие ещё не наступили. Не выводи отсутствие нарушений из отсутствия переписки. Ветка невозможности связи вне контракта.
Учитывай хронологию: более поздняя попытка удержать уже самостоятельно отказавшегося покупателя не делает его первоначальный отказ реакцией на изменение условий. Если нет основания для причины, не выбирай её ради индекса качества. Оставь сотруднику проверку; никаких инструкций скрыть вину, отменить автоматически или запросить персональные данные.
Верни только JSON с ровно полями: decision (один код), evidence (список 1–3 коротких дословных фрагментов истории), reason (краткое объяснение без новых фактов), employee_review_required (true).
История:
{text}

Доступ из России и российские аналоги

ChatGPT недоступен для обслуживания из России: Россия отсутствует в официальном списке стран OpenAI. Продукты Anthropic также доступны лишь в перечисленных странах обслуживания; России в перечне нет. Этот материал не инструкция по подключению зарубежного аккаунта.

Для других задач поддержки можно изучить карточку Jivo. Выбор причин DBS этим тестом у него не подтверждён: наши входы пригодятся для отдельной проверки выбранного решения, а не для переноса результата Sol.

Источники

Редакция Кометы · Как работает редакция

Сообщить об ошибке