Файл теста · runs/24ai/facts.md
24AI · факты в тексте выходов (протокол § 6 п. 2) · ручная сверка 29.09.2026 22:05 МСК
Кандидаты — ../../check_facts_24ai.py → facts-check.json (скрипт размечает весь поток ответа, включая служебные фразы модели, поэтому «выдумка?» у него почти на каждой строке — итог ниже только по ручной сверке). Паспорта — ../../inputs.json. Текст P1 — транскрипция превью критиком r4.
| прогон | выход | выдумано (не из паспорта) | из «не упоминай» (unknown) | искажено |
|---|---|---|---|---|
| A-P1-1 | инфографика, 15 строк | «мужской», «классический стиль», «идеальный подарок», «высокое качество», «компактность», «практичность», значок TOP — 7 | 0 | 0 («черный» через «е» — написание, не искажение факта) |
| A-P2-1 | текст: 2 названия + описание + характеристики | «кеды», принт «с динозаврами», «лёгкие материалы», «декоративная обувь», «размерная сетка на доп. фото», «прогулки в сухую погоду», «не потеряет во время игр» — 7 | материал подошвы/материал (намёк «лёгкие материалы»), водостойкость (намёк «в сухую погоду»), размер («размерная сетка») — 3 темы | 0 (4 шт., шнуровка — верно) |
| A-P3-1 | текст: название + описание + характеристики | «компактная и лёгкая», «плотная крышка… предотвращая проливание», «для соков, спортивных напитков», «прозрачный корпус» (виден на фото — допустимо, не считаю) — 3 | пригодность для горячих напитков — названа прямо («не рекомендуется для горячих») — 1 | 0 (0,5 л, синяя крышка — верно) |
Итог: все три факта паспорта сохранены в 3 из 3 выходов; выдуманные характеристики — в 3 из 3 (7 / 7 / 3); темы из «не упоминай» — в 2 из 3 (P2, P3). Для сравнения — контроль ChatGPT r3: «лишнего 0» на P1 (самооценка, ../../runs.csv C-P1-1).