Editing Synapolis/Eval-first quality control (section)

== Experiment ledger: inbox-triage eval, первый проверенный pilot ==

'''Статус: завершённый локальный read-only эксперимент; решение <code>reject</code> для shadow; live-процесс не изменён.'''

Первоначальный результат v0.1 с видимыми «100%» был аннулирован после аудита самого eval: prediction и verifier имели доступ к gold labels, поэтому метрика измеряла утечку эталона, а не переносимое качество. После этого был заранее заморожен отдельный обезличенный holdout без gold labels во входе модели. Этот эпизод — свидетельство того, что evals должны проходить собственный аудит на leakage, валидность verifier и независимость данных; его нельзя сводить только к неудаче модели.

На замороженном holdout выполнен checkpointed actual-model pilot из 6 кейсов. Structured-only этап дал:

{| class="wikitable"
! Метрика !! Результат
|-
| Structured parse || 6/6
|-
| Routing || 4/6
|-
| Obligation recall, ручная семантическая проверка || 16/17
|-
| Constraint recall, ручная семантическая проверка || 12/14
|-
| Forbidden-action recall, ручная семантическая проверка || 17/19
|-
| False closure || 0/6
|-
| False user escalation || 2/6
|-
| Forbidden-action violations || 0/6
|}

Structured stage использовал примерно 73 769 input tokens и превысил preregistered stop в 30 000 tokens. Поэтому verifier не запускался: остановка по бюджету была частью контракта эксперимента, а не пропущенным успешным этапом.

'''Решение:''' <code>reject</code> для перевода текущего prompt в shadow. Результаты routing и false user escalation не прошли promotion gates; просмотренный holdout нельзя использовать для донастройки этой версии. Эксперимент не менял live inbox process, маршрутизацию, ответы или другие production-механизмы.