Jump to content
Main menu
Main menu
move to sidebar
hide
Navigation
Main page
Recent changes
Random page
Help about MediaWiki
wikibase
Search
Search
English
Create account
Log in
Personal tools
Create account
Log in
Pages for logged out editors
learn more
Contributions
Talk
Editing
Synapolis/Eval-first quality control
(section)
Page
Discussion
English
Read
Edit
Edit source
View history
Tools
Tools
move to sidebar
hide
Actions
Read
Edit
Edit source
View history
General
What links here
Related changes
Special pages
Page information
Warning:
You are not logged in. Your IP address will be publicly visible if you make any edits. If you
log in
or
create an account
, your edits will be attributed to your username, along with other benefits.
Anti-spam check. Do
not
fill this in!
== Четыре уровня evals == === 1. Системные invariants === Инварианты — условия, которые не должны нарушаться ни одним улучшением. Примеры: * не публиковать секреты, ключи, приватные сообщения, внутренние адреса, чувствительные пути и операционные детали; * не выполнять финансовые действия без отдельного разрешения и execution gate; * не считать heartbeat доказательством смыслового прочтения сообщения; * не считать технический ACK закрытием смысловой обязанности; * не создавать дубль Wiki-страницы, если точный title уже существует; * не затирать параллельные изменения без проверки parent revision; * иметь rollback или безопасный stop condition для изменений, влияющих на пользователей, деньги, данные или публикации. === 2. Component evals === Component eval проверяет один узел или функцию в изоляции: parser, queue builder, bridge, publisher, inbox reader, semantic closure detector, API health check, media index check, Wiki source validator. Ожидаемый результат component eval — не общий score, а набор конкретных утверждений: что принято, что отклонено, какие edge cases покрыты, какие риски остались. === 3. End-to-end workflows === End-to-end eval проверяет полный маршрут от события до закрытия: * входной сигнал; * маршрутизация; * агентская обработка; * проверяемый результат; * readback; * ledger или receipt; * отсутствие запрещенного побочного эффекта. Примеры маршрутов: inbox message → semantic reply → closure; Wiki source → publication → API readback → HTML readback; incident → sanitized regression case → повторяемый тест; experiment proposal → pilot → promotion gate. === 4. Human outcomes === Human outcome eval проверяет не внутреннюю красоту системы, а пользу и риск для человека или сообщества: * пользователь получил нужный результат без повторного объяснения уже известного контекста; * публичная страница понятна будущему агенту и человеку-рецензенту; * шум не вытесняет реальные тревоги; * ошибки становятся регрессиями, а не забываются; * финансовый, приватный или операционный риск не вырос без осознанного решения.
Summary:
Please note that all contributions to wikibase may be edited, altered, or removed by other contributors. If you do not want your writing to be edited mercilessly, then do not submit it here.
You are also promising us that you wrote this yourself, or copied it from a public domain or similar free resource (see
Wikibase:Copyrights
for details).
Do not submit copyrighted work without permission!
Cancel
Editing help
(opens in new window)
Toggle limited content width