From e7537d032e6f3dbc7881c050d792d9101fa5c52f Mon Sep 17 00:00:00 2001 From: claude Date: Thu, 6 Aug 2026 13:26:23 +0400 Subject: [PATCH] move the seed files onto the router prompt's intent boundaries (V-626) The classifier learns models/seeds and the router is prompted with routeSystem, and they held different definitions on 80 lines. Sensor and host state was system in the seeds and is query in the prompt, which is the V-374 edit the seeds never received. World questions were chat, written before external search could answer them. 64/91 to 66/91 on the fixture. en-sys-002 and ru-query-011 gain, nothing regresses, clarify counts unchanged. The third disagreement is measured and rejected. Dropping the eight bare reminder verbs scores 65, because a centroid is a shape to be near and the bare verb phrase is part of that shape. A seed file and a prompt have different jobs there. --- .../2026-08-06-seeds-to-prompt-boundary.md | 58 +++++++++++++++++++ models/seeds/chat.txt | 8 --- models/seeds/query.txt | 34 +++++++++++ models/seeds/system.txt | 28 +-------- 4 files changed, 93 insertions(+), 35 deletions(-) create mode 100644 docs/evals/2026-08-06-seeds-to-prompt-boundary.md diff --git a/docs/evals/2026-08-06-seeds-to-prompt-boundary.md b/docs/evals/2026-08-06-seeds-to-prompt-boundary.md new file mode 100644 index 0000000..6eb9553 --- /dev/null +++ b/docs/evals/2026-08-06-seeds-to-prompt-boundary.md @@ -0,0 +1,58 @@ +# Moving the seed files onto the router prompt's boundaries + +**06-08-2026. V-626.** Measured with `TestONNXBaseline`, 91-case RU routing fixture, +classifier plus the ONNX embedder. No LLM arm in this run. + +`docs/evals/2026-08-06-seed-labels-vs-router-prompt.md` found three intent boundaries where +`models/seeds` and `routeSystem` disagree. This applies two of them and rejects the third, +because the third was measured and it costs a case. + +## Baseline + +**64/91, 70.3% full.** Latency p50 22.9ms. + +## What moved + +**Sensor and host state, system to query. 26 lines.** `какая температура воздуха`, +`сколько памяти занято`, `какой статус сервисов`. The prompt restricts system to the clock, +the calendar date and the assistant itself, which is the V-374 edit of 31-07-2026. + +**World questions, chat to query. 8 lines.** `почему небо голубое`, `why is the sky blue`, +`как работает интернет`. Only the genuine world-knowledge lines. An opener about herself +stays in chat. `как тебя зовут` is a question word by rule 4 and about the assistant by +rule 8. The rules are ordered and rule 4 fires first, which reads wrong. That is a prompt +question rather than a seed question. + +`system.txt` goes from 43 lines to 17 and `query.txt` from 64 to 98. + +## Result + +**66/91, 72.5% full.** Two cases gained, none lost. + +- `en-sys-002` "turn quiet mode back on", quiet 2/3 to 3/3 +- `ru-query-011` "почему сервер тормозит", homelab 5/6 to 6/6 + +Clarify counts unchanged at 0 false and 8 missed. The eight missed clarifies are the +`ambiguous` tag and this change does not touch them. `TestONNXRecall`, `TestONNXTopics`, +`TestONNXPersonalBoundary` and `TestONNXClaimConfidenceDistribution` all pass. + +Thinning system to 17 lines did not hurt it. The two remaining system failures, +`какое число завтра` and `какой день недели послезавтра`, both failed at baseline too. + +## The third boundary, measured and rejected + +`reminder.txt` holds eight bare verbs: `поставь напоминание`, `создай напоминание`, +`set a reminder`. Rule 9 of the prompt calls an utterance with no named subject unknown. +By the prompt they do not belong in a reminder seed set. + +Dropping them scores **65/91**, one below keeping them. `ru-rem-004` "поставь напоминание +через полчаса" falls from reminder to fact, because the centroid loses the phrase the +utterance is built from. + +So the seed file and the prompt are not stale against each other here. They have different +jobs. A prompt classifies one utterance and can say it cannot. A nearest-neighbour centroid +is a shape to be near, and a bare verb phrase is part of that shape. The eight lines stay. + +That distinction matters past this file. V-546 trains a classification head on labeled +utterances rather than a centroid, and the head is the prompt's kind of thing. These eight +lines are seed data and not training data. diff --git a/models/seeds/chat.txt b/models/seeds/chat.txt index 8639afa..ce7d2a2 100644 --- a/models/seeds/chat.txt +++ b/models/seeds/chat.txt @@ -8,12 +8,9 @@ как прошёл день расскажи про себя ты мне нравишься -почему небо голубое о чём поговорим у тебя есть чувства -что такое любовь расскажи историю -как работает интернет шутка анекдот пошути @@ -24,8 +21,6 @@ что нового думаешь о чём-то расскажи про космос -почему трава зелёная -откуда берётся дождь что было интересного сегодня как тебя зовут сколько тебе лет @@ -37,7 +32,4 @@ i'm bored what's up tell me a joke do you have feelings -what is love tell me about yourself -why is the sky blue -how does the internet work diff --git a/models/seeds/query.txt b/models/seeds/query.txt index f74aaec..7d1339b 100644 --- a/models/seeds/query.txt +++ b/models/seeds/query.txt @@ -62,3 +62,37 @@ what did I note about the garden будет дождь погода на сегодня weather in london +сколько времени осталось до вечера +какая температура воздуха +сколько человек дома +кто сейчас дома +есть ли кто дома +кто дома сейчас +все ли дома +сколько памяти занято +какая загрузка процессора +сколько свободного места на диске +какой ip адрес у сервера +всё ли работает +сколько сервер работает без перезагрузки +когда сервер запускался +какая версия софта +сколько аптайм +какой статус сервисов +все ли сервисы работают +что с интернетом +когда последний раз перезагружался +сколько трафика сегодня +какая скорость интернета +сколько процессов запущено +как загрузка системы +сколько оперативной памяти свободно +какая температура процессора +почему небо голубое +что такое любовь +как работает интернет +почему трава зелёная +откуда берётся дождь +what is love +why is the sky blue +how does the internet work diff --git a/models/seeds/system.txt b/models/seeds/system.txt index aba46a3..885074f 100644 --- a/models/seeds/system.txt +++ b/models/seeds/system.txt @@ -5,36 +5,10 @@ который час в Москве сколько сейчас времени который час у нас -сколько времени осталось до вечера какой сегодня день недели -какая температура воздуха -сколько человек дома -кто сейчас дома -есть ли кто дома -кто дома сейчас -все ли дома -сколько памяти занято -какая загрузка процессора -сколько свободного места на диске -какой ip адрес у сервера как дела у сервера -всё ли работает -сколько сервер работает без перезагрузки -когда сервер запускался -какая версия софта -сколько аптайм -какой статус сервисов -все ли сервисы работают -что с интернетом интернет работает -когда последний раз перезагружался -сколько трафика сегодня -какая скорость интернета загрузка сети -сколько процессов запущено -как загрузка системы -сколько оперативной памяти свободно -какая температура процессора тихий режим тихо не шуми @@ -48,4 +22,4 @@ quiet mode on quiet mode off quiet on -quiet off \ No newline at end of file +quiet off