diff --git a/docs/evals/2026-08-06-seeds-to-prompt-boundary.md b/docs/evals/2026-08-06-seeds-to-prompt-boundary.md new file mode 100644 index 0000000..6eb9553 --- /dev/null +++ b/docs/evals/2026-08-06-seeds-to-prompt-boundary.md @@ -0,0 +1,58 @@ +# Moving the seed files onto the router prompt's boundaries + +**06-08-2026. V-626.** Measured with `TestONNXBaseline`, 91-case RU routing fixture, +classifier plus the ONNX embedder. No LLM arm in this run. + +`docs/evals/2026-08-06-seed-labels-vs-router-prompt.md` found three intent boundaries where +`models/seeds` and `routeSystem` disagree. This applies two of them and rejects the third, +because the third was measured and it costs a case. + +## Baseline + +**64/91, 70.3% full.** Latency p50 22.9ms. + +## What moved + +**Sensor and host state, system to query. 26 lines.** `какая температура воздуха`, +`сколько памяти занято`, `какой статус сервисов`. The prompt restricts system to the clock, +the calendar date and the assistant itself, which is the V-374 edit of 31-07-2026. + +**World questions, chat to query. 8 lines.** `почему небо голубое`, `why is the sky blue`, +`как работает интернет`. Only the genuine world-knowledge lines. An opener about herself +stays in chat. `как тебя зовут` is a question word by rule 4 and about the assistant by +rule 8. The rules are ordered and rule 4 fires first, which reads wrong. That is a prompt +question rather than a seed question. + +`system.txt` goes from 43 lines to 17 and `query.txt` from 64 to 98. + +## Result + +**66/91, 72.5% full.** Two cases gained, none lost. + +- `en-sys-002` "turn quiet mode back on", quiet 2/3 to 3/3 +- `ru-query-011` "почему сервер тормозит", homelab 5/6 to 6/6 + +Clarify counts unchanged at 0 false and 8 missed. The eight missed clarifies are the +`ambiguous` tag and this change does not touch them. `TestONNXRecall`, `TestONNXTopics`, +`TestONNXPersonalBoundary` and `TestONNXClaimConfidenceDistribution` all pass. + +Thinning system to 17 lines did not hurt it. The two remaining system failures, +`какое число завтра` and `какой день недели послезавтра`, both failed at baseline too. + +## The third boundary, measured and rejected + +`reminder.txt` holds eight bare verbs: `поставь напоминание`, `создай напоминание`, +`set a reminder`. Rule 9 of the prompt calls an utterance with no named subject unknown. +By the prompt they do not belong in a reminder seed set. + +Dropping them scores **65/91**, one below keeping them. `ru-rem-004` "поставь напоминание +через полчаса" falls from reminder to fact, because the centroid loses the phrase the +utterance is built from. + +So the seed file and the prompt are not stale against each other here. They have different +jobs. A prompt classifies one utterance and can say it cannot. A nearest-neighbour centroid +is a shape to be near, and a bare verb phrase is part of that shape. The eight lines stay. + +That distinction matters past this file. V-546 trains a classification head on labeled +utterances rather than a centroid, and the head is the prompt's kind of thing. These eight +lines are seed data and not training data. diff --git a/models/seeds/chat.txt b/models/seeds/chat.txt index 8639afa..ce7d2a2 100644 --- a/models/seeds/chat.txt +++ b/models/seeds/chat.txt @@ -8,12 +8,9 @@ как прошёл день расскажи про себя ты мне нравишься -почему небо голубое о чём поговорим у тебя есть чувства -что такое любовь расскажи историю -как работает интернет шутка анекдот пошути @@ -24,8 +21,6 @@ что нового думаешь о чём-то расскажи про космос -почему трава зелёная -откуда берётся дождь что было интересного сегодня как тебя зовут сколько тебе лет @@ -37,7 +32,4 @@ i'm bored what's up tell me a joke do you have feelings -what is love tell me about yourself -why is the sky blue -how does the internet work diff --git a/models/seeds/query.txt b/models/seeds/query.txt index f74aaec..7d1339b 100644 --- a/models/seeds/query.txt +++ b/models/seeds/query.txt @@ -62,3 +62,37 @@ what did I note about the garden будет дождь погода на сегодня weather in london +сколько времени осталось до вечера +какая температура воздуха +сколько человек дома +кто сейчас дома +есть ли кто дома +кто дома сейчас +все ли дома +сколько памяти занято +какая загрузка процессора +сколько свободного места на диске +какой ip адрес у сервера +всё ли работает +сколько сервер работает без перезагрузки +когда сервер запускался +какая версия софта +сколько аптайм +какой статус сервисов +все ли сервисы работают +что с интернетом +когда последний раз перезагружался +сколько трафика сегодня +какая скорость интернета +сколько процессов запущено +как загрузка системы +сколько оперативной памяти свободно +какая температура процессора +почему небо голубое +что такое любовь +как работает интернет +почему трава зелёная +откуда берётся дождь +what is love +why is the sky blue +how does the internet work diff --git a/models/seeds/system.txt b/models/seeds/system.txt index aba46a3..885074f 100644 --- a/models/seeds/system.txt +++ b/models/seeds/system.txt @@ -5,36 +5,10 @@ который час в Москве сколько сейчас времени который час у нас -сколько времени осталось до вечера какой сегодня день недели -какая температура воздуха -сколько человек дома -кто сейчас дома -есть ли кто дома -кто дома сейчас -все ли дома -сколько памяти занято -какая загрузка процессора -сколько свободного места на диске -какой ip адрес у сервера как дела у сервера -всё ли работает -сколько сервер работает без перезагрузки -когда сервер запускался -какая версия софта -сколько аптайм -какой статус сервисов -все ли сервисы работают -что с интернетом интернет работает -когда последний раз перезагружался -сколько трафика сегодня -какая скорость интернета загрузка сети -сколько процессов запущено -как загрузка системы -сколько оперативной памяти свободно -какая температура процессора тихий режим тихо не шуми @@ -48,4 +22,4 @@ quiet mode on quiet mode off quiet on -quiet off \ No newline at end of file +quiet off