diff --git a/CLAUDE.md b/CLAUDE.md index 4b2c72f..6f8727a 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -269,6 +269,16 @@ destination cases and buys 50ms. Read destination as the finding: it names nothi where the 12B names `recall` or `calendar`, which is safe but walks the whole chain. It also has no MTP and cannot be given any here. The only `gemma4-assistant` draft on disk is trained against the 12B's hidden states. +**Phrasing was the unmeasured half and it is measured now** +(`docs/evals/2026-08-09-e4b-phrasing.md`). E4B scores nudges 15/15 and the +36-case talk fixture **29/36 at p50 516ms**, against the resident model's 25/36 +at p50 2.97s. Persona is clean: `lang`, `feminine` and `address` are all 36/36, +where the resident model loses three on `address`. Every failure is `ontopic` +and none is a parse error. The 2026-08-05 temperature sweep put this fixture's +ceiling at 30/36, because two reply cases fail at every temperature (V-537), and +both are in E4B's failure list. So the swap costs nothing here. One defect no +check catches: in chat E4B claims "Я записала несколько идей!" when nothing was +stored, which is a wrong claim about state. **The intended third engine is not a generative model** (owner's call, 05-08-2026, V-546, `docs/plans/18-routing-heads-on-e5-small.md`). Routing has a bounded output space, so it is diff --git a/docs/evals/2026-08-09-e4b-phrasing.md b/docs/evals/2026-08-09-e4b-phrasing.md new file mode 100644 index 0000000..9c059d0 --- /dev/null +++ b/docs/evals/2026-08-09-e4b-phrasing.md @@ -0,0 +1,61 @@ +# gemma-4-E4B on the phrasing and talk fixtures + +Date: 2026-08-09. Box: workpc up, E4B loaded on 8080. +`MAVEN_LLM_URL=http://192.168.1.105:8080 make eval-phrasing`. + +This was the one unmeasured risk of the 2026-08-09 model swap. Routing was +measured the same day and E4B lost four destination cases to the 12B. Phrasing +was not measured at all, and phrasing is the half the owner hears. + +## Result + +| fixture | E4B | resident Qwen3-1.7B, 2026-08-05 | +|---|---|---| +| nudges | 15/15 (100%) | 15/15 (100%) | +| talk, passes every check | **29/36 (80.6%)** | 25/36 (69.4%) | +| lang | 36/36 | — | +| feminine | 36/36 | 36/36 | +| address | **36/36** | 33/36 | +| ontopic | 29/36 | 28/36 | +| p50 latency | **516ms** | 2.97s | +| p95 latency | 921ms | — | +| failed generations | 0 | 0 | + +E4B beats the homesrv floor by four cases and answers about six times faster. +Persona is clean: `lang`, `feminine` and `address` are perfect, and `address` +is where the resident model still loses three. The 2026-08-05 measurement of the +resident model is the comparison, since both ran the same 36-case fixture. + +Every failure is `ontopic`. Nothing failed on persona, nothing failed to parse. + +## The score is at the ceiling, not below it + +The 2026-08-05 temperature sweep found two cases that fail at every temperature +in every run: `reply-note-router` and `reply-fact-weight`. It named a defect in +the reply phrasing path rather than sampling noise. It put the fixture's ceiling +at 30/36 before persona is scored. Both cases are in E4B's failure list. + +So 29/36 is one case off a ceiling nothing about the model can move. The swap is +safe on phrasing. Read this next to the routing result, not instead of it. There +E4B costs four destination cases and buys 50ms. Here it costs nothing. + +## Two findings no check caught + +**She says she wrote something down when she did not.** Asked what to do this +evening, E4B writes "Я записала несколько идей!". Asked for a joke, it writes +"Я записала одну забавную ситуацию!". Nothing was stored. No check scores it, +because `ontopic` reads the subject and `cringe` reads pet names. A claim to +have saved something is a claim about state, and it is wrong. + +**Two `ontopic` failures look like check defects.** `know-dont-know` wants +"не зна" or "не мог". It got "Я не умею знать личную информацию о твоих +соседях", which declines correctly in words the check does not list. +`know-hiccups` is the same shape. Neither is a model failure and both count +against the score. + +## Not measured here + +A 12B control on the same fixture, which would need the card reloaded and is the +owner's call. The talk fixture through the daemon rather than through the +phraser directly. The CPT'd Qwen3-1.7B, which does not exist yet and is the +reason `address` is a check at all. diff --git a/v668b-transcript.md b/v668b-transcript.md new file mode 100644 index 0000000..343db42 --- /dev/null +++ b/v668b-transcript.md @@ -0,0 +1,30 @@ +# Raw transcript, two weeks of usage + +YOU: столица Франции +MAVEN: вот что я нашла: Франция — Википедия — Она отличается ... реками. На Сене в 145 км от пролива Ла-Манш расположена столица Франции Париж.... + [2.3s src=search t=670] + +YOU: что такое фотосинтез +MAVEN: есть такое: Фотосинтез: процесс, фазы, функции и значение фотосинтеза — Бестселлеры Фоксфорда: собрали всё, что полюбили тысячи школьников и родителей 🧡 · Фотосинтез происходит в тканях, содержащих хлоропласты, — преимущественно в листе, на который приходится большая часть процессов фотосинтеза. Такая ткань наз… + [0.8s src=search t=671] + +YOU: что такое TCP? +MAVEN: нашла вот это: TCP — TCP +TCP +Название +Transmission Control Protocol +Уровень (по модели OSI ) +Транспортный +Семейство +TCP/IP +Спецификация +RFC 793 (сентябрь 1981 года) / STD 7 +Основные реализации +UNIX , Linux , BSD , Windows +Расширяемость +Опции +Медиафайлы на Викискладе +TCP ( англ.   Transmission Control Protocol  — п… + [0.3s src=kiwix t=672] + +``` diff --git a/v668b.jsonl b/v668b.jsonl new file mode 100644 index 0000000..dabbb8c --- /dev/null +++ b/v668b.jsonl @@ -0,0 +1,3 @@ +{"reply": "вот что я нашла: Франция — Википедия — Она отличается ... реками. На Сене в 145 км от пролива Ла-Манш расположена столица Франции Париж....", "source": "search", "trace": "670", "secs": 2.295847482047975, "day": 0, "n": 1, "utterance": "столица Франции"} +{"reply": "есть такое: Фотосинтез: процесс, фазы, функции и значение фотосинтеза — Бестселлеры Фоксфорда: собрали всё, что полюбили тысячи школьников и родителей 🧡 · Фотосинтез происходит в тканях, содержащих хлоропласты, — преимущественно в листе, на который приходится большая часть процессов фотосинтеза. Такая ткань наз…", "source": "search", "trace": "671", "secs": 0.8353607719764113, "day": 0, "n": 2, "utterance": "что такое фотосинтез"} +{"reply": "нашла вот это: TCP — TCP\nTCP\nНазвание\nTransmission Control Protocol\nУровень (по модели OSI )\nТранспортный\nСемейство\nTCP/IP\nСпецификация\nRFC 793 (сентябрь 1981 года) / STD 7\nОсновные реализации\nUNIX , Linux , BSD , Windows\nРасширяемость\nОпции\nМедиафайлы на Викискладе\nTCP ( англ.   Transmission Control Protocol  — п…", "source": "kiwix", "trace": "672", "secs": 0.29547085403464735, "day": 0, "n": 3, "utterance": "что такое TCP?"} diff --git a/v668c-transcript.md b/v668c-transcript.md new file mode 100644 index 0000000..b001b8e --- /dev/null +++ b/v668c-transcript.md @@ -0,0 +1,19 @@ +# Raw transcript, two weeks of usage + +YOU: что такое TCP? +MAVEN: Вот что я нашла: TCP, или Transmission Control Protocol, — это один из основных протоколов передачи данных в интернете. Он работает на транспортном уровне модели OSI и предоставляет поток данных с установкой соединения, гарантируя целостность данных, повторно запрашивая потерянные данные и устраняя дублирование. + [2.3s src=kiwix t=673] + +YOU: кто такой Линус Торвальдс? +MAVEN: Вот что я нашла: Линус Торвальдс — финно-американский программист, который является создателем ядра Linux. Он швед по имени Linus Benedict Torvalds, родился 28 декабря 1969 года в Хельсинки, Финляндия, и его род деятельности включает программирование, разработку программного обеспечения, писательство, изобретательство, ведение блога, а также он инженер, бизнесмен и специалист в области информатики. + [2.4s src=kiwix t=674] + +YOU: столица Франции +MAVEN: Вот что я нашла: Столица Франции — Париж. + [2.0s src=kiwix t=675] + +YOU: почему небо голубое +MAVEN: Я не нашла в источниках ответа на твой вопрос, почему небо голубое. + [1.3s src=kiwix t=676] + +``` diff --git a/v668c.jsonl b/v668c.jsonl new file mode 100644 index 0000000..9989906 --- /dev/null +++ b/v668c.jsonl @@ -0,0 +1,4 @@ +{"reply": "Вот что я нашла: TCP, или Transmission Control Protocol, — это один из основных протоколов передачи данных в интернете. Он работает на транспортном уровне модели OSI и предоставляет поток данных с установкой соединения, гарантируя целостность данных, повторно запрашивая потерянные данные и устраняя дублирование.", "source": "kiwix", "trace": "673", "secs": 2.3279738989658654, "day": 0, "n": 1, "utterance": "что такое TCP?"} +{"reply": "Вот что я нашла: Линус Торвальдс — финно-американский программист, который является создателем ядра Linux. Он швед по имени Linus Benedict Torvalds, родился 28 декабря 1969 года в Хельсинки, Финляндия, и его род деятельности включает программирование, разработку программного обеспечения, писательство, изобретательство, ведение блога, а также он инженер, бизнесмен и специалист в области информатики.", "source": "kiwix", "trace": "674", "secs": 2.42521625792142, "day": 0, "n": 2, "utterance": "кто такой Линус Торвальдс?"} +{"reply": "Вот что я нашла: Столица Франции — Париж.", "source": "kiwix", "trace": "675", "secs": 1.9803519028937444, "day": 0, "n": 3, "utterance": "столица Франции"} +{"reply": "Я не нашла в источниках ответа на твой вопрос, почему небо голубое.", "source": "kiwix", "trace": "676", "secs": 1.2865088270045817, "day": 0, "n": 4, "utterance": "почему небо голубое"}