Measure E4B on phrasing, the half nobody had scored (V-668)

The 2026-08-09 model swap was measured on routing the same day and E4B lost
four destination cases. Phrasing was not measured, and phrasing is the half the
owner hears.

E4B scores nudges 15/15 and the talk fixture 29/36 at p50 516ms, against the
resident model's 25/36 at p50 2.97s on the same 36 cases. lang, feminine and
address are all 36/36, where the resident model loses three on address. Every
failure is ontopic and none is a parse error.

29/36 is one case off the ceiling. The temperature sweep of 2026-08-05 found
two reply cases that fail at every temperature and named a defect in the reply
path, capping the fixture at 30/36. Both are in E4B's failure list. So the swap
costs nothing on phrasing.

One defect no check catches: in chat E4B writes "Я записала несколько идей!"
when nothing was stored. A claim to have saved something is a claim about state.

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Claude-Session: https://claude.ai/code/session_013ptwopxyo3Z2kwFckHkLvN

CLAUDE.md

@@ -269,6 +269,16 @@ destination cases and buys 50ms. Read destination as the finding: it names nothi
 where the 12B names `recall` or `calendar`, which is safe but walks the whole chain.
 It also has no MTP and cannot be given any here. The only `gemma4-assistant`
 draft on disk is trained against the 12B's hidden states.
+**Phrasing was the unmeasured half and it is measured now**
+(`docs/evals/2026-08-09-e4b-phrasing.md`). E4B scores nudges 15/15 and the
+36-case talk fixture **29/36 at p50 516ms**, against the resident model's 25/36
+at p50 2.97s. Persona is clean: `lang`, `feminine` and `address` are all 36/36,
+where the resident model loses three on `address`. Every failure is `ontopic`
+and none is a parse error. The 2026-08-05 temperature sweep put this fixture's
+ceiling at 30/36, because two reply cases fail at every temperature (V-537), and
+both are in E4B's failure list. So the swap costs nothing here. One defect no
+check catches: in chat E4B claims "Я записала несколько идей!" when nothing was
+stored, which is a wrong claim about state.
 
 **The intended third engine is not a generative model** (owner's call, 05-08-2026, V-546,
 `docs/plans/18-routing-heads-on-e5-small.md`). Routing has a bounded output space, so it is
@@ -681,8 +691,11 @@ world questions, so she needs to read external sources. What replaces it:
   returned "Перехват TCP-соединения". "кто написал Войну и мир" returned an episode of
   Doctor Who. `kiwix.Topic` drops the narrative request, the interrogative and a verb
   behind one. `kiwix.TitlePath` tries the exact article first, since a ZIM is addressable
-  by title and a wrong title is a 404. Four of eight questions reach the right article
+  by title and a wrong title is a 404. Five of eight questions reach the right article
-  where they did not, two were already right, and nothing regressed. Both apply on the
+  where they did not, one was already right, and nothing regressed. The title needs its
+  leading capital, so `TitleCandidates` tries the spoken form and then the capitalized
+  one. **"столица Франции" is answered by a title redirect to Париж**, which is the case
+  the 2026-08-05 measurement named as unreachable by any lexical signal. Both apply on the
   verbatim path alone. The rewriter already reduces a question, and reducing twice takes
   the topic off its input.
   `Response.Empty()` is the whole gate and there is no quality threshold in front of it:

cmd/mavend/actions_query.go

@@ -938,10 +938,12 @@ func (h *reactiveHandler) queryKiwix(ctx context.Context, t *queryTurn) (string,
 			// The article named exactly, before any ranking runs. A ZIM is
 			// addressable by title and a wrong title is a 404, so this either
 			// answers or costs one request that says nothing.
-			page, err := h.kiwix.client.Article(ctxK, kiwix.TitlePath(book, topic), h.kiwix.runes)
+			for _, cand := range kiwix.TitleCandidates(topic) {
-			if err == nil && page.Text != "" {
+				page, err := h.kiwix.client.Article(ctxK, kiwix.TitlePath(book, cand), h.kiwix.runes)
-				log.Printf("voice: kiwix: %q in %q → title hit %q", topic, book, page.Title)
+				if err == nil && page.Text != "" {
-				return h.kiwixReply(ctx, t, page.Title, page.Text)
+					log.Printf("voice: kiwix: %q in %q → title hit %q", topic, book, page.Title)
+					return h.kiwixReply(ctx, t, page.Title, page.Text)
+				}
 			}
 			pattern = topic
 		}

docs/evals/2026-08-09-e4b-phrasing.md

@@ -0,0 +1,61 @@
+# gemma-4-E4B on the phrasing and talk fixtures
+
+Date: 2026-08-09. Box: workpc up, E4B loaded on 8080.
+`MAVEN_LLM_URL=http://192.168.1.105:8080 make eval-phrasing`.
+
+This was the one unmeasured risk of the 2026-08-09 model swap. Routing was
+measured the same day and E4B lost four destination cases to the 12B. Phrasing
+was not measured at all, and phrasing is the half the owner hears.
+
+## Result
+
+| fixture | E4B | resident Qwen3-1.7B, 2026-08-05 |
+|---|---|---|
+| nudges | 15/15 (100%) | 15/15 (100%) |
+| talk, passes every check | **29/36 (80.6%)** | 25/36 (69.4%) |
+| lang | 36/36 | — |
+| feminine | 36/36 | 36/36 |
+| address | **36/36** | 33/36 |
+| ontopic | 29/36 | 28/36 |
+| p50 latency | **516ms** | 2.97s |
+| p95 latency | 921ms | — |
+| failed generations | 0 | 0 |
+
+E4B beats the homesrv floor by four cases and answers about six times faster.
+Persona is clean: `lang`, `feminine` and `address` are perfect, and `address`
+is where the resident model still loses three. The 2026-08-05 measurement of the
+resident model is the comparison, since both ran the same 36-case fixture.
+
+Every failure is `ontopic`. Nothing failed on persona, nothing failed to parse.
+
+## The score is at the ceiling, not below it
+
+The 2026-08-05 temperature sweep found two cases that fail at every temperature
+in every run: `reply-note-router` and `reply-fact-weight`. It named a defect in
+the reply phrasing path rather than sampling noise. It put the fixture's ceiling
+at 30/36 before persona is scored. Both cases are in E4B's failure list.
+
+So 29/36 is one case off a ceiling nothing about the model can move. The swap is
+safe on phrasing. Read this next to the routing result, not instead of it. There
+E4B costs four destination cases and buys 50ms. Here it costs nothing.
+
+## Two findings no check caught
+
+**She says she wrote something down when she did not.** Asked what to do this
+evening, E4B writes "Я записала несколько идей!". Asked for a joke, it writes
+"Я записала одну забавную ситуацию!". Nothing was stored. No check scores it,
+because `ontopic` reads the subject and `cringe` reads pet names. A claim to
+have saved something is a claim about state, and it is wrong.
+
+**Two `ontopic` failures look like check defects.** `know-dont-know` wants
+"не зна" or "не мог". It got "Я не умею знать личную информацию о твоих
+соседях", which declines correctly in words the check does not list.
+`know-hiccups` is the same shape. Neither is a model failure and both count
+against the score.
+
+## Not measured here
+
+A 12B control on the same fixture, which would need the card reloaded and is the
+owner's call. The talk fixture through the daemon rather than through the
+phraser directly. The CPT'd Qwen3-1.7B, which does not exist yet and is the
+reason `address` is a check at all.

docs/evals/2026-08-09-kiwix-topic-retrieval.md

@@ -60,6 +60,10 @@ A ZIM is also addressable by title, which nothing here used. `/A/Франция`
 exact title is safe to try first: it either answers or costs one request that
 says nothing.
 
+The title has to carry its capital. `/A/фотосинтез` is a 404 and
+`/A/Фотосинтез` is a 200. The spoken form is tried first anyway, so a title
+that begins lowercase on purpose keeps its chance.
+
 ## What shipped, measured
 
 `kiwix.Topic` drops the narrative request, the interrogative and a verb sitting
@@ -71,25 +75,31 @@ would take the topic off the rewriter's input.
 | question | before | after |
 |---|---|---|
 | что такое TCP? | Перехват TCP-соединения | **TCP** (by title) |
-| что такое фотосинтез | C4-фотосинтез | **Фотосинтез** |
+| что такое фотосинтез | C4-фотосинтез | **Фотосинтез** (by title) |
 | кто такой Линус Торвальдс? | Tux | **Торвальдс, Линус** (by title) |
 | кто написал Войну и мир | Радуйся, мир (Доктор Кто) | **Война и мир** |
-| что такое чёрная дыра | Чёрная дыра | Чёрная дыра |
+| столица Франции | Список столиц Олимпийских игр | **Париж** (by title) |
+| что такое чёрная дыра | Чёрная дыра | Чёрная дыра (by title) |
 | почему небо голубое | Город золотой | Под небом голубым… (фильм) |
 | почему трава зелёная | Сено | Зелень |
-| столица Франции | Список столиц Олимпийских игр | Список столиц Олимпийских игр |
 
-Four questions reach the right article where they did not. Two were already
+Five questions reach the right article where they did not. One was already
-right and stay right. Nothing regressed.
+right and stays right. Nothing regressed.
+
+"столица Франции" is the surprise. The 2026-08-05 measurement named it as the
+case a quality gate must not break, because the answer is Париж and that word
+is not in the question. The ZIM holds a title redirect, so asking for the
+article titled "Столица Франции" returns Париж. Retrieval by title reaches an
+answer that retrieval by keyword cannot.
 
 ## What is still wrong
 
 Two of the eight are still not answered, and both are the same shape. The
-question names no article. "почему небо голубое" is answered by Rayleigh
+question names no article and no redirect covers it. "почему небо голубое" is
-scattering and "столица Франции" by the lead of Франция. Neither title is in
+answered by Rayleigh scattering, and nothing in the question says so. Keyword
-the question. Keyword retrieval cannot bridge that and neither can a
+retrieval cannot bridge that and neither can a threshold. The candidates are a
-threshold. The candidates are a semantic index over titles, or asking the
+semantic index over titles, or asking the resident model for the article title
-resident model for the article title rather than for keywords.
+rather than for keywords.
 
 `Response.Empty()` is still the whole gate. A wrong article that the search
 does return is still spoken. What this change buys is that the article is

internal/kiwix/live_test.go

@@ -39,9 +39,13 @@ func TestLiveTopicBeatsTheSentence(t *testing.T) {
 		before := firstTitle(ctx, c, q, book)
 		topic := Topic(q)
 		after := ""
-		if page, err := c.Article(ctx, TitlePath(book, topic), 400); err == nil && page.Text != "" {
+		for _, cand := range TitleCandidates(topic) {
-			after = page.Title + " (by title)"
+			if page, err := c.Article(ctx, TitlePath(book, cand), 400); err == nil && page.Text != "" {
-		} else {
+				after = page.Title + " (by title)"
+				break
+			}
+		}
+		if after == "" {
 			after = firstTitle(ctx, c, topic, book)
 		}
 		cancel()

internal/kiwix/topic.go

@@ -61,6 +61,26 @@ func Topic(utterance string) string {
 	return ""
 }
 
+// TitleCandidates is the topic as it might be titled, best first.
+//
+// A ZIM title is capitalized and the utterance is not: measured on 2026-08-09,
+// `/A/фотосинтез` is a 404 and `/A/Фотосинтез` is a 200. The spoken form is
+// tried first anyway, because a title that begins lowercase on purpose
+// ("iPhone") would not survive capitalizing it. Both are one request each
+// against a server on the same box, and a miss is a 404 rather than a wrong
+// article.
+func TitleCandidates(topic string) []string {
+	if topic == "" {
+		return nil
+	}
+	r := []rune(topic)
+	up := unicode.ToUpper(r[0])
+	if up == r[0] {
+		return []string{topic}
+	}
+	return []string{topic, string(up) + string(r[1:])}
+}
+
 func isCopula(w string) bool {
 	switch w {
 	case "такое", "такой", "такая", "такие", "is", "are", "was", "were":

internal/kiwix/topic_test.go

@@ -49,3 +49,19 @@ func TestTitlePathEscapesAndUnderscores(t *testing.T) {
 		t.Errorf("TitlePath = %q, want %q", got, want)
 	}
 }
+
+// A ZIM title carries a leading capital and the utterance does not. The spoken
+// form is still tried first, so a title that begins lowercase on purpose keeps
+// its chance.
+func TestTitleCandidatesTryTheSpokenFormFirst(t *testing.T) {
+	got := TitleCandidates("фотосинтез")
+	if len(got) != 2 || got[0] != "фотосинтез" || got[1] != "Фотосинтез" {
+		t.Errorf("TitleCandidates = %q", got)
+	}
+	if got := TitleCandidates("TCP"); len(got) != 1 || got[0] != "TCP" {
+		t.Errorf("an already-capital topic was tried twice: %q", got)
+	}
+	if got := TitleCandidates(""); got != nil {
+		t.Errorf("TitleCandidates(\"\") = %q, want nil", got)
+	}
+}

v668-transcript.md

@@ -0,0 +1,41 @@
+# Raw transcript, two weeks of usage
+
+YOU:   что такое TCP?
+MAVEN: есть такое: Tcp/Ip — Википедия — TCP позволяет регулировать нагрузку на сеть, а также уменьшать время ожидания данных при передаче на большие расстояния. Более того, TCP гарантирует, что полученные ...
+       [2.1s src=search t=666]
+
+YOU:   кто такой Линус Торвальдс?
+MAVEN: вот что я нашла: Торвальдс, Линус — Википедия — Ли́нус Бенедикт То́рвальдс (встречается написание Ту́рвальдс, швед. Linus Benedict Torvalds МФА: [ˈliːn.ɵs ˈtuːr.valds] о файле; род. 28 декабря 1969, Хельсинки) — финско-американский программист, создатель ядра Linux.
+       [0.8s src=search t=667]
+
+YOU:   что такое фотосинтез
+MAVEN: нашла вот это: Фотосинтез — Фотосинтез
+Схематическое изображение процесса фотосинтеза, происходящего в растениях
+Упрощённое уравнение фотосинтеза, происходящего в растениях
+Упрощённая схема фотосинтеза
+Фотоси́нтез (от др.-греч. φῶς  — « свет » и σύνθεσις  — «соединённый», «складной», «связывание», « синтез ») — сл…
+       [0.6s src=kiwix t=668]
+
+YOU:   кто написал Войну и мир
+MAVEN: вот что я нашла: Война и мир — Война и мир
+Война и мир
+Война и миръ
+Обложка издания 1873 года
+Жанр
+роман-эпопея
+Автор
+Лев Николаевич Толстой
+Язык оригинала
+русский, фрагменты на французском и немецком языках
+Дата написания
+1863—1869, 1873
+Дата первой публикации
+1865—1869
+Предыдущее
+Казаки
+Следующее
+Анна Каренина
+Тек…
+       [12.4s src=kiwix t=669]
+
+```

v668.jsonl

@@ -0,0 +1,4 @@
+{"reply": "есть такое: Tcp/Ip — Википедия — TCP позволяет регулировать нагрузку на сеть, а также уменьшать время ожидания данных при передаче на большие расстояния. Более того, TCP гарантирует, что полученные ...", "source": "search", "trace": "666", "secs": 2.1235475060530007, "day": 0, "n": 1, "utterance": "что такое TCP?"}
+{"reply": "вот что я нашла: Торвальдс, Линус — Википедия — Ли́нус Бенедикт То́рвальдс (встречается написание Ту́рвальдс, швед. Linus Benedict Torvalds МФА: [ˈliːn.ɵs ˈtuːr.valds] о файле; род. 28 декабря 1969, Хельсинки) — финско-американский программист, создатель ядра Linux.", "source": "search", "trace": "667", "secs": 0.7689587379572913, "day": 0, "n": 2, "utterance": "кто такой Линус Торвальдс?"}
+{"reply": "нашла вот это: Фотосинтез — Фотосинтез\nСхематическое изображение процесса фотосинтеза, происходящего в растениях\nУпрощённое уравнение фотосинтеза, происходящего в растениях\nУпрощённая схема фотосинтеза\nФотоси́нтез (от др.-греч. φῶς  — « свет » и σύνθεσις  — «соединённый», «складной», «связывание», « синтез ») — сл…", "source": "kiwix", "trace": "668", "secs": 0.575586927938275, "day": 0, "n": 3, "utterance": "что такое фотосинтез"}
+{"reply": "вот что я нашла: Война и мир — Война и мир\nВойна и мир\nВойна и миръ\nОбложка издания 1873 года\nЖанр\nроман-эпопея\nАвтор\nЛев Николаевич Толстой\nЯзык оригинала\nрусский, фрагменты на французском и немецком языках\nДата написания\n1863—1869, 1873\nДата первой публикации\n1865—1869\nПредыдущее\nКазаки\nСледующее\nАнна Каренина\nТек…", "source": "kiwix", "trace": "669", "secs": 12.44599153404124, "day": 0, "n": 4, "utterance": "кто написал Войну и мир"}

v668b-transcript.md

@@ -0,0 +1,30 @@
+# Raw transcript, two weeks of usage
+
+YOU:   столица Франции
+MAVEN: вот что я нашла: Франция — Википедия — Она отличается ... реками. На Сене в 145 км от пролива Ла-Манш расположена столица Франции Париж....
+       [2.3s src=search t=670]
+
+YOU:   что такое фотосинтез
+MAVEN: есть такое: Фотосинтез: процесс, фазы, функции и значение фотосинтеза — Бестселлеры Фоксфорда: собрали всё, что полюбили тысячи школьников и родителей 🧡 · Фотосинтез происходит в тканях, содержащих хлоропласты, — преимущественно в листе, на который приходится большая часть процессов фотосинтеза. Такая ткань наз…
+       [0.8s src=search t=671]
+
+YOU:   что такое TCP?
+MAVEN: нашла вот это: TCP — TCP
+TCP
+Название
+Transmission Control Protocol
+Уровень (по модели OSI )
+Транспортный
+Семейство
+TCP/IP
+Спецификация
+RFC 793 (сентябрь 1981 года) / STD 7
+Основные реализации
+UNIX , Linux , BSD , Windows
+Расширяемость
+Опции
+Медиафайлы на Викискладе
+TCP ( англ.   Transmission Control Protocol  — п…
+       [0.3s src=kiwix t=672]
+
+```

v668b.jsonl

@@ -0,0 +1,3 @@
+{"reply": "вот что я нашла: Франция — Википедия — Она отличается ... реками. На Сене в 145 км от пролива Ла-Манш расположена столица Франции Париж....", "source": "search", "trace": "670", "secs": 2.295847482047975, "day": 0, "n": 1, "utterance": "столица Франции"}
+{"reply": "есть такое: Фотосинтез: процесс, фазы, функции и значение фотосинтеза — Бестселлеры Фоксфорда: собрали всё, что полюбили тысячи школьников и родителей 🧡 · Фотосинтез происходит в тканях, содержащих хлоропласты, — преимущественно в листе, на который приходится большая часть процессов фотосинтеза. Такая ткань наз…", "source": "search", "trace": "671", "secs": 0.8353607719764113, "day": 0, "n": 2, "utterance": "что такое фотосинтез"}
+{"reply": "нашла вот это: TCP — TCP\nTCP\nНазвание\nTransmission Control Protocol\nУровень (по модели OSI )\nТранспортный\nСемейство\nTCP/IP\nСпецификация\nRFC 793 (сентябрь 1981 года) / STD 7\nОсновные реализации\nUNIX , Linux , BSD , Windows\nРасширяемость\nОпции\nМедиафайлы на Викискладе\nTCP ( англ.   Transmission Control Protocol  — п…", "source": "kiwix", "trace": "672", "secs": 0.29547085403464735, "day": 0, "n": 3, "utterance": "что такое TCP?"}

v668c-transcript.md

@@ -0,0 +1,19 @@
+# Raw transcript, two weeks of usage
+
+YOU:   что такое TCP?
+MAVEN: Вот что я нашла: TCP, или Transmission Control Protocol, — это один из основных протоколов передачи данных в интернете. Он работает на транспортном уровне модели OSI и предоставляет поток данных с установкой соединения, гарантируя целостность данных, повторно запрашивая потерянные данные и устраняя дублирование.
+       [2.3s src=kiwix t=673]
+
+YOU:   кто такой Линус Торвальдс?
+MAVEN: Вот что я нашла: Линус Торвальдс — финно-американский программист, который является создателем ядра Linux. Он швед по имени Linus Benedict Torvalds, родился 28 декабря 1969 года в Хельсинки, Финляндия, и его род деятельности включает программирование, разработку программного обеспечения, писательство, изобретательство, ведение блога, а также он инженер, бизнесмен и специалист в области информатики.
+       [2.4s src=kiwix t=674]
+
+YOU:   столица Франции
+MAVEN: Вот что я нашла: Столица Франции — Париж.
+       [2.0s src=kiwix t=675]
+
+YOU:   почему небо голубое
+MAVEN: Я не нашла в источниках ответа на твой вопрос, почему небо голубое.
+       [1.3s src=kiwix t=676]
+
+```

v668c.jsonl

@@ -0,0 +1,4 @@
+{"reply": "Вот что я нашла: TCP, или Transmission Control Protocol, — это один из основных протоколов передачи данных в интернете. Он работает на транспортном уровне модели OSI и предоставляет поток данных с установкой соединения, гарантируя целостность данных, повторно запрашивая потерянные данные и устраняя дублирование.", "source": "kiwix", "trace": "673", "secs": 2.3279738989658654, "day": 0, "n": 1, "utterance": "что такое TCP?"}
+{"reply": "Вот что я нашла: Линус Торвальдс — финно-американский программист, который является создателем ядра Linux. Он швед по имени Linus Benedict Torvalds, родился 28 декабря 1969 года в Хельсинки, Финляндия, и его род деятельности включает программирование, разработку программного обеспечения, писательство, изобретательство, ведение блога, а также он инженер, бизнесмен и специалист в области информатики.", "source": "kiwix", "trace": "674", "secs": 2.42521625792142, "day": 0, "n": 2, "utterance": "кто такой Линус Торвальдс?"}
+{"reply": "Вот что я нашла: Столица Франции — Париж.", "source": "kiwix", "trace": "675", "secs": 1.9803519028937444, "day": 0, "n": 3, "utterance": "столица Франции"}
+{"reply": "Я не нашла в источниках ответа на твой вопрос, почему небо голубое.", "source": "kiwix", "trace": "676", "secs": 1.2865088270045817, "day": 0, "n": 4, "utterance": "почему небо голубое"}