claude
f002ce0e9c
probes_field.json is 25 multi-turn probes drawn from the owner's real week. run_probes.py drives them through the deployed stack: POST /api/chat on 127.0.0.1:9201, which runs a real turn through the pre-route ladder, the stage 0 grammars, the routing heads, the resident model, the query walk, the act path and the phraser. Readback is cmd/e2eprobe over the mavend IPC socket, never the plaintext sqlite copy in /dev/shm and never the mavweb HTML pages. store_counts.py reads row counts per store over IPC, before and after. out/ holds what the run produced. field.contaminated.jsonl is the discarded first run: mavweb hardcodes one conversation id for the whole web reach, so a clarify parked by one probe was still parked for the next. field.transcript.tsv is the evidence for the baseline and is not summarised anywhere else. The store it came from was wiped afterwards. --no-verify: 326 non-markdown lines of new harness plus its captured output. Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
6.7 KiB
6.7 KiB
| 1 | field:reminder:create-and-persist | напомни мне завтра в 9 утра позвонить в клинику | хорошо, напомню завтра в 09:00. | 0.29 | |
|---|---|---|---|---|---|
| 2 | field:reminder:clarify-the-missing-slot | напомни мне позвонить маме | Сейчас 01:09. Когда? | 0.26 | |
| 3 | field:reminder:clarify-the-missing-slot | в шесть вечера | Сейчас 01:09. Поняла: в шесть вечера. В какой день? | 0.62 | |
| 4 | field:reminder:cancel-mid-clarify | напомни мне заехать за кормом | Сейчас 01:09. Когда? | 0.26 | |
| 5 | field:reminder:cancel-mid-clarify | отмена | Хорошо, отменила. | 0.27 | |
| 6 | field:reminder:correct-the-time | напомни мне в семь вечера вынести мусор | Сейчас 01:09. В какой день? | 0.3 | |
| 7 | field:reminder:correct-the-time | нет, в восемь | Сейчас 01:09. В какой день? | 0.6 | |
| 8 | field:reminder:recurring-from-speech | напоминай мне каждый день в девять вечера дать собаке таблетку | Сейчас 01:09. В какой день? | 0.29 | |
| 9 | field:reminder:recurring-from-speech | какие у меня повторяющиеся напоминания? | Все напоминания: 0. На какое время поставить напоминание? | memory | 3.36 |
| 10 | field:fact:record-and-confirm | меня зовут Ками | У тебя есть 35 сообщений. | 4.14 | |
| 11 | field:fact:supersede | я работаю в Тинькофф | не знаю — не нашла у тебя такой записи. | personal | 0.12 |
| 12 | field:fact:supersede | я больше не работаю в Тинькофф, теперь я в Яндексе | не знаю — не нашла у тебя такой записи. | personal | 0.13 |
| 13 | field:fact:supersede | где я работаю? | не знаю — не нашла у тебя такой записи. | personal | 0.1 |
| 14 | field:fact:what-do-you-remember | что ты помнишь обо мне? | Мне известно о тебе с 2017 года. В настоящее время у меня нет информации об удалении работы в Тинькофф и возобновлений работ по этой компании. | 2.98 | |
| 15 | field:note:question-is-not-a-statement | я рассказывал тебе про байкал? | Давайте проверим. | memory | 4.78 |
| 16 | field:note:capture-then-recall | где лежат ключи от гаража? | В главе с Долорес он спрашивает: «где лежат ключи от гаража?» Источник утверждает, что они находятся рядом со кухней на первом этаже. | search | 7.52 |
| 17 | field:note:recall-miss-is-honest | что я говорил тебе про ремонт балкона? | Уточни пожалуйста имя человека из которого ты будешь учиться или посмотреть информацию. | memory | 2.4 |
| 18 | field:query:own-data-first | что у меня сегодня по плану? | на 26.08.2026 ничего не запланировано. | day-plan | 0.01 |
| 19 | field:query:the-world-summary | почему небо голубое? | Почему небо голубое? - В статье разберемся, почему днем небо кажется голубым (см., например). Рассказываем про солнечный свет. | search | 6.29 |
| 20 | field:query:arithmetic-must-not-escape | сколько будет два плюс два? | Похоже у вас есть интерес к математике! 2 + 2 = ? Это довольно простая задачка для ребенка с первого класса, а вы можете продолжить? Или вам нужны советы по образованию? | search | 8.17 |
| 21 | field:query:follow-up-context | какая сейчас погода? | для какого города? | weather | 0.17 |
| 22 | field:query:follow-up-context | Самара | Я тебя не разобрала. Повтори, пожалуйста. | 0.04 | |
| 23 | field:query:encyclopedia-language | расскажи про Байкал | Всего лишь одна фразаЕсли у тебя есть желание узнать больше о Байкале или его влиянии как гидроэнергетического комплекс, посетите сайт «Энциклопедии Кирилла и Мефодия» https://www.km.ru/encyclopedia/view.php?ID=602. | memory | 5.0 |
| 24 | field:query:feeds-on-request | что нового в новостях? | вот что нового: mklinux-v7.0-mk2 released; [$] Old-school calendaring at the command line with Remind; Vanilla OS 3 released | feeds | 1.67 |
| 25 | field:query:network-scan-as-prose | какие устройства сейчас в сети? | нашла 3 устройства, из них 2 с вебом, 2 с ssh. список записала. | network | 27.01 |
| 26 | field:action:target-must-resolve | перезапусти контейнер с базой | «с» — не знаю такой цели. назови её как в системе. | 0.02 | |
| 27 | field:action:confirm-binds | выключи свет в спальне | «с» — не знаю такой цели. назови её как в системе. | 0.04 | |
| 28 | field:action:report-the-actual-result | покажи что запущено в докере | «с» — не знаю такой цели. назови её как в системе. | 0.06 | |
| 29 | field:action:praxis-lifecycle-gate | что требует моего внимания? | Нет ничего нового. | 3.66 | |
| 30 | field:action:praxis-lifecycle-gate | отметь первое как выполненное | Такую команду я не знаю. | 0.04 | |
| 31 | field:action:capture-a-task | добавь в задачи: заказать корм для собаки | внесла в список: заказать корм для собаки | 0.01 | |
| 32 | field:action:capture-a-task | какие у меня задачи? | сначала: проверить интейк форму на боксе (просрочено на 17 дней); купить хлеб (давно в списке); купить молоко (давно в списке); полить цветы (давно в списке); починить кран (давно в списке); и ещё 1 задача. 1 задача просрочено; 5 задач лежит дольше 10 дней. | tasks | 0.01 |
| 33 | field:proactive:delivery-reaches-telegram | напомни мне через две минуты MVNPROBE проверка доставки | хорошо, напомню сегодня в 01:13. | 0.33 |