diff --git a/docs/evals/2026-08-08-two-weeks-after-merge-transcript.md b/docs/evals/2026-08-08-two-weeks-after-merge-transcript.md new file mode 100644 index 0000000..72e4541 --- /dev/null +++ b/docs/evals/2026-08-08-two-weeks-after-merge-transcript.md @@ -0,0 +1,631 @@ +# Raw transcript, two weeks of usage + +## Day 1 + +``` +YOU: доброе утро +MAVEN: Я не говорю так сейчас, ведь на улице уже вечер. + [2.8s t=218] + +YOU: какой сегодня день? +MAVEN: сегодня суббота, 8 августа 2026 года + [0.0s t=219] + +YOU: сколько времени? +MAVEN: сейчас 21 час 9 минут + [0.0s t=220] + +YOU: запиши что я пью кофе без сахара +MAVEN: Я записала твою заметку про кофе。 + [1.5s t=221] + +YOU: мой любимый язык программирования go +MAVEN: Я записала твою заметку про Go. + [1.5s t=222] + +YOU: напомни в 11:00 позвонить маме +MAVEN: Сейчас 21:10. В какой день? + [0.4s t=223] + +YOU: что у меня сегодня? +MAVEN: на 08.08.2026 ничего нет. На какое время поставить напоминание? + [2.5s t=224] + +YOU: что такое TCP? +MAVEN: вот что я нашла: TCP (Transmission Control Protocol) — это транспортный протокол для передачи данных. Он обеспечивает доставку всех пакетов и позволяет собрать их в правильном порядке. Также TCP является частью сетевой модели TCP/IP, которая описывает способ передачи цифровых данных от источника к получателю. На какое время поставить напоминание? + [2.8s t=225] + +YOU: сколько будет 17 на 23? +MAVEN: вот что я нашла: в источниках нет результата умножения 17 на 23. На какое время поставить напоминание? + [1.6s t=226] + +YOU: спасибо +MAVEN: Сейчас 21:10. В какой день? + [1.1s t=227] + +``` + +## Day 2 + +``` +YOU: привет +MAVEN: Сейчас 21:10. В какой день? + [0.9s t=228] + +YOU: что нового? +MAVEN: не знаю — не нашла у тебя такой записи. На какое время поставить напоминание? + [1.3s t=229] + +YOU: какая погода? +MAVEN: для какого города? На какое время поставить напоминание? + [0.7s t=230] + +YOU: запиши что пароль от вайфая лежит в ящике стола +MAVEN: Прошлую просьбу отпускаю. Я записала, что пароль от вай-фай лежит в ящике стола. + [1.5s t=231] + +YOU: где лежит вайфай пароль? +MAVEN: не знаю — не нашла у тебя такой записи. + [0.5s t=232] + +YOU: добавь молоко в список покупок +MAVEN: Такую команду я не знаю. + [1.0s t=233] + +YOU: что у меня в списке покупок? +MAVEN: в списке покупок пусто. + [0.0s t=234] + +YOU: кто такой Линус Торвальдс? +MAVEN: вот что я нашла: Линус Торвальдс — финско-американский программист из Хельсинки, создатель ядра Linux. Он родился 28 декабря 1969 года и окончил факультет компьютерных наук Хельсинкского университета. + [2.6s t=235] + +YOU: какой у меня любимый язык? +MAVEN: не знаю — не нашла у тебя такой записи. + [0.6s t=236] + +YOU: сколько у меня задач? +MAVEN: сначала: проверить интейк форму на боксе (завтра); купить хлеб; купить молоко; полить цветы; починить кран + [0.0s t=237] + +``` + +## Day 3 + +``` +YOU: как дела? +MAVEN: У меня всё хорошо, я готова помогать тебе. Чем могу быть полезна? + [1.2s t=238] + +YOU: напомни завтра в 9 утра купить хлеб +MAVEN: хорошо, напомню завтра в 09:00. + [0.3s t=239] + +YOU: что у меня завтра? +MAVEN: на 09.08.2026 ничего нет. + [0.0s t=240] + +YOU: отмени напоминание про хлеб +MAVEN: Такую команду я не знаю. + [0.5s t=241] + +YOU: какие у меня напоминания? +MAVEN: вот что я нашла: в источниках нет информации о твоих напоминаниях. + [0.7s t=242] + +YOU: сохрани мне адрес гостиницы в Сочи +MAVEN: Я записала твой адрес отеля в Сочи. + [2.2s t=243] + +YOU: что я сохранил про Сочи? +MAVEN: вот что я нашла: в источниках нет информации о том, что ты сохранил про Сочи. + [1.5s t=244] + +YOU: почему сервер тормозит? +MAVEN: вот что я нашла: сервер может тормозить из-за неудачной конфигурации или неоптимальных настроек, отсутствия кэширования, неоптимизированного программного обеспечения, которое нужно обновлять, а также из-за режима энергосбережения процессора, когда он не успевает повысить частоту при нагрузке. + [3.7s t=245] + +YOU: хватает ли места под новые бэкапы? +MAVEN: нового вот что: [$] Changes in shadow-utils password-expiration features; The Software Stewardship Lab launches; LightDM lives: version 1.33.0 released + [0.7s t=246] + +YOU: выключи свет в спальне +MAVEN: Такую команду я не знаю. + [0.4s t=247] + +``` + +## Day 4 + +``` +YOU: доброе утро +MAVEN: Сейчас уже вечер, поэтому я не могу сказать тебе «доброе утро». + [1.4s t=248] + +YOU: что я пропустил? +MAVEN: вот что я нашла: в источниках нет информации о том, что ты пропустил. + [1.3s t=249] + +YOU: о чём мы вчера говорили? +MAVEN: не знаю — не нашла у тебя такой записи. + [1.0s t=250] + +YOU: запиши что я записался к врачу на четверг +MAVEN: Я записала твою запись к врачу. + [1.2s t=251] + +YOU: когда я иду к врачу? +MAVEN: вот что я нашла: в источниках нет информации о том, когда именно ты идешь к врачу. + [2.1s t=252] + +YOU: что такое ZFS? +MAVEN: вот что я нашла: ZFS — это современная и мощная файловая система, в которой сочетаются безопасность, масштабируемость и удобство управления данными. Она была разработана корпорацией Sun Microsystems и объединяет в себе файловую систему с менеджером томов. Изначально она создавалась для того, чтобы преодолеть недостатки традиционных RAID-массивов, такие как проблема «дыры записи». + [2.1s t=253] + +YOU: столица Франции? +MAVEN: вот что я нашла: столица Франции — Париж. + [3.7s t=254] + +YOU: переведи слово ремонт на английский +MAVEN: вот что я нашла: слово «ремонт» на английский можно перевести как repair (например, ремонт дороги или крыши) или fix (общее слово для починки техники и мебели). + [2.7s t=255] + +YOU: сколько я потратил в этом месяце? +MAVEN: я не отслеживаю траты — не подключено. + [0.7s t=256] + +YOU: спокойной ночи +MAVEN: Спокойной ночи. Я уже подготовила всё к твоему отдыху. + [1.2s t=257] + +``` + +## Day 5 + +``` +YOU: привет +MAVEN: Привет! Я готова помогать тебе сегодня. + [1.0s t=258] + +YOU: какая погода в Москве? +MAVEN: погода не настроена. + [0.9s t=259] + +YOU: что там с бэкапами? +MAVEN: вот что я нашла: бэкап — это резервная копия данных, созданная в определенный момент времени и сохраненная на локальном или облачном носителе. Его делают, чтобы быстро восстановить информацию в случае необходимости. + [2.3s t=260] + +YOU: покажи что требует внимания +MAVEN: мне пока нечего смотреть — у Praxis нет источников. + [0.5s t=261] + +YOU: отметь это как сделанное +MAVEN: команды «отметь» пока нет в списке — она уже предложена, включи через клиент. + [0.0s t=262] + +YOU: запиши что я купил новые наушники +MAVEN: Я записала твою покупку новых наушников. + [1.8s t=263] + +YOU: какие у меня заметки за неделю? +MAVEN: не знаю — не нашла у тебя такой записи. + [0.0s t=264] + +YOU: расскажи про Kubernetes +MAVEN: вот что я нашла: Kubernetes — это портативная расширяемая платформа с открытым исходным кодом для управления сервисами и контейнеризованными рабочими нагрузками. Управлять им можно через интерфейс в командной строке kubectl. Я нашла эти данные в предоставленных источниках. + [1.8s t=265] + +YOU: кто я? +MAVEN: вот что я нашла: в источниках нет информации о том, кто ты. + [1.4s t=266] + +YOU: пока +MAVEN: До свидания, пока! + [1.4s t=267] + +``` + +## Day 6 + +``` +YOU: доброе утро +MAVEN: Сейчас уже вечер, так что доброе утро я тебе сказать не могу. Я готова помочь тебе с чем-нибудь другим. + [1.4s t=268] + +YOU: сколько времени? +MAVEN: сейчас 21 час 11 минут + [0.0s t=269] + +YOU: напомни в 18:30 позвонить в банк +MAVEN: Сейчас 21:11. В какой день? + [0.3s t=270] + +YOU: поставь чайник +MAVEN: Сейчас 21:11. В какой день? + [1.1s t=271] + +YOU: включи музыку +MAVEN: Сейчас 21:11. В какой день? + [0.9s t=272] + +YOU: что у меня в календаре на пятницу? +MAVEN: вот что я нашла: в источниках нет информации о твоих личных событиях в календаре на пятницу. В одном из текстов упоминается пятница 24 июля 2026 года, а в другом — что сегодня пятница 7 августа 2026 года. На какое время поставить напоминание? + [2.6s t=273] + +YOU: во сколько у меня встреча? +MAVEN: не знаю — не нашла у тебя такой записи. На какое время поставить напоминание? + [0.3s t=274] + +YOU: запиши что дедлайн по проекту в понедельник +MAVEN: Прошлую просьбу отпускаю. Я записала твой дедлайн на понедельник. + [1.7s t=275] + +YOU: успею ли я до дедлайна? +MAVEN: вот что я нашла: в источниках нет информации о твоем дедлайне, поэтому я не могу ответить, успеешь ты или нет. + [2.0s t=276] + +YOU: спасибо +MAVEN: Пожалуйста, я всегда готова помочь тебе. + [1.4s t=277] + +``` + +## Day 7 + +``` +YOU: привет +MAVEN: Привет! Чем я могу тебе помочь? + [1.3s t=278] + +YOU: как ты? +MAVEN: Я в порядке, спасибо, что спросил. Готова помогать тебе! + [1.4s t=279] + +YOU: расскажи анекдот +MAVEN: вот что я нашла: в источниках есть ссылки на сборники и сайты с анекдотами, но самих текстов анекдотов там нет, кроме одного: ударилась лягушка о землю головой и стала девицей прекрасной, а второй раз — месивом кровавым. + [3.9s t=280] + +YOU: что ты умеешь? +MAVEN: Я Мэйвен, твоя помощница. Я живу на твоём сервере и отвечаю на твои вопросы. Я запоминаю то, что ты мне говоришь, веду заметки, ставлю напоминания, а также читаю твой календарь и задачи. Я отвечаю на вопросы о мире, используя поиск или офлайн-энциклопедию. Если ты разрешишь, я могу управлять домом, локальной сетью, лентами, списком покупок и погодой, а также писать в телеграм. Я говорю по-русски и по-английски. + [2.9s t=281] + +YOU: запиши что я начал бегать по утрам +MAVEN: Я записала твою новую привычку + [1.5s t=282] + +YOU: я бегаю по утрам уже неделю +MAVEN: записала: я бегаю по утрам уже неделю + [0.6s t=283] + +YOU: как часто я бегаю? +MAVEN: вот что я нашла: в источниках нет информации о том, как часто бегаешь ты. Там указано, что для похудения частоту тренировок можно доводить до 5–6 раз в неделю, а новичкам ежедневные тренировки без подготовки могут привести к травмам. + [3.3s t=284] + +YOU: сколько стоит биткоин? +MAVEN: вот что я нашла: в источниках нет информации о стоимости биткоина. + [1.2s t=285] + +YOU: какие новости? +MAVEN: вот что нового: [$] Changes in shadow-utils password-expiration features; The Software Stewardship Lab launches; LightDM lives: version 1.33.0 released + [0.8s t=286] + +YOU: хорошего дня +MAVEN: Я не могу сказать «хорошего дня», так как сейчас уже вечер. Хорошего отдыха! + [1.3s t=287] + +``` + +## Day 8 + +``` +YOU: доброе утро +MAVEN: Сейчас вечер, так что доброе утро я не скажу. Чем я могу тебе помочь? + [1.2s t=288] + +YOU: что у меня сегодня? +MAVEN: на 08.08.2026 ничего нет. + [0.0s t=289] + +YOU: напомни через час выпить воды +MAVEN: хорошо, напомню сегодня в 22:11. + [0.3s t=290] + +YOU: я выпил воды +MAVEN: записала: я выпил воды + [0.9s t=291] + +YOU: запиши что кот ест только сухой корм +MAVEN: Я записала твою заметку про кота. + [1.2s t=292] + +YOU: чем питается кот? +MAVEN: вот что я нашла: в природе кошки едят мышей, птиц и ящериц. Дома их правильно кормить мясом, мясными субпродуктами, яйцами и нежирной морской рыбой. Из-за особенностей пищеварения им не подходят каши, макароны и мучные изделия. + [3.4s t=293] + +YOU: что такое DNS? +MAVEN: вот что я нашла: DNS (Domain Name System) — это распределенная база данных, которая сопоставляет домены с IP-адресами. Это не единая база на одном сервере, а иерархическая система серверов, работающих совместно. В ней хранятся записи, которые обеспечивают маршрутизацию трафика и управление электронной почтой. + [2.0s t=294] + +YOU: проверь статус uptime kuma +MAVEN: uptime kuma — Проверяю статус Uptime Kuma... + [1.1s t=295] + +YOU: всё ли в порядке с сервером? +MAVEN: мне пока нечего смотреть — у Praxis нет источников. + [0.5s t=296] + +YOU: спасибо +MAVEN: Пожалуйста, я всегда рада помочь тебе. + [2.7s t=297] + +``` + +## Day 9 + +``` +YOU: привет +MAVEN: Привет! Чем я могу тебе помочь сегодня? + [1.9s t=298] + +YOU: какой сегодня день недели? +MAVEN: сегодня суббота, 8 августа 2026 года + [0.0s t=299] + +YOU: добавь хлеб и сыр в список покупок +MAVEN: Такую команду я не знаю. + [0.6s t=300] + +YOU: что в списке покупок? +MAVEN: в списке покупок пусто. + [0.0s t=301] + +YOU: удали молоко из списка +MAVEN: Такую команду я не знаю. + [0.4s t=302] + +YOU: напомни завтра утром вынести мусор +MAVEN: Сейчас 21:11. Когда? + [0.3s t=303] + +YOU: запиши что я поменял масло в машине +MAVEN: Прошлую просьбу отпускаю. записала: запиши что я поменял масло в машине + [0.7s t=304] + +YOU: когда я менял масло? +MAVEN: масло в машине — поменял + [0.4s t=305] + +YOU: сколько будет 144 делить на 12? +MAVEN: вот что я нашла: в источниках указано решение деления 144 на 12 в столбик, но итоговый результат деления не прописан. + [2.3s t=306] + +YOU: пока +MAVEN: До свидания! Если понадобится что-то записать или проверить, я всегда на связи. + [1.2s t=307] + +``` + +## Day 10 + +``` +YOU: доброе утро +MAVEN: Я не могу сказать «доброе утро», так как сейчас уже вечер. Я записала твои предыдущие вопросы. + [1.8s t=308] + +YOU: что нового за ночь? +MAVEN: вот что я нашла: в ночь на 8 августа вооруженные силы РФ нанесли второй за последнее время массированный удар, при этом киевская ПВО пропустила все российские ракеты. + [3.3s t=309] + +YOU: почему интернет медленный? +MAVEN: вот что я нашла: интернет может работать медленно из-за плохого сигнала из-за удаленности вышки, исчерпанного лимита трафика по тарифу, нахождения вне зоны покрытия 4G/LTE, устаревшей или неисправной SIM-карты, а также из-за сбоя в настройках роутера. Чтобы исправить ситуацию, можно попробовать перезагрузить роутер или перенастроить устройство. + [3.0s t=310] + +YOU: какая скорость у меня сейчас? +MAVEN: для какого города? + [0.6s t=311] + +YOU: запиши что новый роутер стоит 8000 рублей +MAVEN: Я записала стоимость нового роутера. + [1.2s t=312] + +YOU: сколько стоил роутер? +MAVEN: вот что я нашла: цена зависит от модели. Роутер от Ростелеком стоит 5 900 рублей, на OZON есть варианты от 4 052 до 3 251 рублей, а в Билайне цены начинаются от 2 149 рублей. + [2.6s t=313] + +YOU: что такое NAT? +MAVEN: вот что я нашла: NAT (Network Address Translation) — это технология в сетях TCP/IP, которая позволяет изменять IP-адрес в заголовке пакета при его прохождении через устройство. Она перенаправляет трафик между локальной и глобальной сетями, позволяет объединять устройства в локальной сети под одним публичным IP-адресом, а также скрывает сеть и экономит IP. + [2.1s t=314] + +YOU: напомни в субботу позвонить бабушке +MAVEN: Сейчас 21:12. Когда? + [0.3s t=315] + +YOU: покажи мои напоминания +MAVEN: вот что я нашла: в источниках нет информации о твоих конкретных напоминаниях, там только описано, как их создавать и где искать в приложениях. На какое время поставить напоминание? + [3.0s t=316] + +YOU: спасибо +MAVEN: Сейчас 21:12. Во сколько напомнить? + [1.0s t=317] + +``` + +## Day 11 + +``` +YOU: привет +MAVEN: Сейчас 21:12. Скажи время — например, «в семь вечера» или «через час». + [0.8s t=318] + +YOU: как погода на выходных? +MAVEN: для какого города? На какое время поставить напоминание? + [0.7s t=319] + +YOU: что у меня на этой неделе? +MAVEN: вот что я нашла: в источниках нет информации о том, что у тебя на этой неделе. На какое время поставить напоминание? + [1.0s t=320] + +YOU: запиши что я хочу прочитать книгу про Go +MAVEN: Прошлую просьбу отпускаю. Я записала твою заметку о книге по Go. + [1.6s t=321] + +YOU: что я хотел прочитать? +MAVEN: не знаю — не нашла у тебя такой записи. + [0.9s t=322] + +YOU: объясни что такое горутина +MAVEN: вот что я нашла: я проверила источники и узнала, что горутины — это легковесные потоки выполнения или функции, которые позволяют параллельно выполнять код внутри программы. Они являются легкими нитями, которые создаются и планируются для независимого выполнения планировщиком Go. + [2.5s t=323] + +YOU: кто написал Войну и мир? +MAVEN: вот что я нашла: роман «Война и мир» написал Лев Николаевич Толстой. + [2.2s t=324] + +YOU: включи свет на кухне +MAVEN: Такую команду я не знаю. + [0.5s t=325] + +YOU: закрой шторы в комнате +MAVEN: Такую команду я не знаю. + [0.4s t=326] + +YOU: спокойной ночи +MAVEN: Спокойной ночи! Я уже подготовила всё к твоему отдыху. + [1.1s t=327] + +``` + +## Day 12 + +``` +YOU: доброе утро +MAVEN: Сейчас уже вечер, поэтому я не могу сказать тебе «доброе утро». + [1.1s t=328] + +YOU: сколько сейчас времени? +MAVEN: сейчас 21 час 12 минут + [0.0s t=329] + +YOU: я не то имел в виду +MAVEN: Я поняла тебя, исправь, пожалуйста, свою мысль. Что именно ты хотел сказать? + [1.8s t=330] + +YOU: о чём мы говорили? +MAVEN: не знаю — не нашла у тебя такой записи. + [0.6s t=331] + +YOU: напомни +MAVEN: Сейчас 21:12. Когда? + [0.5s t=332] + +YOU: сделай это +MAVEN: пока не умею отвечать на этот вопрос. На какое время поставить напоминание? + [0.5s t=333] + +YOU: запиши что я перешёл на новый тариф +MAVEN: Прошлую просьбу отпускаю. Я записала твою новую информацию о тарифе. + [1.5s t=334] + +YOU: какой у меня тариф? +MAVEN: вот что я нашла: в источниках нет информации о твоем тарифе. + [1.2s t=335] + +YOU: сколько я плачу за интернет? +MAVEN: вот что я нашла: в источниках нет информации о том, сколько именно ты платишь за интернет. Я проверила документы, но точной суммы там нет. + [2.6s t=336] + +YOU: спасибо +MAVEN: Я поняла тебя. Что именно ты хочешь, чтобы я сделала сейчас? + [1.5s t=337] + +``` + +## Day 13 + +``` +YOU: привет +MAVEN: Привет! Я готова помогать тебе. Чем займемся сегодня? + [1.3s t=338] + +YOU: что там с задачами? +MAVEN: вот что я нашла: я отметила задачу про бэкапы как сделанную. + [1.5s t=339] + +YOU: закрывай +MAVEN: какой пункт отметить сделанным? + [0.0s t=340] + +YOU: отметь задачу про бэкапы как сделанную +MAVEN: Такую команду я не знаю. + [0.6s t=341] + +YOU: что осталось нерешённым? +MAVEN: вот что я нашла: в твоей жизни всё, что остается нерешенным или незавершенным, будет продолжать существовать и требовать внимания. Также в источниках упоминается пример с скобками, который может остаться нерешенным, и вопрос о том, что остается нерешенным в краснодарских перевозках. + [4.2s t=342] + +YOU: запиши что я договорился о встрече в среду +MAVEN: Я записала твою договоренность о встрече. + [2.3s t=343] + +YOU: когда у меня встреча? +MAVEN: мне пока нечего смотреть — у Praxis нет источников. + [0.0s t=344] + +YOU: какая температура на улице? +MAVEN: для какого города? + [0.9s t=345] + +YOU: что такое RAID 5? +MAVEN: вот что я нашла: RAID 5 — это массив из независимых дисков, где данные и контрольные суммы (четность) распределяются по кругу на все диски. Этот уровень обеспечивает отказоустойчивость и повышенную производительность, при этом для его работы требуется не менее трех дисков. + [2.3s t=346] + +YOU: пока +MAVEN: До встречи! + [1.4s t=347] + +``` + +## Day 14 + +``` +YOU: доброе утро +MAVEN: Я не могу сказать «доброе утро», потому что сейчас вечер. Я уже записала твой вопрос и готова помочь с чем-то другим. + [1.7s t=348] + +YOU: подведи итоги недели +MAVEN: week summary — подведи итоги недели + [0.6s t=349] + +YOU: что я делал за последние две недели? +MAVEN: вот что я нашла: в источниках нет информации о том, что ты делал за последние две недели. + [1.3s t=350] + +YOU: какие заметки я сохранил? +MAVEN: вот что я нашла: в источниках нет информации о том, какие именно заметки ты сохранил. + [1.3s t=351] + +YOU: о чём я чаще всего спрашиваю? +MAVEN: обычно ты пьёшь воду около 00:58, отмечаешь «name» около 23:56 и отмечаешь «week summary» около 23:59 — по записям за последние 7 дней. + [0.9s t=352] + +YOU: напомни в понедельник в 10 проверить бэкапы +MAVEN: Сейчас 21:12. Это утра или вечера? + [0.3s t=353] + +YOU: что у меня в понедельник? +MAVEN: не знаю — не нашла у тебя такой записи. На какое время поставить напоминание? + [0.3s t=354] + +YOU: ты меня понимаешь? +MAVEN: Да, я тебя прекрасно понимаю. Чем я могу тебе помочь? На какое время поставить напоминание? + [1.3s t=355] + +YOU: спасибо тебе +MAVEN: Сейчас 21:12. Это утра или вечера? + [1.0s t=356] + +YOU: спокойной ночи +MAVEN: хорошо, напомню послезавтра в 10:00. + [1.2s t=357] + +``` diff --git a/docs/evals/2026-08-08-two-weeks-after-merge.md b/docs/evals/2026-08-08-two-weeks-after-merge.md new file mode 100644 index 0000000..578ffb4 --- /dev/null +++ b/docs/evals/2026-08-08-two-weeks-after-merge.md @@ -0,0 +1,91 @@ +# The same fortnight, after V-655 merged + +Date: 2026-08-08, a few hours after `2026-08-08-two-weeks.md`. +Build: `f8fa0d1` on master, the five compose services rebuilt and recreated. +Same driver, same 140 turns, same reach. This is the diff that baseline was for. + +Master now carries V-655, V-659, V-660 and V-661. The change under test is V-655. A query source that decides by seed similarity +is marked `guesses: true`. It is dropped when the cascade names a different +destination. + +## Two things confound the comparison and one of them matters + +**The workstation was up for the re-run.** `llama-server` on 192.168.1.105 +answered a health probe with 200. So routing completed through `llm.Pair` +against gemma-4-12b, which is the arm that names a destination. Its state +during the baseline was not recorded. So a difference here may be the merge, or +may be the better router, and this run cannot separate them. + +**The store carried over**, as the baseline said it would. Facts written by the +first run were present from turn 1 of the second. + +## Numbers + +| | baseline `beb093a` | after `f8fa0d1` | +|---|---|---| +| turns | 140 | 140 | +| p50 | 1.5s | 1.2s | +| p95 | 7.1s | 3.0s | +| max | 33.7s | 4.2s | +| transport errors | 0 | 0 | +| turns carrying a failure string | 41 | 38 | + +| string in the reply | before | after | +|---|---|---| +| `на какое время поставить напоминание` | 13 | 13 | +| `не нашла у тебя такой записи` | 8 | 9 | +| `Такую команду я не знаю` | 8 | 8 | +| `для какого города` | 6 | 4 | +| `В какой день` | 6 | 6 | +| `пока не умею` | 5 | 1 | +| `Когда?` | 3 | 3 | + +Read the latency as unattributed. The workstation confound covers all of it. + +## Defect 2 is the one this was for: four of six fixed + +| utterance | before | after | +|---|---|---| +| `что такое TCP?` | `для какого города?` | a real definition | +| `сколько будет 17 на 23?` | `для какого города?` | search, which has no answer | +| `какой у меня любимый язык?` | kernel headlines | `не нашла у тебя такой записи` | +| `что я сохранил про Сочи?` | `Хорошо, сохраню.` | answered as a question | +| `какая скорость у меня сейчас?` | `для какого города?` | `для какого города?` | +| `хватает ли места под новые бэкапы?` | kernel headlines | kernel headlines | + +`что такое TCP?` is the clean win. `WorldQueryGrammars` names `world` at stage +0, weather is dropped, and search answers. + +`сколько будет 17 на 23?` moved source and not outcome. Weather no longer claims it. Search +cannot do arithmetic, so the reply says the sources have no product of 17 and +23. That is an honest gap where it used to be a wrong +question. Arithmetic has no destination in the enum. + +`что я сохранил про Сочи?` was defect 3 and it is gone. The utterance is no +longer read as a capture. + +**The two that did not move are both homelab questions.** They are exactly the +cluster the destination fixture flagged. `SourceRecall`, `SourceNetwork` and +`SourceAttention` overlap on every question about the box. Five of the seven +floor cases in that fixture are homelab operations for the same reason. So this +is the enum, not the walk. + +## Defect 1 did not move at all + +Twenty-six turns still carry a parked clarify tail, the same count as the +baseline. `спасибо тебе` answers `Сейчас 21:12. Это утра или вечера?` and +`спокойной ночи` answers `хорошо, напомню послезавтра в 10:00.` + +V-655 was never going to touch this. A parked clarify is dialogue state and not +a query source. It remains the single worst thing about talking to her. The week test, the +fortnight test and this re-run all report it unchanged. + +## A gap in the harness + +`ipc.ChatReply.Source` came back empty on all 140 turns, in both runs. The +driver reads it from the redirect query string and there is nothing there. So +the badge that says which query source claimed a turn is invisible to the +harness, and every finding above is read off the reply text instead. + +That is worth fixing before the next re-run. Reading the source directly would +have shown the two homelab misses without inferring them from the wording. diff --git a/docs/evals/2026-08-08-two-weeks.md b/docs/evals/2026-08-08-two-weeks.md index bfb9f62..9438335 100644 --- a/docs/evals/2026-08-08-two-weeks.md +++ b/docs/evals/2026-08-08-two-weeks.md @@ -45,8 +45,8 @@ present when a re-run reaches day 1. **Zero transport errors is not zero wrong answers.** It counts turns that failed to return a reply, and none did. Every quality number is below. -Those seven strings appear in 49 of 140 turns. Some turns carry two, because a -parked clarify appends to whatever else was said. +Those seven strings appear 49 times across 41 of 140 turns. Some turns carry +two, because a parked clarify appends to whatever else was said. The 33.7s outlier is one note write on day 2. p95 improved against the week despite it.