Record a fortnight of usage as a re-runnable baseline (V-661)
The 2026-08-07 week of usage was typed by hand and cannot be replayed, so
it measured a build and not a change. scripts/usage-run.py drives the same
reach from a turns file, which makes the next run a diff.
Baseline is master at beb093a: 140 turns, p50 1.6s, zero errors. Three
defects to move. A parked reminder clarify contaminates 19 later turns and
survives a day boundary. Query sources that guess claim six turns they
cannot answer, which is the class V-655 removes. And one question was read
as a capture.
Also records the slot head: gemma distils 2178 spans, three heads score
intent 92.8%, destination 82.8%, slot span F1 72.4% over three seeds.
This commit is contained in:
Vendored
+167
@@ -0,0 +1,167 @@
|
||||
# Day 1
|
||||
доброе утро
|
||||
какой сегодня день?
|
||||
сколько времени?
|
||||
запиши что я пью кофе без сахара
|
||||
мой любимый язык программирования go
|
||||
напомни в 11:00 позвонить маме
|
||||
что у меня сегодня?
|
||||
что такое TCP?
|
||||
сколько будет 17 на 23?
|
||||
спасибо
|
||||
|
||||
# Day 2
|
||||
привет
|
||||
что нового?
|
||||
какая погода?
|
||||
запиши что пароль от вайфая лежит в ящике стола
|
||||
где лежит вайфай пароль?
|
||||
добавь молоко в список покупок
|
||||
что у меня в списке покупок?
|
||||
кто такой Линус Торвальдс?
|
||||
какой у меня любимый язык?
|
||||
сколько у меня задач?
|
||||
|
||||
# Day 3
|
||||
как дела?
|
||||
напомни завтра в 9 утра купить хлеб
|
||||
что у меня завтра?
|
||||
отмени напоминание про хлеб
|
||||
какие у меня напоминания?
|
||||
сохрани мне адрес гостиницы в Сочи
|
||||
что я сохранил про Сочи?
|
||||
почему сервер тормозит?
|
||||
хватает ли места под новые бэкапы?
|
||||
выключи свет в спальне
|
||||
|
||||
# Day 4
|
||||
доброе утро
|
||||
что я пропустил?
|
||||
о чём мы вчера говорили?
|
||||
запиши что я записался к врачу на четверг
|
||||
когда я иду к врачу?
|
||||
что такое ZFS?
|
||||
столица Франции?
|
||||
переведи слово ремонт на английский
|
||||
сколько я потратил в этом месяце?
|
||||
спокойной ночи
|
||||
|
||||
# Day 5
|
||||
привет
|
||||
какая погода в Москве?
|
||||
что там с бэкапами?
|
||||
покажи что требует внимания
|
||||
отметь это как сделанное
|
||||
запиши что я купил новые наушники
|
||||
какие у меня заметки за неделю?
|
||||
расскажи про Kubernetes
|
||||
кто я?
|
||||
пока
|
||||
|
||||
# Day 6
|
||||
доброе утро
|
||||
сколько времени?
|
||||
напомни в 18:30 позвонить в банк
|
||||
поставь чайник
|
||||
включи музыку
|
||||
что у меня в календаре на пятницу?
|
||||
во сколько у меня встреча?
|
||||
запиши что дедлайн по проекту в понедельник
|
||||
успею ли я до дедлайна?
|
||||
спасибо
|
||||
|
||||
# Day 7
|
||||
привет
|
||||
как ты?
|
||||
расскажи анекдот
|
||||
что ты умеешь?
|
||||
запиши что я начал бегать по утрам
|
||||
я бегаю по утрам уже неделю
|
||||
как часто я бегаю?
|
||||
сколько стоит биткоин?
|
||||
какие новости?
|
||||
хорошего дня
|
||||
|
||||
# Day 8
|
||||
доброе утро
|
||||
что у меня сегодня?
|
||||
напомни через час выпить воды
|
||||
я выпил воды
|
||||
запиши что кот ест только сухой корм
|
||||
чем питается кот?
|
||||
что такое DNS?
|
||||
проверь статус uptime kuma
|
||||
всё ли в порядке с сервером?
|
||||
спасибо
|
||||
|
||||
# Day 9
|
||||
привет
|
||||
какой сегодня день недели?
|
||||
добавь хлеб и сыр в список покупок
|
||||
что в списке покупок?
|
||||
удали молоко из списка
|
||||
напомни завтра утром вынести мусор
|
||||
запиши что я поменял масло в машине
|
||||
когда я менял масло?
|
||||
сколько будет 144 делить на 12?
|
||||
пока
|
||||
|
||||
# Day 10
|
||||
доброе утро
|
||||
что нового за ночь?
|
||||
почему интернет медленный?
|
||||
какая скорость у меня сейчас?
|
||||
запиши что новый роутер стоит 8000 рублей
|
||||
сколько стоил роутер?
|
||||
что такое NAT?
|
||||
напомни в субботу позвонить бабушке
|
||||
покажи мои напоминания
|
||||
спасибо
|
||||
|
||||
# Day 11
|
||||
привет
|
||||
как погода на выходных?
|
||||
что у меня на этой неделе?
|
||||
запиши что я хочу прочитать книгу про Go
|
||||
что я хотел прочитать?
|
||||
объясни что такое горутина
|
||||
кто написал Войну и мир?
|
||||
включи свет на кухне
|
||||
закрой шторы в комнате
|
||||
спокойной ночи
|
||||
|
||||
# Day 12
|
||||
доброе утро
|
||||
сколько сейчас времени?
|
||||
я не то имел в виду
|
||||
о чём мы говорили?
|
||||
напомни
|
||||
сделай это
|
||||
запиши что я перешёл на новый тариф
|
||||
какой у меня тариф?
|
||||
сколько я плачу за интернет?
|
||||
спасибо
|
||||
|
||||
# Day 13
|
||||
привет
|
||||
что там с задачами?
|
||||
закрывай
|
||||
отметь задачу про бэкапы как сделанную
|
||||
что осталось нерешённым?
|
||||
запиши что я договорился о встрече в среду
|
||||
когда у меня встреча?
|
||||
какая температура на улице?
|
||||
что такое RAID 5?
|
||||
пока
|
||||
|
||||
# Day 14
|
||||
доброе утро
|
||||
подведи итоги недели
|
||||
что я делал за последние две недели?
|
||||
какие заметки я сохранил?
|
||||
о чём я чаще всего спрашиваю?
|
||||
напомни в понедельник в 10 проверить бэкапы
|
||||
что у меня в понедельник?
|
||||
ты меня понимаешь?
|
||||
спасибо тебе
|
||||
спокойной ночи
|
||||
@@ -0,0 +1,106 @@
|
||||
"""Drive a fortnight of conversation through POST /api/chat and record it.
|
||||
|
||||
The 2026-08-07 week of usage was typed by hand. This is the same reach and the
|
||||
same turn source, tap:text, so it exercises the path the mic and telegram take.
|
||||
|
||||
The endpoint is a form POST that redirects to /chat with the reply in the query
|
||||
string. Reading the Location header is the whole protocol, so nothing here
|
||||
parses HTML.
|
||||
|
||||
This exists to be re-run. The baseline is 2026-08-08 against master at beb093a,
|
||||
in docs/evals/2026-08-08-two-weeks.md. Re-running the same turns after a routing
|
||||
change is the comparison, so edit the turns file by adding, never by rewriting.
|
||||
|
||||
python3 scripts/usage-run.py scripts/testdata/usage-turns.txt out-prefix
|
||||
|
||||
Input is one utterance per line. A line starting with "# " opens a day. A blank
|
||||
line is ignored. Output is a markdown transcript and a jsonl log beside it.
|
||||
"""
|
||||
|
||||
import json
|
||||
import sys
|
||||
import time
|
||||
import urllib.error
|
||||
import urllib.parse
|
||||
import urllib.request
|
||||
|
||||
URL = "http://127.0.0.1:9201/api/chat"
|
||||
TIMEOUT = 90
|
||||
|
||||
|
||||
class NoRedirect(urllib.request.HTTPRedirectHandler):
|
||||
"""A 303 carries the reply. Following it would throw the reply away."""
|
||||
|
||||
def redirect_request(self, *a, **kw):
|
||||
return None
|
||||
|
||||
|
||||
# ProxyHandler({}) is not optional. This box exports http_proxy, urllib honours
|
||||
# it, and the proxy answers 503 for a loopback address.
|
||||
OPENER = urllib.request.build_opener(NoRedirect, urllib.request.ProxyHandler({}))
|
||||
|
||||
|
||||
def turn(text):
|
||||
body = urllib.parse.urlencode({"text": text}).encode()
|
||||
t0 = time.perf_counter()
|
||||
try:
|
||||
OPENER.open(urllib.request.Request(URL, data=body), timeout=TIMEOUT)
|
||||
return {"reply": "", "error": "no redirect", "secs": time.perf_counter() - t0}
|
||||
except urllib.error.HTTPError as e:
|
||||
dt = time.perf_counter() - t0
|
||||
if e.code != 303:
|
||||
return {"reply": "", "error": f"HTTP {e.code}", "secs": dt}
|
||||
loc = e.headers.get("Location", "")
|
||||
q = urllib.parse.parse_qs(urllib.parse.urlparse(loc).query)
|
||||
return {
|
||||
"reply": q.get("r", [""])[0],
|
||||
"source": q.get("src", q.get("source", [""]))[0],
|
||||
"trace": q.get("t", [""])[0],
|
||||
"secs": dt,
|
||||
}
|
||||
except Exception as e: # a dead box must not lose the turns already done
|
||||
return {"reply": "", "error": str(e), "secs": time.perf_counter() - t0}
|
||||
|
||||
|
||||
def main():
|
||||
lines = [l.rstrip("\n") for l in open(sys.argv[1])]
|
||||
prefix = sys.argv[2]
|
||||
md = open(prefix + "-transcript.md", "w")
|
||||
log = open(prefix + ".jsonl", "w")
|
||||
|
||||
day = 0
|
||||
n = 0
|
||||
print(f"# Raw transcript, two weeks of usage\n", file=md)
|
||||
for line in lines:
|
||||
if not line.strip():
|
||||
continue
|
||||
if line.startswith("# "):
|
||||
if day:
|
||||
print("```\n", file=md)
|
||||
day += 1
|
||||
print(f"## {line[2:]}\n\n```", file=md)
|
||||
continue
|
||||
n += 1
|
||||
r = turn(line)
|
||||
r["day"] = day
|
||||
r["n"] = n
|
||||
r["utterance"] = line
|
||||
log.write(json.dumps(r, ensure_ascii=False) + "\n")
|
||||
log.flush()
|
||||
reply = r.get("error") or r["reply"]
|
||||
print(f"YOU: {line}", file=md)
|
||||
print(f"MAVEN: {reply}", file=md)
|
||||
tag = f"[{r['secs']:.1f}s"
|
||||
if r.get("source"):
|
||||
tag += f" src={r['source']}"
|
||||
print(f" {tag} t={r.get('trace', '')}]\n", file=md)
|
||||
md.flush()
|
||||
print(f"{n:3} d{day} {r['secs']:5.1f}s {line[:40]:40s} -> {reply[:60]}",
|
||||
flush=True)
|
||||
print("```", file=md)
|
||||
md.close()
|
||||
log.close()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
Reference in New Issue
Block a user