Maven/docs/evals/2026-09-07-expanded-corpus-linear-head-experiment.md

Semantic Router Linear Head Experiment — Report

1. Exact e5 representation used

• Model: model_quantized@384/tok2
• Checkpoint: models/embedder/multilingual-e5-small/model_quantized.onnx
• Tokenizer: models/embedder/multilingual-e5-small/tokenizer.json
• Dimension: 384
• Pooling: mean-pool + L2-normalize
• Normalization: L2
• Input template: query:

2. Development/residual row counts

• Total corpus: 3025
• Frozen holdout: 535
• Development pool: 2490
• Fast-path resolved: 82
• Router-residual: 2943

Route distribution (full corpus):

• action: 990
• conversation: 103
• knowledge: 880
• memory_write: 705
• system: 226
• uncertain: 121

3. Grouped fold composition

Folds: 5

• Fold 0: eval=476 train=2014 routes={'action': 144, 'conversation': 30, 'knowledge': 150, 'memory_write': 74, 'system': 58, 'uncertain': 20}
• Fold 1: eval=341 train=2149 routes={'action': 201, 'conversation': 30, 'knowledge': 44, 'memory_write': 39, 'system': 9, 'uncertain': 18}
• Fold 2: eval=707 train=1783 routes={'action': 297, 'conversation': 12, 'knowledge': 210, 'memory_write': 125, 'system': 45, 'uncertain': 18}
• Fold 3: eval=506 train=1984 routes={'action': 86, 'conversation': 12, 'knowledge': 160, 'memory_write': 125, 'system': 90, 'uncertain': 33}
• Fold 4: eval=460 train=2030 routes={'action': 68, 'conversation': 9, 'knowledge': 151, 'memory_write': 190, 'system': 24, 'uncertain': 18}

4. Selected regularization

Experiment A: All development examples

• Best C: 10.0
• Mean accuracy: 69.2% ± 10.2%
• Mean macro F1: 0.616 ± 0.093
• Total false actions (CV): 390

Experiment B: Router-residual only

• Best C: 10.0
• Mean accuracy: 68.5% ± 10.2%
• Mean macro F1: 0.608 ± 0.089
• Total false actions (CV): 388

Stability across folds

C=0.01 acc=30.1%±18.1% f1=0.107±0.074 folds_acc=['33.6%', '21.4%', '63.8%', '17.0%', '14.8%'] C=0.1 acc=55.0%±16.8% f1=0.276±0.077 folds_acc=['63.4%', '70.7%', '71.6%', '35.2%', '34.3%'] C=1.0 acc=65.2%±10.7% f1=0.522±0.075 folds_acc=['75.4%', '76.0%', '68.9%', '56.9%', '48.7%'] C=10.0 acc=69.2%±10.2% f1=0.616±0.093 folds_acc=['79.8%', '79.5%', '66.8%', '67.8%', '52.0%'] C=100.0 acc=67.4%±9.0% f1=0.595±0.079 folds_acc=['74.4%', '77.4%', '66.5%', '67.2%', '51.3%']

5. All-example CV metrics

• Accuracy: 68.5%
• Macro F1: 0.675
• False-action count: 390
• False-action rate: 15.7%
• Action precision: 0.629
• Action recall: 0.832
• Uncertain precision: 0.618
• Uncertain recall: 0.589

Per-class metrics: action P=0.629 R=0.832 F1=0.716 (n=796) conversation P=0.825 R=0.710 F1=0.763 (n=93) knowledge P=0.721 R=0.610 F1=0.661 (n=715) memory_write P=0.748 R=0.635 F1=0.687 (n=553) system P=0.698 R=0.562 F1=0.623 (n=226) uncertain P=0.618 R=0.589 F1=0.603 (n=107)

Confusion matrix (rows=expected, cols=predicted): action conversation knowledge memory_write system uncertain action 662 4 65 45 4 16 conversation 2 66 8 4 4 9 knowledge 195 0 436 46 34 4 memory_write 135 0 49 351 13 5 system 33 4 42 15 127 5 uncertain 25 6 5 8 0 63

6. Residual-only CV metrics

• Accuracy: 67.9%
• Macro F1: 0.663
• False-action count: 388
• False-action rate: 16.0%
• Action precision: 0.620
• Action recall: 0.826
• Uncertain precision: 0.604
• Uncertain recall: 0.570

Per-class metrics: action P=0.620 R=0.826 F1=0.708 (n=766) conversation P=0.807 R=0.720 F1=0.761 (n=93) knowledge P=0.713 R=0.606 F1=0.655 (n=715) memory_write P=0.754 R=0.649 F1=0.698 (n=553) system P=0.685 R=0.484 F1=0.567 (n=184) uncertain P=0.604 R=0.570 F1=0.587 (n=107)

Confusion matrix (rows=expected, cols=predicted): action conversation knowledge memory_write system uncertain action 633 4 69 43 0 17 conversation 2 67 8 6 1 9 knowledge 198 1 433 44 35 4 memory_write 133 0 50 359 5 6 system 29 5 42 15 89 4 uncertain 26 6 5 9 0 61

7. Legacy-vs-linear comparison

All examples

metric legacy linear e5 delta

accuracy 52.2% 68.5% 16.3% macro F1 — 0.675 — action precision — 0.629 — false-action rate 19.9% 15.7% -4.2% uncertain F1 0.000 0.603 0.603

Router-residual only

metric legacy linear e5 delta

accuracy 40.8% 67.9% 27.1% macro F1 — 0.663 — false-action rate — 16.0% —

8. Fold variance

All-example CV: Fold 0: acc=79.8% f1=0.758 false_action=27 Fold 1: acc=79.5% f1=0.594 false_action=40 Fold 2: acc=66.8% f1=0.582 false_action=92 Fold 3: acc=67.8% f1=0.667 false_action=102 Fold 4: acc=52.0% f1=0.478 false_action=129

Residual-only CV: Fold 0: acc=78.7% f1=0.747 false_action=28 Fold 1: acc=78.7% f1=0.590 false_action=38 Fold 2: acc=67.6% f1=0.582 false_action=92 Fold 3: acc=66.2% f1=0.648 false_action=104 Fold 4: acc=51.0% f1=0.474 false_action=126

9. False-action repair/new-error analysis

Note: Legacy per-example predictions were not available for this experiment. The legacy baseline was measured in aggregate in the Go test suite.

Learned router false-action cases (out-of-fold): kq-deadline-1717: 'когда дедлайн по задаче, пожалуйста' (true=knowledge, proba(action)=0.559) kq-deadline-1720: 'я хочу я успеваю до дедлайна по задаче' (true=knowledge, proba(action)=0.491) kq-deadline-1724: 'я хочу когда дедлайн по задаче' (true=knowledge, proba(action)=0.566) kq-deadline-1725: 'надо бы когда дедлайн по задаче' (true=knowledge, proba(action)=0.526) kq-deadline-1729: 'по задаче когда дедлайн' (true=knowledge, proba(action)=0.361) mw-fact-pills-2224: 'принял таблетки сегодня' (true=memory_write, proba(action)=0.342) mw-fact-pills-2229: 'принял таблетки вечером, пожалуйста' (true=memory_write, proba(action)=0.416) mw-fact-pills-2230: 'принял таблетки сегодня, пожалуйста' (true=memory_write, proba(action)=0.282) mw-note-idea-2363: 'запиши идею: гидропоника на балконе, пожалуйста' (true=memory_write, proba(action)=0.395) mw-note-idea-2366: 'идея: гидропоника на балконе, пожалуйста' (true=memory_write, proba(action)=0.399) mw-note-idea-2367: 'идея: сервер в шкаф, пожалуйста' (true=memory_write, proba(action)=0.517) mw-note-idea-2369: '记住: гидропоника на балконе, пожалуйста' (true=memory_write, proba(action)=0.410) mw-note-idea-2370: '记住: сервер в шкаф, пожалуйста' (true=memory_write, proba(action)=0.539) mw-note-idea-2380: 'я хочу идея: сервер в шкаф' (true=memory_write, proba(action)=0.455) mw-note-idea-2386: 'я хочу 记住: сервер в шкаф' (true=memory_write, proba(action)=0.460) mw-note-idea-2393: 'гидропоника на балконе идея:' (true=memory_write, proba(action)=0.483) mw-note-idea-2396: 'гидропоника на балконе 记住:' (true=memory_write, proba(action)=0.464) sys-quiet-on-2577: 'я хочу режим тишина' (true=system, proba(action)=0.448) conv-goodbye-2869: 'до свидания, пожалуйста' (true=conversation, proba(action)=0.253) conv-goodbye-2875: 'я хочу до свидания' (true=conversation, proba(action)=0.213) unc-single-word-verb-2947: 'выключи' (true=uncertain, proba(action)=0.873) unc-single-word-verb-2948: 'включи' (true=uncertain, proba(action)=0.698) unc-single-word-verb-2949: 'перезапусти, пожалуйста' (true=uncertain, proba(action)=0.428) unc-single-word-verb-2950: 'выключи, пожалуйста' (true=uncertain, proba(action)=0.835) unc-single-word-verb-2951: 'включи, пожалуйста' (true=uncertain, proba(action)=0.691) unc-single-word-verb-2953: 'я хочу выключи' (true=uncertain, proba(action)=0.733) unc-single-word-verb-2954: 'я хочу включи' (true=uncertain, proba(action)=0.720) kq-homelab-disk-1494: 'хватает ли места на диске' (true=knowledge, proba(action)=0.635) kq-homelab-disk-1498: 'хватает ли места на диске, пожалуйста' (true=knowledge, proba(action)=0.664) kq-homelab-disk-1503: 'я хочу хватает ли места на диске' (true=knowledge, proba(action)=0.500) kq-homelab-disk-1504: 'надо бы хватает ли места на диске' (true=knowledge, proba(action)=0.630) kq-homelab-disk-1510: 'на диске хватает ли места' (true=knowledge, proba(action)=0.541) kq-task-check-1700: 'покажи задачи' (true=knowledge, proba(action)=0.859) kq-task-check-1702: 'какие задачи есть, пожалуйста' (true=knowledge, proba(action)=0.574) kq-task-check-1703: 'покажи задачи, пожалуйста' (true=knowledge, proba(action)=0.808) kq-task-check-1706: 'я хочу покажи задачи' (true=knowledge, proba(action)=0.715) kq-task-check-1709: 'покажи задачи?' (true=knowledge, proba(action)=0.514) mw-note-task-2429: 'добавь в задачи купить молоко' (true=memory_write, proba(action)=0.935) mw-note-task-2430: 'добавь в задачи починить кран' (true=memory_write, proba(action)=0.721) mw-note-task-2431: 'добавь в задачи обновить сервер' (true=memory_write, proba(action)=0.900) mw-note-task-2432: 'запиши задачу купить молоко' (true=memory_write, proba(action)=0.740) mw-note-task-2433: 'запиши задачу починить кран' (true=memory_write, proba(action)=0.548) mw-note-task-2434: 'запиши задачу обновить сервер' (true=memory_write, proba(action)=0.773) mw-note-task-2435: 'добавь в задачи купить молоко, пожалуйста' (true=memory_write, proba(action)=0.851) mw-note-task-2436: 'добавь в задачи починить кран, пожалуйста' (true=memory_write, proba(action)=0.743) mw-note-task-2437: 'добавь в задачи обновить сервер, пожалуйста' (true=memory_write, proba(action)=0.925) mw-note-task-2438: 'запиши задачу купить молоко, пожалуйста' (true=memory_write, proba(action)=0.617) mw-note-task-2439: 'запиши задачу починить кран, пожалуйста' (true=memory_write, proba(action)=0.549) mw-note-task-2440: 'запиши задачу обновить сервер, пожалуйста' (true=memory_write, proba(action)=0.739) mw-note-task-2441: 'я хочу добавь в задачи купить молоко' (true=memory_write, proba(action)=0.820) mw-note-task-2442: 'надо бы добавь в задачи купить молоко' (true=memory_write, proba(action)=0.791) mw-note-task-2443: 'я хочу добавь в задачи починить кран' (true=memory_write, proba(action)=0.568) mw-note-task-2444: 'надо бы добавь в задачи починить кран' (true=memory_write, proba(action)=0.503) mw-note-task-2445: 'я хочу добавь в задачи обновить сервер' (true=memory_write, proba(action)=0.870) mw-note-task-2446: 'надо бы добавь в задачи обновить сервер' (true=memory_write, proba(action)=0.724) mw-note-task-2447: 'я хочу запиши задачу купить молоко' (true=memory_write, proba(action)=0.658) mw-note-task-2448: 'надо бы запиши задачу купить молоко' (true=memory_write, proba(action)=0.676) mw-note-task-2449: 'я хочу запиши задачу починить кран' (true=memory_write, proba(action)=0.557) mw-note-task-2450: 'надо бы запиши задачу починить кран' (true=memory_write, proba(action)=0.458) mw-note-task-2451: 'я хочу запиши задачу обновить сервер' (true=memory_write, proba(action)=0.676) mw-note-task-2452: 'надо бы запиши задачу обновить сервер' (true=memory_write, proba(action)=0.495) mw-note-task-2453: 'купить молоко добавь в задачи' (true=memory_write, proba(action)=0.926) mw-note-task-2454: 'починить кран добавь в задачи' (true=memory_write, proba(action)=0.895) mw-note-task-2455: 'обновить сервер добавь в задачи' (true=memory_write, proba(action)=0.933) mw-note-task-2456: 'купить молоко запиши задачу' (true=memory_write, proba(action)=0.884) mw-note-task-2457: 'починить кран запиши задачу' (true=memory_write, proba(action)=0.701) mw-note-task-2458: 'обновить сервер запиши задачу' (true=memory_write, proba(action)=0.783) kq-cal-time-1063: 'когда планёрка, пожалуйста' (true=knowledge, proba(action)=0.499) kq-cal-time-1066: 'я хочу когда планёрка' (true=knowledge, proba(action)=0.457) kq-world-def-1205: 'что такое TCP' (true=knowledge, proba(action)=0.592) kq-world-def-1207: 'что такое Kubernetes' (true=knowledge, proba(action)=0.581) kq-world-def-1209: 'что такое React' (true=knowledge, proba(action)=0.396) kq-world-def-1210: 'кто такой TCP' (true=knowledge, proba(action)=0.428) kq-world-def-1215: 'что значит TCP' (true=knowledge, proba(action)=0.581) kq-world-def-1217: 'что значит Kubernetes' (true=knowledge, proba(action)=0.564) kq-world-def-1219: 'что значит React' (true=knowledge, proba(action)=0.441) kq-world-def-1220: 'что такое TCP, пожалуйста' (true=knowledge, proba(action)=0.785) kq-world-def-1221: 'что такое Docker, пожалуйста' (true=knowledge, proba(action)=0.456) kq-world-def-1222: 'что такое Kubernetes, пожалуйста' (true=knowledge, proba(action)=0.700) kq-world-def-1224: 'что такое React, пожалуйста' (true=knowledge, proba(action)=0.587) kq-world-def-1225: 'кто такой TCP, пожалуйста' (true=knowledge, proba(action)=0.615) kq-world-def-1227: 'кто такой Kubernetes, пожалуйста' (true=knowledge, proba(action)=0.687) kq-world-def-1229: 'кто такой React, пожалуйста' (true=knowledge, proba(action)=0.411) kq-world-def-1230: 'что значит TCP, пожалуйста' (true=knowledge, proba(action)=0.771) kq-world-def-1231: 'что значит Docker, пожалуйста' (true=knowledge, proba(action)=0.444) kq-world-def-1232: 'что значит Kubernetes, пожалуйста' (true=knowledge, proba(action)=0.639) kq-world-def-1234: 'что значит React, пожалуйста' (true=knowledge, proba(action)=0.561) kq-world-def-1235: 'я хочу что такое TCP' (true=knowledge, proba(action)=0.588) kq-world-def-1236: 'надо бы что такое TCP' (true=knowledge, proba(action)=0.415) kq-world-def-1239: 'я хочу что такое Kubernetes' (true=knowledge, proba(action)=0.442) kq-world-def-1240: 'надо бы что такое Kubernetes' (true=knowledge, proba(action)=0.460) kq-world-def-1243: 'я хочу что такое React' (true=knowledge, proba(action)=0.411) kq-world-def-1244: 'надо бы что такое React' (true=knowledge, proba(action)=0.331) kq-world-def-1245: 'я хочу кто такой TCP' (true=knowledge, proba(action)=0.350) kq-world-def-1249: 'я хочу кто такой Kubernetes' (true=knowledge, proba(action)=0.418) kq-world-def-1250: 'надо бы кто такой Kubernetes' (true=knowledge, proba(action)=0.358) kq-world-def-1255: 'я хочу что значит TCP' (true=knowledge, proba(action)=0.630) kq-world-def-1256: 'надо бы что значит TCP' (true=knowledge, proba(action)=0.442) kq-world-def-1259: 'я хочу что значит Kubernetes' (true=knowledge, proba(action)=0.576) kq-world-def-1263: 'я хочу что значит React' (true=knowledge, proba(action)=0.480) kq-world-def-1265: 'TCP что такое' (true=knowledge, proba(action)=0.510) kq-world-def-1267: 'Kubernetes что такое' (true=knowledge, proba(action)=0.483) kq-world-def-1269: 'React что такое' (true=knowledge, proba(action)=0.365) kq-world-def-1270: 'TCP кто такой' (true=knowledge, proba(action)=0.331) kq-world-def-1272: 'Kubernetes кто такой' (true=knowledge, proba(action)=0.406) kq-world-def-1275: 'TCP что значит' (true=knowledge, proba(action)=0.493) kq-world-def-1277: 'Kubernetes что значит' (true=knowledge, proba(action)=0.436) kq-world-def-1279: 'React что значит' (true=knowledge, proba(action)=0.358) kq-world-def-1280: 'что такое TCP?' (true=knowledge, proba(action)=0.624) kq-world-def-1282: 'что такое Kubernetes?' (true=knowledge, proba(action)=0.544) kq-world-def-1284: 'что такое React?' (true=knowledge, proba(action)=0.350) kq-world-def-1285: 'кто такой TCP?' (true=knowledge, proba(action)=0.407) kq-world-def-1289: 'кто такой React?' (true=knowledge, proba(action)=0.266) kq-world-def-1290: 'что значит TCP?' (true=knowledge, proba(action)=0.514) kq-world-def-1292: 'что значит Kubernetes?' (true=knowledge, proba(action)=0.509) kq-world-def-1294: 'что значит React?' (true=knowledge, proba(action)=0.356) kq-homelab-status-1429: 'как дела с бэкапами' (true=knowledge, proba(action)=0.442) kq-homelab-status-1431: 'как дела с доменом' (true=knowledge, proba(action)=0.518) kq-homelab-status-1433: 'есть новости по бэкапами, пожалуйста' (true=knowledge, proba(action)=0.389) kq-homelab-status-1435: 'есть новости по доменом, пожалуйста' (true=knowledge, proba(action)=0.497) kq-homelab-status-1439: 'что там с доменом, пожалуйста' (true=knowledge, proba(action)=0.418) kq-homelab-status-1441: 'как дела с бэкапами, пожалуйста' (true=knowledge, proba(action)=0.509) kq-homelab-status-1442: 'как дела с сервером, пожалуйста' (true=knowledge, proba(action)=0.569) kq-homelab-status-1443: 'как дела с доменом, пожалуйста' (true=knowledge, proba(action)=0.697) kq-homelab-status-1444: 'как дела с DNS, пожалуйста' (true=knowledge, proba(action)=0.452) kq-homelab-status-1461: 'я хочу как дела с бэкапами' (true=knowledge, proba(action)=0.434) kq-homelab-status-1462: 'надо бы как дела с бэкапами' (true=knowledge, proba(action)=0.437) kq-homelab-status-1465: 'я хочу как дела с доменом' (true=knowledge, proba(action)=0.427) kq-homelab-status-1471: 'доменом есть новости по' (true=knowledge, proba(action)=0.350) kq-homelab-status-1477: 'бэкапами как дела с' (true=knowledge, proba(action)=0.386) mw-fact-break-2172: 'час took a break' (true=memory_write, proba(action)=0.508) mw-fact-break-2173: 'пять минут took a break' (true=memory_write, proba(action)=0.416) sys-self-version-2739: 'текущая версия maven' (true=system, proba(action)=0.668) sys-self-version-2741: 'текущая версия праксиса' (true=system, proba(action)=0.363) sys-self-version-2742: 'what version maven' (true=system, proba(action)=0.750) sys-self-version-2743: 'what version нексуса' (true=system, proba(action)=0.395) sys-self-version-2744: 'what version праксиса' (true=system, proba(action)=0.570) sys-self-version-2745: 'какая версия maven, пожалуйста' (true=system, proba(action)=0.589) sys-self-version-2747: 'какая версия праксиса, пожалуйста' (true=system, proba(action)=0.396) sys-self-version-2748: 'текущая версия maven, пожалуйста' (true=system, proba(action)=0.737) sys-self-version-2749: 'текущая версия нексуса, пожалуйста' (true=system, proba(action)=0.384) sys-self-version-2750: 'текущая версия праксиса, пожалуйста' (true=system, proba(action)=0.486) sys-self-version-2751: 'what version maven, пожалуйста' (true=system, proba(action)=0.711) sys-self-version-2752: 'what version нексуса, пожалуйста' (true=system, proba(action)=0.394) sys-self-version-2753: 'what version праксиса, пожалуйста' (true=system, proba(action)=0.576) sys-self-version-2760: 'я хочу текущая версия maven' (true=system, proba(action)=0.601) sys-self-version-2761: 'надо бы текущая версия maven' (true=system, proba(action)=0.633) sys-self-version-2763: 'надо бы текущая версия нексуса' (true=system, proba(action)=0.409) sys-self-version-2764: 'я хочу текущая версия праксиса' (true=system, proba(action)=0.367) sys-self-version-2766: 'я хочу what version maven' (true=system, proba(action)=0.714) sys-self-version-2767: 'надо бы what version maven' (true=system, proba(action)=0.501) sys-self-version-2768: 'я хочу what version нексуса' (true=system, proba(action)=0.408) sys-self-version-2770: 'я хочу what version праксиса' (true=system, proba(action)=0.568) sys-self-version-2775: 'maven текущая версия' (true=system, proba(action)=0.734) sys-self-version-2776: 'нексуса текущая версия' (true=system, proba(action)=0.386) sys-self-version-2777: 'праксиса текущая версия' (true=system, proba(action)=0.557) sys-self-version-2778: 'maven what version' (true=system, proba(action)=0.712) sys-self-version-2779: 'нексуса what version' (true=system, proba(action)=0.441) sys-self-version-2780: 'праксиса what version' (true=system, proba(action)=0.582) kq-world-explain-1303: 'опиши машинное обучение' (true=knowledge, proba(action)=0.545) kq-world-explain-1309: 'объясни машинное обучение, пожалуйста' (true=knowledge, proba(action)=0.536) kq-world-explain-1312: 'опиши машинное обучение, пожалуйста' (true=knowledge, proba(action)=0.607) kq-world-explain-1330: 'надо бы опиши машинное обучение' (true=knowledge, proba(action)=0.376) kq-world-explain-1336: 'машинное обучение объясни' (true=knowledge, proba(action)=0.471) kq-world-explain-1339: 'машинное обучение опиши' (true=knowledge, proba(action)=0.587) kq-cap-ha-1734: 'ты можешь выключить свет' (true=knowledge, proba(action)=0.920) kq-cap-ha-1735: 'ты можешь выключить жалюзи' (true=knowledge, proba(action)=0.988) kq-cap-ha-1736: 'ты можешь выключить вытяжку' (true=knowledge, proba(action)=0.983) kq-cap-ha-1737: 'ты можешь выключить вентилятор' (true=knowledge, proba(action)=0.909) kq-cap-ha-1738: 'умеешь ли включить свет' (true=knowledge, proba(action)=0.779) kq-cap-ha-1739: 'умеешь ли включить жалюзи' (true=knowledge, proba(action)=0.942) kq-cap-ha-1740: 'умеешь ли включить вытяжку' (true=knowledge, proba(action)=0.898) kq-cap-ha-1741: 'умеешь ли включить вентилятор' (true=knowledge, proba(action)=0.508) kq-cap-ha-1742: 'сможешь открыть свет' (true=knowledge, proba(action)=0.919) kq-cap-ha-1743: 'сможешь открыть жалюзи' (true=knowledge, proba(action)=0.986) kq-cap-ha-1744: 'сможешь открыть вытяжку' (true=knowledge, proba(action)=0.981) kq-cap-ha-1745: 'сможешь открыть вентилятор' (true=knowledge, proba(action)=0.900) kq-cap-ha-1746: 'ты можешь выключить свет, пожалуйста' (true=knowledge, proba(action)=0.928) kq-cap-ha-1747: 'ты можешь выключить жалюзи, пожалуйста' (true=knowledge, proba(action)=0.988) kq-cap-ha-1748: 'ты можешь выключить вытяжку, пожалуйста' (true=knowledge, proba(action)=0.976) kq-cap-ha-1749: 'ты можешь выключить вентилятор, пожалуйста' (true=knowledge, proba(action)=0.938) kq-cap-ha-1750: 'умеешь ли включить свет, пожалуйста' (true=knowledge, proba(action)=0.846) kq-cap-ha-1751: 'умеешь ли включить жалюзи, пожалуйста' (true=knowledge, proba(action)=0.938) kq-cap-ha-1752: 'умеешь ли включить вытяжку, пожалуйста' (true=knowledge, proba(action)=0.902) kq-cap-ha-1753: 'умеешь ли включить вентилятор, пожалуйста' (true=knowledge, proba(action)=0.559) kq-cap-ha-1754: 'сможешь открыть свет, пожалуйста' (true=knowledge, proba(action)=0.892) kq-cap-ha-1755: 'сможешь открыть жалюзи, пожалуйста' (true=knowledge, proba(action)=0.978) kq-cap-ha-1756: 'сможешь открыть вытяжку, пожалуйста' (true=knowledge, proba(action)=0.975) kq-cap-ha-1757: 'сможешь открыть вентилятор, пожалуйста' (true=knowledge, proba(action)=0.929) kq-cap-ha-1758: 'я хочу ты можешь выключить свет' (true=knowledge, proba(action)=0.835) kq-cap-ha-1759: 'надо бы ты можешь выключить свет' (true=knowledge, proba(action)=0.746) kq-cap-ha-1760: 'я хочу ты можешь выключить жалюзи' (true=knowledge, proba(action)=0.951) kq-cap-ha-1761: 'надо бы ты можешь выключить жалюзи' (true=knowledge, proba(action)=0.961) kq-cap-ha-1762: 'я хочу ты можешь выключить вытяжку' (true=knowledge, proba(action)=0.932) kq-cap-ha-1763: 'надо бы ты можешь выключить вытяжку' (true=knowledge, proba(action)=0.952) kq-cap-ha-1764: 'я хочу ты можешь выключить вентилятор' (true=knowledge, proba(action)=0.837) kq-cap-ha-1765: 'надо бы ты можешь выключить вентилятор' (true=knowledge, proba(action)=0.754) kq-cap-ha-1766: 'я хочу умеешь ли включить свет' (true=knowledge, proba(action)=0.793) kq-cap-ha-1767: 'надо бы умеешь ли включить свет' (true=knowledge, proba(action)=0.640) kq-cap-ha-1768: 'я хочу умеешь ли включить жалюзи' (true=knowledge, proba(action)=0.892) kq-cap-ha-1769: 'надо бы умеешь ли включить жалюзи' (true=knowledge, proba(action)=0.784) kq-cap-ha-1770: 'я хочу умеешь ли включить вытяжку' (true=knowledge, proba(action)=0.822) kq-cap-ha-1771: 'надо бы умеешь ли включить вытяжку' (true=knowledge, proba(action)=0.798) kq-cap-ha-1774: 'я хочу сможешь открыть свет' (true=knowledge, proba(action)=0.840) kq-cap-ha-1775: 'надо бы сможешь открыть свет' (true=knowledge, proba(action)=0.838) kq-cap-ha-1776: 'я хочу сможешь открыть жалюзи' (true=knowledge, proba(action)=0.946) kq-cap-ha-1777: 'надо бы сможешь открыть жалюзи' (true=knowledge, proba(action)=0.940) kq-cap-ha-1778: 'я хочу сможешь открыть вытяжку' (true=knowledge, proba(action)=0.936) kq-cap-ha-1779: 'надо бы сможешь открыть вытяжку' (true=knowledge, proba(action)=0.933) kq-cap-ha-1780: 'я хочу сможешь открыть вентилятор' (true=knowledge, proba(action)=0.857) kq-cap-ha-1781: 'надо бы сможешь открыть вентилятор' (true=knowledge, proba(action)=0.700) kq-cap-ha-1782: 'свет ты можешь выключить' (true=knowledge, proba(action)=0.893) kq-cap-ha-1783: 'жалюзи ты можешь выключить' (true=knowledge, proba(action)=0.982) kq-cap-ha-1784: 'вытяжку ты можешь выключить' (true=knowledge, proba(action)=0.971) kq-cap-ha-1785: 'вентилятор ты можешь выключить' (true=knowledge, proba(action)=0.897) kq-cap-ha-1786: 'свет умеешь ли включить' (true=knowledge, proba(action)=0.786) kq-cap-ha-1787: 'жалюзи умеешь ли включить' (true=knowledge, proba(action)=0.946) kq-cap-ha-1788: 'вытяжку умеешь ли включить' (true=knowledge, proba(action)=0.924) kq-cap-ha-1789: 'вентилятор умеешь ли включить' (true=knowledge, proba(action)=0.674) kq-cap-ha-1790: 'свет сможешь открыть' (true=knowledge, proba(action)=0.931) kq-cap-ha-1791: 'жалюзи сможешь открыть' (true=knowledge, proba(action)=0.983) kq-cap-ha-1792: 'вытяжку сможешь открыть' (true=knowledge, proba(action)=0.967) kq-cap-ha-1793: 'вентилятор сможешь открыть' (true=knowledge, proba(action)=0.886) kq-cap-ha-1794: 'ты можешь выключить свет?' (true=knowledge, proba(action)=0.913) kq-cap-ha-1795: 'ты можешь выключить жалюзи?' (true=knowledge, proba(action)=0.980) kq-cap-ha-1796: 'ты можешь выключить вытяжку?' (true=knowledge, proba(action)=0.970) kq-cap-ha-1797: 'ты можешь выключить вентилятор?' (true=knowledge, proba(action)=0.862) kq-cap-ha-1798: 'умеешь ли включить свет?' (true=knowledge, proba(action)=0.709) kq-cap-ha-1799: 'умеешь ли включить жалюзи?' (true=knowledge, proba(action)=0.866) kq-cap-ha-1800: 'умеешь ли включить вытяжку?' (true=knowledge, proba(action)=0.862) kq-cap-ha-1802: 'сможешь открыть свет?' (true=knowledge, proba(action)=0.905) kq-cap-ha-1803: 'сможешь открыть жалюзи?' (true=knowledge, proba(action)=0.975) kq-cap-ha-1804: 'сможешь открыть вытяжку?' (true=knowledge, proba(action)=0.967) kq-cap-ha-1805: 'сможешь открыть вентилятор?' (true=knowledge, proba(action)=0.859) mw-fact-water-1881: 'воды попил стакан, пожалуйста' (true=memory_write, proba(action)=0.543) mw-fact-water-1882: 'воды попил литр, пожалуйста' (true=memory_write, proba(action)=0.444) mw-fact-water-1886: 'пил воду литр, пожалуйста' (true=memory_write, proba(action)=0.480) mw-fact-water-1894: 'я хочу выпил воды стакан' (true=memory_write, proba(action)=0.527) mw-fact-water-1896: 'я хочу выпил воды литр' (true=memory_write, proba(action)=0.465) mw-fact-water-1902: 'я хочу воды попил стакан' (true=memory_write, proba(action)=0.503) mw-fact-water-1904: 'я хочу воды попил литр' (true=memory_write, proba(action)=0.403) mw-fact-water-1910: 'я хочу пил воду стакан' (true=memory_write, proba(action)=0.468) mw-fact-water-1925: 'стакан выпил воды' (true=memory_write, proba(action)=0.575) mw-fact-water-1929: 'стакан воды попил' (true=memory_write, proba(action)=0.613) unc-ambiguous-noun-2892: 'вода' (true=uncertain, proba(action)=0.371) unc-ambiguous-noun-2893: 'бэкап' (true=uncertain, proba(action)=0.641) unc-ambiguous-noun-2894: 'сервер' (true=uncertain, proba(action)=0.505) unc-ambiguous-noun-2895: 'контейнер' (true=uncertain, proba(action)=0.978) unc-ambiguous-noun-2896: 'задача' (true=uncertain, proba(action)=0.746) unc-ambiguous-noun-2897: 'вода, пожалуйста' (true=uncertain, proba(action)=0.381) unc-ambiguous-noun-2898: 'бэкап, пожалуйста' (true=uncertain, proba(action)=0.636) unc-ambiguous-noun-2899: 'сервер, пожалуйста' (true=uncertain, proba(action)=0.720) unc-ambiguous-noun-2900: 'контейнер, пожалуйста' (true=uncertain, proba(action)=0.938) unc-ambiguous-noun-2901: 'задача, пожалуйста' (true=uncertain, proba(action)=0.742) unc-ambiguous-noun-2902: 'я хочу вода' (true=uncertain, proba(action)=0.476) unc-ambiguous-noun-2903: 'я хочу бэкап' (true=uncertain, proba(action)=0.731) unc-ambiguous-noun-2904: 'я хочу сервер' (true=uncertain, proba(action)=0.661) unc-ambiguous-noun-2905: 'я хочу контейнер' (true=uncertain, proba(action)=0.946) unc-ambiguous-noun-2906: 'я хочу задача' (true=uncertain, proba(action)=0.747) unc-multi-ambiguous-3001: 'всё ок' (true=uncertain, proba(action)=0.391) unc-multi-ambiguous-3007: 'я хочу всё ок' (true=uncertain, proba(action)=0.447) kq-cap-tool-1806: 'ты можешь перезапустить nginx' (true=knowledge, proba(action)=0.975) kq-cap-tool-1807: 'ты можешь перезапустить docker' (true=knowledge, proba(action)=0.936) kq-cap-tool-1808: 'ты можешь перезапустить сервер' (true=knowledge, proba(action)=0.736) kq-cap-tool-1809: 'сможешь остановить nginx' (true=knowledge, proba(action)=0.923) kq-cap-tool-1810: 'сможешь остановить docker' (true=knowledge, proba(action)=0.849) kq-cap-tool-1811: 'сможешь остановить сервер' (true=knowledge, proba(action)=0.802) kq-cap-tool-1812: 'умеешь ли проверить nginx' (true=knowledge, proba(action)=0.691) kq-cap-tool-1815: 'ты можешь перезапустить nginx, пожалуйста' (true=knowledge, proba(action)=0.975) kq-cap-tool-1816: 'ты можешь перезапустить docker, пожалуйста' (true=knowledge, proba(action)=0.942) kq-cap-tool-1817: 'ты можешь перезапустить сервер, пожалуйста' (true=knowledge, proba(action)=0.834) kq-cap-tool-1818: 'сможешь остановить nginx, пожалуйста' (true=knowledge, proba(action)=0.958) kq-cap-tool-1819: 'сможешь остановить docker, пожалуйста' (true=knowledge, proba(action)=0.890) kq-cap-tool-1820: 'сможешь остановить сервер, пожалуйста' (true=knowledge, proba(action)=0.877) kq-cap-tool-1821: 'умеешь ли проверить nginx, пожалуйста' (true=knowledge, proba(action)=0.761) kq-cap-tool-1824: 'я хочу ты можешь перезапустить nginx' (true=knowledge, proba(action)=0.937) kq-cap-tool-1825: 'надо бы ты можешь перезапустить nginx' (true=knowledge, proba(action)=0.934) kq-cap-tool-1826: 'я хочу ты можешь перезапустить docker' (true=knowledge, proba(action)=0.813) kq-cap-tool-1827: 'надо бы ты можешь перезапустить docker' (true=knowledge, proba(action)=0.787) kq-cap-tool-1828: 'я хочу ты можешь перезапустить сервер' (true=knowledge, proba(action)=0.676) kq-cap-tool-1829: 'надо бы ты можешь перезапустить сервер' (true=knowledge, proba(action)=0.570) kq-cap-tool-1830: 'я хочу сможешь остановить nginx' (true=knowledge, proba(action)=0.908) kq-cap-tool-1831: 'надо бы сможешь остановить nginx' (true=knowledge, proba(action)=0.918) kq-cap-tool-1832: 'я хочу сможешь остановить docker' (true=knowledge, proba(action)=0.806) kq-cap-tool-1833: 'надо бы сможешь остановить docker' (true=knowledge, proba(action)=0.789) kq-cap-tool-1834: 'я хочу сможешь остановить сервер' (true=knowledge, proba(action)=0.795) kq-cap-tool-1835: 'надо бы сможешь остановить сервер' (true=knowledge, proba(action)=0.721) kq-cap-tool-1836: 'я хочу умеешь ли проверить nginx' (true=knowledge, proba(action)=0.587) kq-cap-tool-1837: 'надо бы умеешь ли проверить nginx' (true=knowledge, proba(action)=0.505) kq-cap-tool-1842: 'nginx ты можешь перезапустить' (true=knowledge, proba(action)=0.943) kq-cap-tool-1843: 'docker ты можешь перезапустить' (true=knowledge, proba(action)=0.908) kq-cap-tool-1844: 'сервер ты можешь перезапустить' (true=knowledge, proba(action)=0.776) kq-cap-tool-1845: 'nginx сможешь остановить' (true=knowledge, proba(action)=0.880) kq-cap-tool-1846: 'docker сможешь остановить' (true=knowledge, proba(action)=0.790) kq-cap-tool-1847: 'сервер сможешь остановить' (true=knowledge, proba(action)=0.660) kq-cap-tool-1848: 'nginx умеешь ли проверить' (true=knowledge, proba(action)=0.633) kq-cap-tool-1851: 'ты можешь перезапустить nginx?' (true=knowledge, proba(action)=0.947) kq-cap-tool-1852: 'ты можешь перезапустить docker?' (true=knowledge, proba(action)=0.886) kq-cap-tool-1853: 'ты можешь перезапустить сервер?' (true=knowledge, proba(action)=0.661) kq-cap-tool-1854: 'сможешь остановить nginx?' (true=knowledge, proba(action)=0.916) kq-cap-tool-1855: 'сможешь остановить docker?' (true=knowledge, proba(action)=0.628) kq-cap-tool-1856: 'сможешь остановить сервер?' (true=knowledge, proba(action)=0.625) kq-cap-tool-1857: 'умеешь ли проверить nginx?' (true=knowledge, proba(action)=0.604) mw-fact-meal-1946: 'пообедал салатом' (true=memory_write, proba(action)=0.634) mw-fact-meal-1950: 'поужинал салатом' (true=memory_write, proba(action)=0.685) mw-fact-meal-1951: 'поужинал пиццей' (true=memory_write, proba(action)=0.493) mw-fact-meal-1955: 'ел пиццей' (true=memory_write, proba(action)=0.238) mw-fact-meal-1962: 'позавтракал салатом, пожалуйста' (true=memory_write, proba(action)=0.459) mw-fact-meal-1966: 'пообедал салатом, пожалуйста' (true=memory_write, proba(action)=0.656) mw-fact-meal-1968: 'поужинал овсянкой, пожалуйста' (true=memory_write, proba(action)=0.414) mw-fact-meal-1970: 'поужинал салатом, пожалуйста' (true=memory_write, proba(action)=0.662) mw-fact-meal-1974: 'ел салатом, пожалуйста' (true=memory_write, proba(action)=0.592) mw-fact-meal-1975: 'ел пиццей, пожалуйста' (true=memory_write, proba(action)=0.290) mw-fact-meal-1976: 'just ate овсянкой, пожалуйста' (true=memory_write, proba(action)=0.328) mw-fact-meal-1978: 'just ate салатом, пожалуйста' (true=memory_write, proba(action)=0.429) mw-fact-meal-1984: 'я хочу позавтракал салатом' (true=memory_write, proba(action)=0.483) mw-fact-meal-1992: 'я хочу пообедал салатом' (true=memory_write, proba(action)=0.626) mw-fact-meal-1993: 'надо бы пообедал салатом' (true=memory_write, proba(action)=0.528) mw-fact-meal-2000: 'я хочу поужинал салатом' (true=memory_write, proba(action)=0.675) mw-fact-meal-2001: 'надо бы поужинал салатом' (true=memory_write, proba(action)=0.483) mw-fact-meal-2010: 'я хочу ел пиццей' (true=memory_write, proba(action)=0.265) mw-fact-meal-2016: 'я хочу just ate салатом' (true=memory_write, proba(action)=0.561) mw-fact-meal-2024: 'овсянкой пообедал' (true=memory_write, proba(action)=0.385) mw-fact-meal-2026: 'салатом пообедал' (true=memory_write, proba(action)=0.612) mw-fact-meal-2027: 'пиццей пообедал' (true=memory_write, proba(action)=0.444) mw-fact-meal-2028: 'овсянкой поужинал' (true=memory_write, proba(action)=0.438) mw-fact-meal-2030: 'салатом поужинал' (true=memory_write, proba(action)=0.591) mw-fact-meal-2031: 'пиццей поужинал' (true=memory_write, proba(action)=0.571) mw-note-homelab-2401: 'заметка про 备份策略' (true=memory_write, proba(action)=0.633) mw-note-homelab-2404: 'запиши про настройку 备份策略' (true=memory_write, proba(action)=0.657) mw-note-homelab-2406: 'заметка про DNS записи, пожалуйста' (true=memory_write, proba(action)=0.442) mw-note-homelab-2407: 'заметка про 备份策略, пожалуйста' (true=memory_write, proba(action)=0.730) mw-note-homelab-2410: 'запиши про настройку 备份策略, пожалуйста' (true=memory_write, proba(action)=0.719) mw-note-homelab-2415: 'я хочу заметка про 备份策略' (true=memory_write, proba(action)=0.671) mw-note-homelab-2416: 'надо бы заметка про 备份策略' (true=memory_write, proba(action)=0.645) mw-note-homelab-2421: 'я хочу запиши про настройку 备份策略' (true=memory_write, proba(action)=0.561) mw-note-homelab-2422: 'надо бы запиши про настройку 备份策略' (true=memory_write, proba(action)=0.666) mw-note-homelab-2425: '备份策略 заметка про' (true=memory_write, proba(action)=0.742) mw-note-homelab-2428: '备份策略 запиши про настройку' (true=memory_write, proba(action)=0.633) mw-free-remember-2460: 'запомни пароль от wifi' (true=memory_write, proba(action)=0.836) mw-free-remember-2461: 'запомни адрес электрика' (true=memory_write, proba(action)=0.753) mw-free-remember-2462: 'сохрани что встреча в 3' (true=memory_write, proba(action)=0.457) mw-free-remember-2463: 'сохрани пароль от wifi' (true=memory_write, proba(action)=0.939) mw-free-remember-2464: 'сохрани адрес электрика' (true=memory_write, proba(action)=0.980) mw-free-remember-2466: 'занеси пароль от wifi' (true=memory_write, proba(action)=0.733) mw-free-remember-2467: 'занеси адрес электрика' (true=memory_write, proba(action)=0.734) mw-free-remember-2469: 'внеси пароль от wifi' (true=memory_write, proba(action)=0.847) mw-free-remember-2470: 'внеси адрес электрика' (true=memory_write, proba(action)=0.898) mw-free-remember-2472: 'запомни пароль от wifi, пожалуйста' (true=memory_write, proba(action)=0.866) mw-free-remember-2473: 'запомни адрес электрика, пожалуйста' (true=memory_write, proba(action)=0.734) mw-free-remember-2474: 'сохрани что встреча в 3, пожалуйста' (true=memory_write, proba(action)=0.595) mw-free-remember-2475: 'сохрани пароль от wifi, пожалуйста' (true=memory_write, proba(action)=0.942) mw-free-remember-2476: 'сохрани адрес электрика, пожалуйста' (true=memory_write, proba(action)=0.935) mw-free-remember-2478: 'занеси пароль от wifi, пожалуйста' (true=memory_write, proba(action)=0.830) mw-free-remember-2479: 'занеси адрес электрика, пожалуйста' (true=memory_write, proba(action)=0.807) mw-free-remember-2481: 'внеси пароль от wifi, пожалуйста' (true=memory_write, proba(action)=0.942) mw-free-remember-2482: 'внеси адрес электрика, пожалуйста' (true=memory_write, proba(action)=0.946) mw-free-remember-2485: 'я хочу запомни пароль от wifi' (true=memory_write, proba(action)=0.692) mw-free-remember-2486: 'надо бы запомни пароль от wifi' (true=memory_write, proba(action)=0.698) mw-free-remember-2487: 'я хочу запомни адрес электрика' (true=memory_write, proba(action)=0.768) mw-free-remember-2488: 'надо бы запомни адрес электрика' (true=memory_write, proba(action)=0.706) mw-free-remember-2489: 'я хочу сохрани что встреча в 3' (true=memory_write, proba(action)=0.585) mw-free-remember-2490: 'надо бы сохрани что встреча в 3' (true=memory_write, proba(action)=0.465) mw-free-remember-2491: 'я хочу сохрани пароль от wifi' (true=memory_write, proba(action)=0.826) mw-free-remember-2492: 'надо бы сохрани пароль от wifi' (true=memory_write, proba(action)=0.868) mw-free-remember-2493: 'я хочу сохрани адрес электрика' (true=memory_write, proba(action)=0.914) mw-free-remember-2494: 'надо бы сохрани адрес электрика' (true=memory_write, proba(action)=0.932) mw-free-remember-2497: 'я хочу занеси пароль от wifi' (true=memory_write, proba(action)=0.606) mw-free-remember-2498: 'надо бы занеси пароль от wifi' (true=memory_write, proba(action)=0.775) mw-free-remember-2499: 'я хочу занеси адрес электрика' (true=memory_write, proba(action)=0.723) mw-free-remember-2500: 'надо бы занеси адрес электрика' (true=memory_write, proba(action)=0.776) mw-free-remember-2503: 'я хочу внеси пароль от wifi' (true=memory_write, proba(action)=0.738) mw-free-remember-2504: 'надо бы внеси пароль от wifi' (true=memory_write, proba(action)=0.895) mw-free-remember-2505: 'я хочу внеси адрес электрика' (true=memory_write, proba(action)=0.946) mw-free-remember-2506: 'надо бы внеси адрес электрика' (true=memory_write, proba(action)=0.955) mw-free-remember-2508: 'пароль от wifi запомни' (true=memory_write, proba(action)=0.843) mw-free-remember-2509: 'адрес электрика запомни' (true=memory_write, proba(action)=0.817) mw-free-remember-2510: 'что встреча в 3 сохрани' (true=memory_write, proba(action)=0.582) mw-free-remember-2511: 'пароль от wifi сохрани' (true=memory_write, proba(action)=0.955) mw-free-remember-2512: 'адрес электрика сохрани' (true=memory_write, proba(action)=0.974) mw-free-remember-2514: 'пароль от wifi занеси' (true=memory_write, proba(action)=0.672) mw-free-remember-2515: 'адрес электрика занеси' (true=memory_write, proba(action)=0.541) mw-free-remember-2517: 'пароль от wifi внеси' (true=memory_write, proba(action)=0.838) mw-free-remember-2518: 'адрес электрика внеси' (true=memory_write, proba(action)=0.781) sys-quiet-off-2583: 'громкий режим' (true=system, proba(action)=0.559) sys-quiet-off-2584: 'выключи тихий' (true=system, proba(action)=0.372) sys-quiet-off-2588: 'громкий режим, пожалуйста' (true=system, proba(action)=0.528) sys-quiet-off-2589: 'выключи тихий, пожалуйста' (true=system, proba(action)=0.470) sys-quiet-off-2593: 'я хочу громкий режим' (true=system, proba(action)=0.381) unc-anaphora-2922: 'сделай это, пожалуйста' (true=uncertain, proba(action)=0.312)

10. Contrast-family results

Experiment A (all dev)

family count correct accuracy false_act

question 123 91 74.0% 27 capability_question 126 15 11.9% 111

Experiment B (residual only)

family count correct accuracy false_act

question 123 91 74.0% 27 capability_question 126 14 11.1% 112

11. Calibration metrics

Experiment A

• ECE: 0.045
• Brier score: 0.459
• Log loss: 0.929

Experiment B

• ECE: 0.046
• Brier score: 0.467
• Log loss: 0.946

12. Abstention curves

Experiment A (all dev)

threshold n_accepted coverage accuracy macro_f1 false_act

  0.40        2293      92.1%      70.7%      0.706        351
  0.50        1968      79.0%      74.5%      0.751        289
  0.60        1584      63.6%      78.0%      0.781        227
  0.70        1244      50.0%      80.9%      0.812        177
  0.80         851      34.2%      84.1%      0.883        120
  0.90         438      17.6%      83.3%      0.830         73

Experiment B (residual only)

threshold n_accepted coverage accuracy macro_f1 false_act

  0.40        2244      92.8%      70.4%      0.700        346
  0.50        1941      80.3%      73.6%      0.733        285
  0.60        1571      65.0%      77.3%      0.771        229
  0.70        1228      50.8%      79.9%      0.792        178
  0.80         845      34.9%      83.6%      0.873        120
  0.90         431      17.8%      81.9%      0.827         78

13. Action-threshold curve

Experiment A

threshold action_P action_R false_act

  0.40      0.645      0.803        351
  0.50      0.672      0.745        289
  0.60      0.697      0.655        227
  0.70      0.708      0.539        177
  0.80      0.733      0.413        120
  0.90      0.721      0.237         73

Experiment B

threshold action_P action_R false_act

  0.40      0.640      0.803        346
  0.50      0.664      0.736        285
  0.60      0.687      0.655        229
  0.70      0.698      0.537        178
  0.80      0.722      0.407        120
  0.90      0.690      0.227         78

14. Model artifact size and runtime cost

• Trainable parameters: 2310
  • 6 classes × 384 features = 2304 weights
  • 6 bias terms
• Serialized head size: 9240 bytes (9.0 KB)
• Additional inference FLOPs: 2304 multiply-accumulates
• Incremental cost (e5 already computed): ~2304 FLOPs, <1µs
• Cost if semantic router must trigger its own e5: full ONNX inference (~384 × 128 × 12 = ~590K FLOPs)

16. Recommendation

linear head sufficient

Residual macro F1 of 0.663 and accuracy of 67.9% exceed the legacy baseline (40.8% residual accuracy) by a meaningful margin. A linear head over frozen e5-small embeddings is a viable first production candidate.

17. Commit hash for experiment tooling

59a0a08d329fbcbefad4ec858cf8c6cc07014a36