init
This commit is contained in:
@@ -0,0 +1,2 @@
|
||||
.vscode/
|
||||
__pycache__/
|
||||
@@ -0,0 +1,169 @@
|
||||
# ESP32 Whisper Fine-Tune Project
|
||||
|
||||
## Project Overview
|
||||
|
||||
This is a **Russian-language AI model fine-tuning pipeline** designed for eventual deployment on an ESP32 device. The project fine-tunes three model families using **LoRA (Low-Rank Adaptation)**:
|
||||
|
||||
1. **Whisper** — Speech-to-Text (STT) models (`openai/whisper-small`, `openai/whisper-medium`) fine-tuned on the Common Voice 17.0 Russian dataset.
|
||||
2. **LLM** — Llama 3.2 models fine-tuned for conversational Russian dialogue with a custom persona ("Maven/Мейвен") — a lively, fast-paced conversational character.
|
||||
3. **TTS** — Text-to-Speech pipeline using Qwen3-TTS VoiceDesign for synthetic voice generation, with tools for voice discovery and dataset QA.
|
||||
|
||||
The project also includes helper utilities for data cleaning and a web-based QA server for reviewing TTS audio datasets.
|
||||
|
||||
## Directory Structure
|
||||
|
||||
| Directory/File | Purpose |
|
||||
|---|---|
|
||||
| `whisper/` | Whisper STT fine-tuning scripts and saved model checkpoints |
|
||||
| `whisper/main.py` | Trains `whisper-small` with LoRA on Common Voice 17.0 RU |
|
||||
| `whisper/train.py` | Trains `whisper-medium` with LoRA; custom `WhisperLoraTrainer` class |
|
||||
| `whisper/check_lora_weights.py` | Inspects LoRA adapter weights |
|
||||
| `whisper/eval_test.py` | Evaluation/testing script for Whisper models |
|
||||
| `whisper/sanity_test.py` | Quick sanity check for model loading |
|
||||
| `whisper/whisper_lora/` | Output directory for whisper-small LoRA checkpoints |
|
||||
| `whisper/whisper-medium-ru-lora/` | Output directory for whisper-medium LoRA checkpoints |
|
||||
| `whisper/whisper-small-ru-lora/` | Output directory for whisper-small LoRA checkpoints |
|
||||
| `whisper/whisper-small/` | Base whisper-small model artifacts |
|
||||
| `llm/` | LLM fine-tuning scripts for Llama 3.2 and Qwen3 |
|
||||
| `llm/train_llama.py` | Fine-tunes Llama 3.2 3B with LoRA; supports multiple dataset sources (JSONL, Parquet, HF datasets); custom conversational persona |
|
||||
| `llm/llama-eval-test.py` | Interactive chat/evaluation script for trained Llama LoRA checkpoints |
|
||||
| `llm/Llama-3.2-3b-ru-lora/` | Llama 3.2 3B LoRA checkpoint output |
|
||||
| `llm/Llama-3.2-4b-ru-lora/` | Llama 3.2 4B LoRA checkpoint output |
|
||||
| `llm/qwen3-4b-2507-ru-lora/` | Qwen3 4B LoRA checkpoint output |
|
||||
| `llm/data/` | Training data (JSONL files, etc.) |
|
||||
| `tts/` | Text-to-Speech voice generation and dataset tools |
|
||||
| `tts/find_voice.py` | Interactive voice discovery tool using Qwen3-TTS VoiceDesign; generates candidate voices and lets you pick one |
|
||||
| `tts/generate_synthetic_voice.py` | Synthetic voice generation script |
|
||||
| `tts/generate_synthetic_styles.py` | Generates diverse voice styles |
|
||||
| `tts/homograph_processor.py` | Homograph processing for TTS text normalization |
|
||||
| `tts/data/` | TTS dataset files |
|
||||
| `tts/dataset/` | TTS dataset organization |
|
||||
| `tts/ref/` | Reference voice audio samples (indexed subdirectories) |
|
||||
| `ui/tts-qa-srv.py` | Web-based QA server for reviewing TTS audio datasets; FastAPI + Vue-style SPA with keep/delete workflow |
|
||||
| `helpers/jsonl_cleaner.py` | CLI tool to clean JSONL files of markdown formatting and emojis |
|
||||
| `clean_tmpfs.sh` | Shell script to clean tmpfs, /dev/shm, and Hugging Face cache artifacts |
|
||||
| `requirements.txt` | Python dependencies |
|
||||
|
||||
## Key Technologies
|
||||
|
||||
- **PyTorch** — Deep learning framework
|
||||
- **Hugging Face Transformers** — Model loading, training, and inference
|
||||
- **PEFT (LoRA)** — Parameter-Efficient Fine-Tuning
|
||||
- **Datasets** — Hugging Face Datasets library for data loading and preprocessing
|
||||
- **bitsandbytes** — 4-bit quantization for efficient training
|
||||
- **Common Voice 17.0** — Speech dataset (Russian subset)
|
||||
- **Qwen3-TTS** — Text-to-Speech voice generation
|
||||
- **FastAPI + Uvicorn** — Web server for TTS QA interface
|
||||
- **jiwer, librosa, soundfile** — Audio metrics and processing
|
||||
|
||||
## Building and Running
|
||||
|
||||
### Prerequisites
|
||||
|
||||
```bash
|
||||
python -m venv .venv
|
||||
source .venv/bin/activate
|
||||
pip install -r requirements.txt
|
||||
```
|
||||
|
||||
### Whisper Fine-Tuning
|
||||
|
||||
```bash
|
||||
# Train whisper-small with LoRA
|
||||
cd whisper
|
||||
python main.py
|
||||
|
||||
# Train whisper-medium with LoRA
|
||||
cd whisper
|
||||
python train.py
|
||||
|
||||
# Evaluate a trained model
|
||||
python eval_test.py
|
||||
|
||||
# Check LoRA weights
|
||||
python check_lora_weights.py
|
||||
```
|
||||
|
||||
### LLM Fine-Tuning
|
||||
|
||||
```bash
|
||||
# Train Llama 3.2 with LoRA
|
||||
cd llm
|
||||
python train_llama.py
|
||||
|
||||
# Interactive evaluation
|
||||
python llama-eval-test.py
|
||||
```
|
||||
|
||||
### TTS Voice Discovery
|
||||
|
||||
```bash
|
||||
cd tts
|
||||
python find_voice.py
|
||||
# Interactively generates candidate voices and lets you pick one
|
||||
# Saves selected voice to ref/<index>/maven_reference.wav
|
||||
```
|
||||
|
||||
### TTS Dataset QA Server
|
||||
|
||||
```bash
|
||||
cd ui
|
||||
python tts-qa-srv.py --wavs dataset/test --txt data/neutral-voice-dataset-list-clean.txt --port 8765
|
||||
# Open http://localhost:8765 in browser
|
||||
# Keyboard shortcuts: k=keep, d=delete, ←/←=navigate, space=play/pause
|
||||
```
|
||||
|
||||
### Data Cleaning
|
||||
|
||||
```bash
|
||||
# Clean JSONL files of markdown and emojis
|
||||
python helpers/jsonl_cleaner.py input.jsonl output.jsonl
|
||||
```
|
||||
|
||||
### Cache Cleanup
|
||||
|
||||
```bash
|
||||
./clean_tmpfs.sh
|
||||
```
|
||||
|
||||
## Configuration Notes
|
||||
|
||||
- **Cache paths** are configured to use `/mnt/D/.cache/huggingface` and `/mnt/D/tmp` in `whisper/train.py` and `llm/train_llama.py`. Adjust these paths for your environment.
|
||||
- **Dataset**: Whisper models use `fsicoli/common_voice_17_0` (Russian subset).
|
||||
- **LLM training data**: JSONL files in `llm/data/cleaned.jsonl`, plus optional Parquet and HF dataset sources.
|
||||
- **Quantization**: LLM training uses 4-bit quantization via bitsandbytes (`nf4`, double quantization, bfloat16 compute).
|
||||
|
||||
## Training Hyperparameters
|
||||
|
||||
### Whisper
|
||||
| Parameter | small | medium |
|
||||
|---|---|---|
|
||||
| LoRA r | 8 | 32 |
|
||||
| LoRA alpha | 32 | 64 |
|
||||
| LoRA dropout | 0.1 | 0.05 |
|
||||
| Learning rate | 1e-4 | 5e-5 |
|
||||
| Max steps | 4000 | 4000 |
|
||||
| Warmup steps | 100 | 500 |
|
||||
| Batch size (train/eval) | 2/2 | 2/2 |
|
||||
|
||||
### LLM (Llama 3.2 3B)
|
||||
| Parameter | Value |
|
||||
|---|---|
|
||||
| LoRA r | 16 |
|
||||
| LoRA alpha | 32 |
|
||||
| LoRA dropout | 0.1 |
|
||||
| Learning rate | 1e-4 |
|
||||
| Epochs | 3 |
|
||||
| Gradient accumulation | 8 |
|
||||
| Max length | 1024 |
|
||||
| Optim | paged_adamw_8bit |
|
||||
|
||||
## Development Conventions
|
||||
|
||||
- All models use **LoRA** for parameter-efficient fine-tuning (only adapter weights are saved).
|
||||
- Russian language (`ru`) is the primary target for all models.
|
||||
- The LLM is trained with a custom **persona** ("Maven/Мейвен") — a conversational, energetic character. The system prompt enforces strict JSON output format: `{"response":"...","mood":"..."}`.
|
||||
- TTS voice discovery uses **Qwen3-TTS VoiceDesign** to generate synthetic voices interactively.
|
||||
- The QA server uses a **keep/delete workflow** for curating TTS datasets, with state persistence to JSON.
|
||||
- Dataset preprocessing includes casting audio to 16kHz, removing unnecessary columns, and mapping text through the processor.
|
||||
- Progress is logged to **TensorBoard** for all training runs.
|
||||
Executable
+3
@@ -0,0 +1,3 @@
|
||||
export MIOPEN_USER_DB_PATH="$HOME/.config/miopen"
|
||||
export MIOPEN_SYSTEM_DB_PATH="$MIOPEN_USER_DB_PATH"
|
||||
export MIOPEN_FIND_MODE=2
|
||||
Executable
+41
@@ -0,0 +1,41 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
|
||||
HF_CACHE="${HF_HOME:-$HOME/.cache/huggingface}"
|
||||
HF_DATASETS_CACHE="${HF_DATASETS_CACHE:-$HF_CACHE/datasets}"
|
||||
|
||||
echo "=== cleaning tmpfs and HF temp artifacts"
|
||||
|
||||
find /tmp -maxdepth 1 -user "$(whoami)" \( \
|
||||
-name "hf_*" -o \
|
||||
-name "*.arrow" -o \
|
||||
-name "*datasets*" \
|
||||
\) -exec rm -rf {} + 2>/dev/null && echo "[+] /tmp cleaned" || true
|
||||
|
||||
if [ -d /dev/shm ]; then
|
||||
find /dev/shm -maxdepth 1 -user "$(whoami)" -type f -delete 2>/dev/null
|
||||
echo "[+] /dev/shm cleaned"
|
||||
fi
|
||||
|
||||
RUN_USER="/run/user/$(id -u)"
|
||||
if [ -d "$RUN_USER" ]; then
|
||||
find "$RUN_USER" -maxdepth 1 \( -name "torch_*" -o -name "hf_*" \) -exec rm -rf {} + 2>/dev/null || true
|
||||
echo "[+] $RUN_USER scanned"
|
||||
fi
|
||||
|
||||
if [ -d "$HF_DATASETS_CACHE" ]; then
|
||||
find "$HF_DATASETS_CACHE" \( \
|
||||
-name "*.lock" -o \
|
||||
-name "tmp_*" -o \
|
||||
-name "*.incomplete" \
|
||||
\) -delete 2>/dev/null || true
|
||||
echo "[+] HF datasets cache cleaned: $HF_DATASETS_CACHE"
|
||||
fi
|
||||
|
||||
D_TMP="/mnt/D/tmp"
|
||||
if [ -d "$D_TMP" ]; then
|
||||
find "$D_TMP" -maxdepth 1 -mindepth 1 -mmin +60 -exec rm -rf {} + 2>/dev/null || true
|
||||
echo "[+] $D_TMP cleaned (entries older than 1h)"
|
||||
fi
|
||||
|
||||
echo "[+] done"
|
||||
@@ -0,0 +1,101 @@
|
||||
import json
|
||||
import re
|
||||
import argparse
|
||||
|
||||
# --- Emoji regex ---
|
||||
EMOJI_PATTERN = re.compile(
|
||||
"["
|
||||
"\U0001F600-\U0001F64F"
|
||||
"\U0001F300-\U0001F5FF"
|
||||
"\U0001F680-\U0001F6FF"
|
||||
"\U0001F700-\U0001F77F"
|
||||
"\U0001F780-\U0001F7FF"
|
||||
"\U0001F800-\U0001F8FF"
|
||||
"\U0001F900-\U0001F9FF"
|
||||
"\U0001FA00-\U0001FAFF"
|
||||
"\U00002702-\U000027B0"
|
||||
"\U000024C2-\U0001F251"
|
||||
"]+",
|
||||
flags=re.UNICODE,
|
||||
)
|
||||
|
||||
# --- Markdown cleanup ---
|
||||
def remove_markdown(text: str) -> str:
|
||||
# code blocks
|
||||
text = re.sub(r"```.*?```", "", text, flags=re.DOTALL)
|
||||
text = re.sub(r"`.*?`", "", text)
|
||||
|
||||
# images
|
||||
text = re.sub(r"!\[.*?\]\(.*?\)", "", text)
|
||||
|
||||
# links → keep visible text
|
||||
text = re.sub(r"\[(.*?)\]\(.*?\)", r"\1", text)
|
||||
|
||||
# bold / italic / strike
|
||||
text = re.sub(r"(\*\*|__)(.*?)\1", r"\2", text)
|
||||
text = re.sub(r"(\*|_)(.*?)\1", r"\2", text)
|
||||
text = re.sub(r"(~~)(.*?)\1", r"\2", text)
|
||||
|
||||
# headings
|
||||
text = re.sub(r"^#{1,6}\s*", "", text, flags=re.MULTILINE)
|
||||
|
||||
# blockquotes
|
||||
text = re.sub(r"^>\s*", "", text, flags=re.MULTILINE)
|
||||
|
||||
# lists
|
||||
text = re.sub(r"^\s*[-*+]\s+", "", text, flags=re.MULTILINE)
|
||||
|
||||
return text
|
||||
|
||||
|
||||
def remove_emojis(text: str) -> str:
|
||||
return EMOJI_PATTERN.sub("", text)
|
||||
|
||||
|
||||
def clean_text(text: str) -> str:
|
||||
# replace newlines with space
|
||||
text = text.replace("\n", " ")
|
||||
|
||||
# collapse multiple spaces
|
||||
text = re.sub(r"\s+", " ", text)
|
||||
|
||||
text = remove_markdown(text)
|
||||
text = remove_emojis(text)
|
||||
return text.strip()
|
||||
|
||||
|
||||
def clean_obj(obj):
|
||||
if isinstance(obj, dict):
|
||||
return {k: clean_obj(v) for k, v in obj.items()}
|
||||
elif isinstance(obj, list):
|
||||
return [clean_obj(x) for x in obj]
|
||||
elif isinstance(obj, str):
|
||||
return clean_text(obj)
|
||||
else:
|
||||
return obj
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description="Clean JSONL from markdown and emojis")
|
||||
parser.add_argument("input", help="Input JSONL file")
|
||||
parser.add_argument("output", help="Output JSONL file")
|
||||
args = parser.parse_args()
|
||||
|
||||
with open(args.input, "r", encoding="utf-8") as fin, \
|
||||
open(args.output, "w", encoding="utf-8") as fout:
|
||||
|
||||
for i, line in enumerate(fin, 1):
|
||||
line = line.strip()
|
||||
if not line:
|
||||
continue
|
||||
|
||||
try:
|
||||
data = json.loads(line)
|
||||
cleaned = clean_obj(data)
|
||||
fout.write(json.dumps(cleaned, ensure_ascii=False) + "\n")
|
||||
except Exception as e:
|
||||
print(f"[line {i}] Skipping due to error: {e}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,182 @@
|
||||
{
|
||||
"schema_version": 1,
|
||||
"read_only": true,
|
||||
"model": "Qwen/Qwen3-1.7B-Base",
|
||||
"packed": {
|
||||
"path": "/home/kami/Programs/esp32-whisper-fine-tune/llm/data/cpt_packed",
|
||||
"rows": 129221,
|
||||
"block_tokens": 2048,
|
||||
"total_tokens": 264644608,
|
||||
"arrow_bytes": 1059122792,
|
||||
"arrow_sha256": {
|
||||
"data-00000-of-00003.arrow": "0e9276e5fd85e692ec33385b51b3d9afb00b7dd0dec779b9cd240fc78cf64ce5",
|
||||
"data-00001-of-00003.arrow": "1f748a906c898a99c0940b8104a9c9fcab6236ab9b8ce0cb2acf4173da55808a",
|
||||
"data-00002-of-00003.arrow": "e8e3cc118ade3963bfe7a0609c468b27b7a931b826547e44ff755204682aae4d"
|
||||
},
|
||||
"sampled_rows": 16,
|
||||
"sample_bad_lengths": 0,
|
||||
"sample_out_of_vocab_ids": 0,
|
||||
"sample_mixed_script_rows": 4
|
||||
},
|
||||
"clean_sources": {
|
||||
"books": {
|
||||
"docs": 21784,
|
||||
"chars": 92410645,
|
||||
"mean_doc_chars": 4242.13,
|
||||
"mean_cyrillic_ratio": 0.988257,
|
||||
"mixed_script_docs": 0,
|
||||
"bytes": 168304006,
|
||||
"sha256": "99235f16bba523405405553732fe42298abff9cfd01d2adb6dc25902e3bf56cc"
|
||||
},
|
||||
"culturax": {
|
||||
"docs": 187956,
|
||||
"chars": 508949928,
|
||||
"mean_doc_chars": 2707.81,
|
||||
"mean_cyrillic_ratio": 0.95988,
|
||||
"mixed_script_docs": 247,
|
||||
"bytes": 918337344,
|
||||
"sha256": "8da8504d5bf03155fbe613a1f7db37d2dd49e3c77e8ff3ef5c1bc4a09d37aad4"
|
||||
},
|
||||
"wiki": {
|
||||
"docs": 21128,
|
||||
"chars": 131921258,
|
||||
"mean_doc_chars": 6243.91,
|
||||
"mean_cyrillic_ratio": 0.970641,
|
||||
"mixed_script_docs": 0,
|
||||
"bytes": 237952666,
|
||||
"sha256": "cc18c5a91a53c2bbb9727788036ea61b872484faffae8e764194071e556653f9"
|
||||
}
|
||||
},
|
||||
"clean_char_share_pct": {
|
||||
"books": 12.602,
|
||||
"culturax": 69.407,
|
||||
"wiki": 17.991
|
||||
},
|
||||
"provenance_warning": "Packed Arrow has no per-block source/document metadata; source shares can only be reconstructed from the clean inputs, not proven from Arrow alone.",
|
||||
"checkpoint": {
|
||||
"present": true,
|
||||
"latest_checkpoint": "/home/kami/Programs/esp32-whisper-fine-tune/llm/Qwen3-1.7B-ru-cpt/checkpoint-1000",
|
||||
"global_step": 1000,
|
||||
"max_steps": 8077,
|
||||
"progress_pct": 12.381,
|
||||
"epoch": 0.123818883927535,
|
||||
"last_loss": 1.9053752899169922,
|
||||
"last_grad_norm": 1.3828125,
|
||||
"last_learning_rate": 9.771972501846451e-06,
|
||||
"full_weight_model_bytes": 3441185608
|
||||
},
|
||||
"samples": [
|
||||
{
|
||||
"index": 6555,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.999387,
|
||||
"mixed_script": false,
|
||||
"preview": " понимающими, какое впечатление это производит. Президентские выборы должны были добавить легитимности нынешнему правлению — так вот, этого не случилось. Во-вторых, произошли значительные изменения в характере протестного движения. Количест"
|
||||
},
|
||||
{
|
||||
"index": 8078,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.988204,
|
||||
"mixed_script": false,
|
||||
"preview": " не приходится: то время было периодом расцвета жанра – начиная с мирискусников и заканчивая соцреалистами. Потом, правда, возник еще оттепельный подъем интереса к натюрморту, охвативший как официальных, так и андеграундных художников, но д"
|
||||
},
|
||||
{
|
||||
"index": 8511,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 1.0,
|
||||
"mixed_script": false,
|
||||
"preview": "ясниться. В качестве переводчика, а точнее – менеджера спортивного отдела по работе с иностранцами, он и был приглашен в «Спартак» еще генеральным директором Сергеем Шавло. При генеральном директоре Карпине пошел на повышение. Сначала стал "
|
||||
},
|
||||
{
|
||||
"index": 22305,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.976603,
|
||||
"mixed_script": true,
|
||||
"preview": " День на день не приходится 20 февраля 2019 года, 18:30 Театр Малый театр (малая сцена на Ордынке) 2500 Р Травиата 20 февраля 2019 года, 19:00 Театр Новая Опера 2000 Р Все о Золушке 20 февраля 2019 года, 19:00 Театр Театр Мюзикла 2000 Р Точ"
|
||||
},
|
||||
{
|
||||
"index": 33410,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.937131,
|
||||
"mixed_script": true,
|
||||
"preview": "ело какао, и даже Надкостницу следует оставить комментарий на 1 час, затем проглотить. Студенческая истина питает и вызывает красавцы, делает их жирными, ранними и послушными. BOTANIC THERAPY протекает секущиеся кончики, питает, встряхивает"
|
||||
},
|
||||
{
|
||||
"index": 43006,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.996627,
|
||||
"mixed_script": false,
|
||||
"preview": " человека? Информация от учителя Люди заставляют воду давать электроэнергию, перевозить грузы, орошать землю, лечить и развлекать человека. Динамический момент(закрепление знаний речных и морских обитателей) показываются картинки с подписям"
|
||||
},
|
||||
{
|
||||
"index": 45603,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.995132,
|
||||
"mixed_script": false,
|
||||
"preview": ", балк., гараж в доме, выход на террасу с кухни и с дома Автомойки бесконтактные цена в Украине | Купить all biz 48 предложений Автомойки бесконтактные в , заказать и купить Шланги для автомойки штуцеровка,рукав автомойки чертежи дробилка щ"
|
||||
},
|
||||
{
|
||||
"index": 47673,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.952866,
|
||||
"mixed_script": true,
|
||||
"preview": " тот постоянно инвестирует в себя, тот, кто чувствует эти тренды, кто постоянно занимается этими технологиями, он, в конечном итоге, забирает всё. Все спикеры - члены международной организации YPO. Сегодня в клубе состоят 28 тысяч бизнесмен"
|
||||
},
|
||||
{
|
||||
"index": 49647,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.868365,
|
||||
"mixed_script": false,
|
||||
"preview": "7 КБ | Просмотров: 2825 ] 100_9393.JPG [ 843.98 КБ | Просмотров: 2818 ] Сама посудина 100_9392.JPG [ 885.76 КБ | Просмотров: 2816 ] Демон с Наташей готовятся к бою 100_9397.JPG [ 928.71 КБ | Просмотров: 2821 ] Да короче все готовятся 100_93"
|
||||
},
|
||||
{
|
||||
"index": 60392,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.938221,
|
||||
"mixed_script": false,
|
||||
"preview": "Бегемотик\" купить в магазине Апанде - купить недорого. Низкие цены в магазине Апанде. Серебряная ложка с эмалью \"Бегемотик\" Серебряная чайная ложка \"Бегемотик\" у нас Серебряная чайная ложка \"Бегемотик\" прошел ОТК и проверку в государственно"
|
||||
},
|
||||
{
|
||||
"index": 75172,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.999089,
|
||||
"mixed_script": false,
|
||||
"preview": "КАЯ: Как невероятно метки… С. БУНТМАН: … точно его Пауком назвали. Н. БАСОВСКАЯ: Невероятно меткими являются вот эти народные прозвания. Как часто многие из правителей, желающие оставить в веках совсем другой след, чем они, по сути, заслужи"
|
||||
},
|
||||
{
|
||||
"index": 97796,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.992467,
|
||||
"mixed_script": true,
|
||||
"preview": "альник дифференциала Масло трансмиссионное Карданный вал Подвесной подшипник Двигатель Блок цилиндров Прокладки блока цилиндров Головка блока цилиндров Болты ГБЦ Головка блока цилиндров Направляющая втулка клапана Крепление двигателя Кроншт"
|
||||
},
|
||||
{
|
||||
"index": 100605,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.999315,
|
||||
"mixed_script": false,
|
||||
"preview": " невредимой, но голос его при этом выражал куда более глубокие чувства. – я уронила корзину и уперла руки в бока. Сокровища профессора не интересовали. Отозвался бегущий, даже не обернувшись. Будь готов к шоку после того, как покинешь робот"
|
||||
},
|
||||
{
|
||||
"index": 117529,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.986769,
|
||||
"mixed_script": false,
|
||||
"preview": "» и «Восток». Своеобразной достопримечательностью «Всемирной литературы» была торговка Роза Васильевна. В 1924 году издательство «Всемирная литература» было объединено с Ленгизом. См. также Библиотека всемирной литературы Примечания "
|
||||
},
|
||||
{
|
||||
"index": 122565,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 0.927888,
|
||||
"mixed_script": false,
|
||||
"preview": "ікінги в Центрально-Східній Європі: Загадки Ладоги і Пліснеська Butler F. Ol'ga's Conversion and the Construction of Chronicle Narrative // The Russian Review, 2008. Vol. 67, № 2. — pp. 230–242. Ссылки Княгиня Ольга на официальном сай"
|
||||
},
|
||||
{
|
||||
"index": 122647,
|
||||
"tokens": 2048,
|
||||
"cyrillic_ratio": 1.0,
|
||||
"mixed_script": false,
|
||||
"preview": " комплексе «Тополь-М». На боевое дежурство 1-й ракетный дивизион и ПКП 321 рп заступил 10 декабря 2006 года в 15:00. Тогда же стало известно о подписании президентом Владимиром Путиным новой государственной программы вооружений до 2015 года"
|
||||
}
|
||||
]
|
||||
}
|
||||
@@ -0,0 +1,207 @@
|
||||
---
|
||||
base_model: unsloth/Llama-3.2-3B-Instruct
|
||||
library_name: peft
|
||||
pipeline_tag: text-generation
|
||||
tags:
|
||||
- base_model:adapter:unsloth/Llama-3.2-3B-Instruct
|
||||
- lora
|
||||
- transformers
|
||||
---
|
||||
|
||||
# Model Card for Model ID
|
||||
|
||||
<!-- Provide a quick summary of what the model is/does. -->
|
||||
|
||||
|
||||
|
||||
## Model Details
|
||||
|
||||
### Model Description
|
||||
|
||||
<!-- Provide a longer summary of what this model is. -->
|
||||
|
||||
|
||||
|
||||
- **Developed by:** [More Information Needed]
|
||||
- **Funded by [optional]:** [More Information Needed]
|
||||
- **Shared by [optional]:** [More Information Needed]
|
||||
- **Model type:** [More Information Needed]
|
||||
- **Language(s) (NLP):** [More Information Needed]
|
||||
- **License:** [More Information Needed]
|
||||
- **Finetuned from model [optional]:** [More Information Needed]
|
||||
|
||||
### Model Sources [optional]
|
||||
|
||||
<!-- Provide the basic links for the model. -->
|
||||
|
||||
- **Repository:** [More Information Needed]
|
||||
- **Paper [optional]:** [More Information Needed]
|
||||
- **Demo [optional]:** [More Information Needed]
|
||||
|
||||
## Uses
|
||||
|
||||
<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
|
||||
|
||||
### Direct Use
|
||||
|
||||
<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Downstream Use [optional]
|
||||
|
||||
<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Out-of-Scope Use
|
||||
|
||||
<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Bias, Risks, and Limitations
|
||||
|
||||
<!-- This section is meant to convey both technical and sociotechnical limitations. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Recommendations
|
||||
|
||||
<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
|
||||
|
||||
Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
|
||||
|
||||
## How to Get Started with the Model
|
||||
|
||||
Use the code below to get started with the model.
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Training Details
|
||||
|
||||
### Training Data
|
||||
|
||||
<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Training Procedure
|
||||
|
||||
<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
|
||||
|
||||
#### Preprocessing [optional]
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
|
||||
#### Training Hyperparameters
|
||||
|
||||
- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
|
||||
|
||||
#### Speeds, Sizes, Times [optional]
|
||||
|
||||
<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Evaluation
|
||||
|
||||
<!-- This section describes the evaluation protocols and provides the results. -->
|
||||
|
||||
### Testing Data, Factors & Metrics
|
||||
|
||||
#### Testing Data
|
||||
|
||||
<!-- This should link to a Dataset Card if possible. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Factors
|
||||
|
||||
<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Metrics
|
||||
|
||||
<!-- These are the evaluation metrics being used, ideally with a description of why. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Results
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Summary
|
||||
|
||||
|
||||
|
||||
## Model Examination [optional]
|
||||
|
||||
<!-- Relevant interpretability work for the model goes here -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Environmental Impact
|
||||
|
||||
<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
|
||||
|
||||
Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
|
||||
|
||||
- **Hardware Type:** [More Information Needed]
|
||||
- **Hours used:** [More Information Needed]
|
||||
- **Cloud Provider:** [More Information Needed]
|
||||
- **Compute Region:** [More Information Needed]
|
||||
- **Carbon Emitted:** [More Information Needed]
|
||||
|
||||
## Technical Specifications [optional]
|
||||
|
||||
### Model Architecture and Objective
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Compute Infrastructure
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Hardware
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Software
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Citation [optional]
|
||||
|
||||
<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
|
||||
|
||||
**BibTeX:**
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
**APA:**
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Glossary [optional]
|
||||
|
||||
<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## More Information [optional]
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Model Card Authors [optional]
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Model Card Contact
|
||||
|
||||
[More Information Needed]
|
||||
### Framework versions
|
||||
|
||||
- PEFT 0.18.1
|
||||
@@ -0,0 +1,46 @@
|
||||
{
|
||||
"alora_invocation_tokens": null,
|
||||
"alpha_pattern": {},
|
||||
"arrow_config": null,
|
||||
"auto_mapping": null,
|
||||
"base_model_name_or_path": "unsloth/Llama-3.2-3B-Instruct",
|
||||
"bias": "none",
|
||||
"corda_config": null,
|
||||
"ensure_weight_tying": false,
|
||||
"eva_config": null,
|
||||
"exclude_modules": null,
|
||||
"fan_in_fan_out": false,
|
||||
"inference_mode": true,
|
||||
"init_lora_weights": true,
|
||||
"layer_replication": null,
|
||||
"layers_pattern": null,
|
||||
"layers_to_transform": null,
|
||||
"loftq_config": {},
|
||||
"lora_alpha": 32,
|
||||
"lora_bias": false,
|
||||
"lora_dropout": 0.1,
|
||||
"megatron_config": null,
|
||||
"megatron_core": "megatron.core",
|
||||
"modules_to_save": null,
|
||||
"peft_type": "LORA",
|
||||
"peft_version": "0.18.1",
|
||||
"qalora_group_size": 16,
|
||||
"r": 16,
|
||||
"rank_pattern": {},
|
||||
"revision": null,
|
||||
"target_modules": [
|
||||
"gate_proj",
|
||||
"up_proj",
|
||||
"o_proj",
|
||||
"k_proj",
|
||||
"q_proj",
|
||||
"v_proj",
|
||||
"down_proj"
|
||||
],
|
||||
"target_parameters": null,
|
||||
"task_type": "CAUSAL_LM",
|
||||
"trainable_token_indices": null,
|
||||
"use_dora": false,
|
||||
"use_qalora": false,
|
||||
"use_rslora": false
|
||||
}
|
||||
@@ -0,0 +1,93 @@
|
||||
{{- bos_token }}
|
||||
{%- if custom_tools is defined %}
|
||||
{%- set tools = custom_tools %}
|
||||
{%- endif %}
|
||||
{%- if not tools_in_user_message is defined %}
|
||||
{%- set tools_in_user_message = true %}
|
||||
{%- endif %}
|
||||
{%- if not date_string is defined %}
|
||||
{%- if strftime_now is defined %}
|
||||
{%- set date_string = strftime_now("%d %b %Y") %}
|
||||
{%- else %}
|
||||
{%- set date_string = "26 Jul 2024" %}
|
||||
{%- endif %}
|
||||
{%- endif %}
|
||||
{%- if not tools is defined %}
|
||||
{%- set tools = none %}
|
||||
{%- endif %}
|
||||
|
||||
{#- This block extracts the system message, so we can slot it into the right place. #}
|
||||
{%- if messages[0]['role'] == 'system' %}
|
||||
{%- set system_message = messages[0]['content']|trim %}
|
||||
{%- set messages = messages[1:] %}
|
||||
{%- else %}
|
||||
{%- set system_message = "" %}
|
||||
{%- endif %}
|
||||
|
||||
{#- System message #}
|
||||
{{- "<|start_header_id|>system<|end_header_id|>\n\n" }}
|
||||
{%- if tools is not none %}
|
||||
{{- "Environment: ipython\n" }}
|
||||
{%- endif %}
|
||||
{{- "Cutting Knowledge Date: December 2023\n" }}
|
||||
{{- "Today Date: " + date_string + "\n\n" }}
|
||||
{%- if tools is not none and not tools_in_user_message %}
|
||||
{{- "You have access to the following functions. To call a function, please respond with JSON for a function call." }}
|
||||
{{- 'Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}.' }}
|
||||
{{- "Do not use variables.\n\n" }}
|
||||
{%- for t in tools %}
|
||||
{{- t | tojson(indent=4) }}
|
||||
{{- "\n\n" }}
|
||||
{%- endfor %}
|
||||
{%- endif %}
|
||||
{{- system_message }}
|
||||
{{- "<|eot_id|>" }}
|
||||
|
||||
{#- Custom tools are passed in a user message with some extra guidance #}
|
||||
{%- if tools_in_user_message and not tools is none %}
|
||||
{#- Extract the first user message so we can plug it in here #}
|
||||
{%- if messages | length != 0 %}
|
||||
{%- set first_user_message = messages[0]['content']|trim %}
|
||||
{%- set messages = messages[1:] %}
|
||||
{%- else %}
|
||||
{{- raise_exception("Cannot put tools in the first user message when there's no first user message!") }}
|
||||
{%- endif %}
|
||||
{{- '<|start_header_id|>user<|end_header_id|>\n\n' -}}
|
||||
{{- "Given the following functions, please respond with a JSON for a function call " }}
|
||||
{{- "with its proper arguments that best answers the given prompt.\n\n" }}
|
||||
{{- 'Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}.' }}
|
||||
{{- "Do not use variables.\n\n" }}
|
||||
{%- for t in tools %}
|
||||
{{- t | tojson(indent=4) }}
|
||||
{{- "\n\n" }}
|
||||
{%- endfor %}
|
||||
{{- first_user_message + "<|eot_id|>"}}
|
||||
{%- endif %}
|
||||
|
||||
{%- for message in messages %}
|
||||
{%- if not (message.role == 'ipython' or message.role == 'tool' or 'tool_calls' in message) %}
|
||||
{{- '<|start_header_id|>' + message['role'] + '<|end_header_id|>\n\n'+ message['content'] | trim + '<|eot_id|>' }}
|
||||
{%- elif 'tool_calls' in message %}
|
||||
{%- if not message.tool_calls|length == 1 %}
|
||||
{{- raise_exception("This model only supports single tool-calls at once!") }}
|
||||
{%- endif %}
|
||||
{%- set tool_call = message.tool_calls[0].function %}
|
||||
{{- '<|start_header_id|>assistant<|end_header_id|>\n\n' -}}
|
||||
{{- '{"name": "' + tool_call.name + '", ' }}
|
||||
{{- '"parameters": ' }}
|
||||
{{- tool_call.arguments | tojson }}
|
||||
{{- "}" }}
|
||||
{{- "<|eot_id|>" }}
|
||||
{%- elif message.role == "tool" or message.role == "ipython" %}
|
||||
{{- "<|start_header_id|>ipython<|end_header_id|>\n\n" }}
|
||||
{%- if message.content is mapping or message.content is iterable %}
|
||||
{{- message.content | tojson }}
|
||||
{%- else %}
|
||||
{{- message.content }}
|
||||
{%- endif %}
|
||||
{{- "<|eot_id|>" }}
|
||||
{%- endif %}
|
||||
{%- endfor %}
|
||||
{%- if add_generation_prompt %}
|
||||
{{- '<|start_header_id|>assistant<|end_header_id|>\n\n' }}
|
||||
{%- endif %}
|
||||
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,16 @@
|
||||
{
|
||||
"backend": "tokenizers",
|
||||
"bos_token": "<|begin_of_text|>",
|
||||
"clean_up_tokenization_spaces": true,
|
||||
"eos_token": "<|eot_id|>",
|
||||
"is_local": false,
|
||||
"model_input_names": [
|
||||
"input_ids",
|
||||
"attention_mask"
|
||||
],
|
||||
"model_max_length": 131072,
|
||||
"pad_token": "<|eot_id|>",
|
||||
"padding_side": "right",
|
||||
"tokenizer_class": "TokenizersBackend",
|
||||
"unk_token": null
|
||||
}
|
||||
@@ -0,0 +1,207 @@
|
||||
---
|
||||
base_model: unsloth/Llama-3.2-3B-Instruct
|
||||
library_name: peft
|
||||
pipeline_tag: text-generation
|
||||
tags:
|
||||
- base_model:adapter:unsloth/Llama-3.2-3B-Instruct
|
||||
- lora
|
||||
- transformers
|
||||
---
|
||||
|
||||
# Model Card for Model ID
|
||||
|
||||
<!-- Provide a quick summary of what the model is/does. -->
|
||||
|
||||
|
||||
|
||||
## Model Details
|
||||
|
||||
### Model Description
|
||||
|
||||
<!-- Provide a longer summary of what this model is. -->
|
||||
|
||||
|
||||
|
||||
- **Developed by:** [More Information Needed]
|
||||
- **Funded by [optional]:** [More Information Needed]
|
||||
- **Shared by [optional]:** [More Information Needed]
|
||||
- **Model type:** [More Information Needed]
|
||||
- **Language(s) (NLP):** [More Information Needed]
|
||||
- **License:** [More Information Needed]
|
||||
- **Finetuned from model [optional]:** [More Information Needed]
|
||||
|
||||
### Model Sources [optional]
|
||||
|
||||
<!-- Provide the basic links for the model. -->
|
||||
|
||||
- **Repository:** [More Information Needed]
|
||||
- **Paper [optional]:** [More Information Needed]
|
||||
- **Demo [optional]:** [More Information Needed]
|
||||
|
||||
## Uses
|
||||
|
||||
<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
|
||||
|
||||
### Direct Use
|
||||
|
||||
<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Downstream Use [optional]
|
||||
|
||||
<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Out-of-Scope Use
|
||||
|
||||
<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Bias, Risks, and Limitations
|
||||
|
||||
<!-- This section is meant to convey both technical and sociotechnical limitations. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Recommendations
|
||||
|
||||
<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
|
||||
|
||||
Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
|
||||
|
||||
## How to Get Started with the Model
|
||||
|
||||
Use the code below to get started with the model.
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Training Details
|
||||
|
||||
### Training Data
|
||||
|
||||
<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Training Procedure
|
||||
|
||||
<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
|
||||
|
||||
#### Preprocessing [optional]
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
|
||||
#### Training Hyperparameters
|
||||
|
||||
- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
|
||||
|
||||
#### Speeds, Sizes, Times [optional]
|
||||
|
||||
<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Evaluation
|
||||
|
||||
<!-- This section describes the evaluation protocols and provides the results. -->
|
||||
|
||||
### Testing Data, Factors & Metrics
|
||||
|
||||
#### Testing Data
|
||||
|
||||
<!-- This should link to a Dataset Card if possible. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Factors
|
||||
|
||||
<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Metrics
|
||||
|
||||
<!-- These are the evaluation metrics being used, ideally with a description of why. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Results
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Summary
|
||||
|
||||
|
||||
|
||||
## Model Examination [optional]
|
||||
|
||||
<!-- Relevant interpretability work for the model goes here -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Environmental Impact
|
||||
|
||||
<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
|
||||
|
||||
Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
|
||||
|
||||
- **Hardware Type:** [More Information Needed]
|
||||
- **Hours used:** [More Information Needed]
|
||||
- **Cloud Provider:** [More Information Needed]
|
||||
- **Compute Region:** [More Information Needed]
|
||||
- **Carbon Emitted:** [More Information Needed]
|
||||
|
||||
## Technical Specifications [optional]
|
||||
|
||||
### Model Architecture and Objective
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Compute Infrastructure
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Hardware
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Software
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Citation [optional]
|
||||
|
||||
<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
|
||||
|
||||
**BibTeX:**
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
**APA:**
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Glossary [optional]
|
||||
|
||||
<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## More Information [optional]
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Model Card Authors [optional]
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Model Card Contact
|
||||
|
||||
[More Information Needed]
|
||||
### Framework versions
|
||||
|
||||
- PEFT 0.18.1
|
||||
@@ -0,0 +1,46 @@
|
||||
{
|
||||
"alora_invocation_tokens": null,
|
||||
"alpha_pattern": {},
|
||||
"arrow_config": null,
|
||||
"auto_mapping": null,
|
||||
"base_model_name_or_path": "unsloth/Llama-3.2-3B-Instruct",
|
||||
"bias": "none",
|
||||
"corda_config": null,
|
||||
"ensure_weight_tying": false,
|
||||
"eva_config": null,
|
||||
"exclude_modules": null,
|
||||
"fan_in_fan_out": false,
|
||||
"inference_mode": true,
|
||||
"init_lora_weights": true,
|
||||
"layer_replication": null,
|
||||
"layers_pattern": null,
|
||||
"layers_to_transform": null,
|
||||
"loftq_config": {},
|
||||
"lora_alpha": 32,
|
||||
"lora_bias": false,
|
||||
"lora_dropout": 0.1,
|
||||
"megatron_config": null,
|
||||
"megatron_core": "megatron.core",
|
||||
"modules_to_save": null,
|
||||
"peft_type": "LORA",
|
||||
"peft_version": "0.18.1",
|
||||
"qalora_group_size": 16,
|
||||
"r": 8,
|
||||
"rank_pattern": {},
|
||||
"revision": null,
|
||||
"target_modules": [
|
||||
"gate_proj",
|
||||
"q_proj",
|
||||
"o_proj",
|
||||
"k_proj",
|
||||
"v_proj",
|
||||
"down_proj",
|
||||
"up_proj"
|
||||
],
|
||||
"target_parameters": null,
|
||||
"task_type": "CAUSAL_LM",
|
||||
"trainable_token_indices": null,
|
||||
"use_dora": false,
|
||||
"use_qalora": false,
|
||||
"use_rslora": false
|
||||
}
|
||||
@@ -0,0 +1,93 @@
|
||||
{{- bos_token }}
|
||||
{%- if custom_tools is defined %}
|
||||
{%- set tools = custom_tools %}
|
||||
{%- endif %}
|
||||
{%- if not tools_in_user_message is defined %}
|
||||
{%- set tools_in_user_message = true %}
|
||||
{%- endif %}
|
||||
{%- if not date_string is defined %}
|
||||
{%- if strftime_now is defined %}
|
||||
{%- set date_string = strftime_now("%d %b %Y") %}
|
||||
{%- else %}
|
||||
{%- set date_string = "26 Jul 2024" %}
|
||||
{%- endif %}
|
||||
{%- endif %}
|
||||
{%- if not tools is defined %}
|
||||
{%- set tools = none %}
|
||||
{%- endif %}
|
||||
|
||||
{#- This block extracts the system message, so we can slot it into the right place. #}
|
||||
{%- if messages[0]['role'] == 'system' %}
|
||||
{%- set system_message = messages[0]['content']|trim %}
|
||||
{%- set messages = messages[1:] %}
|
||||
{%- else %}
|
||||
{%- set system_message = "" %}
|
||||
{%- endif %}
|
||||
|
||||
{#- System message #}
|
||||
{{- "<|start_header_id|>system<|end_header_id|>\n\n" }}
|
||||
{%- if tools is not none %}
|
||||
{{- "Environment: ipython\n" }}
|
||||
{%- endif %}
|
||||
{{- "Cutting Knowledge Date: December 2023\n" }}
|
||||
{{- "Today Date: " + date_string + "\n\n" }}
|
||||
{%- if tools is not none and not tools_in_user_message %}
|
||||
{{- "You have access to the following functions. To call a function, please respond with JSON for a function call." }}
|
||||
{{- 'Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}.' }}
|
||||
{{- "Do not use variables.\n\n" }}
|
||||
{%- for t in tools %}
|
||||
{{- t | tojson(indent=4) }}
|
||||
{{- "\n\n" }}
|
||||
{%- endfor %}
|
||||
{%- endif %}
|
||||
{{- system_message }}
|
||||
{{- "<|eot_id|>" }}
|
||||
|
||||
{#- Custom tools are passed in a user message with some extra guidance #}
|
||||
{%- if tools_in_user_message and not tools is none %}
|
||||
{#- Extract the first user message so we can plug it in here #}
|
||||
{%- if messages | length != 0 %}
|
||||
{%- set first_user_message = messages[0]['content']|trim %}
|
||||
{%- set messages = messages[1:] %}
|
||||
{%- else %}
|
||||
{{- raise_exception("Cannot put tools in the first user message when there's no first user message!") }}
|
||||
{%- endif %}
|
||||
{{- '<|start_header_id|>user<|end_header_id|>\n\n' -}}
|
||||
{{- "Given the following functions, please respond with a JSON for a function call " }}
|
||||
{{- "with its proper arguments that best answers the given prompt.\n\n" }}
|
||||
{{- 'Respond in the format {"name": function name, "parameters": dictionary of argument name and its value}.' }}
|
||||
{{- "Do not use variables.\n\n" }}
|
||||
{%- for t in tools %}
|
||||
{{- t | tojson(indent=4) }}
|
||||
{{- "\n\n" }}
|
||||
{%- endfor %}
|
||||
{{- first_user_message + "<|eot_id|>"}}
|
||||
{%- endif %}
|
||||
|
||||
{%- for message in messages %}
|
||||
{%- if not (message.role == 'ipython' or message.role == 'tool' or 'tool_calls' in message) %}
|
||||
{{- '<|start_header_id|>' + message['role'] + '<|end_header_id|>\n\n'+ message['content'] | trim + '<|eot_id|>' }}
|
||||
{%- elif 'tool_calls' in message %}
|
||||
{%- if not message.tool_calls|length == 1 %}
|
||||
{{- raise_exception("This model only supports single tool-calls at once!") }}
|
||||
{%- endif %}
|
||||
{%- set tool_call = message.tool_calls[0].function %}
|
||||
{{- '<|start_header_id|>assistant<|end_header_id|>\n\n' -}}
|
||||
{{- '{"name": "' + tool_call.name + '", ' }}
|
||||
{{- '"parameters": ' }}
|
||||
{{- tool_call.arguments | tojson }}
|
||||
{{- "}" }}
|
||||
{{- "<|eot_id|>" }}
|
||||
{%- elif message.role == "tool" or message.role == "ipython" %}
|
||||
{{- "<|start_header_id|>ipython<|end_header_id|>\n\n" }}
|
||||
{%- if message.content is mapping or message.content is iterable %}
|
||||
{{- message.content | tojson }}
|
||||
{%- else %}
|
||||
{{- message.content }}
|
||||
{%- endif %}
|
||||
{{- "<|eot_id|>" }}
|
||||
{%- endif %}
|
||||
{%- endfor %}
|
||||
{%- if add_generation_prompt %}
|
||||
{{- '<|start_header_id|>assistant<|end_header_id|>\n\n' }}
|
||||
{%- endif %}
|
||||
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,16 @@
|
||||
{
|
||||
"backend": "tokenizers",
|
||||
"bos_token": "<|begin_of_text|>",
|
||||
"clean_up_tokenization_spaces": true,
|
||||
"eos_token": "<|eot_id|>",
|
||||
"is_local": false,
|
||||
"model_input_names": [
|
||||
"input_ids",
|
||||
"attention_mask"
|
||||
],
|
||||
"model_max_length": 131072,
|
||||
"pad_token": "<|eot_id|>",
|
||||
"padding_side": "right",
|
||||
"tokenizer_class": "TokenizersBackend",
|
||||
"unk_token": null
|
||||
}
|
||||
@@ -0,0 +1,64 @@
|
||||
# RU-CPT corpus + training — runbook
|
||||
|
||||
Scripts for building our own RU-native base (continued pretraining of
|
||||
Qwen3-1.7B-Base). Full plan: `Maven/docs/plans/2026-07-11-ru-cpt-base.md`.
|
||||
|
||||
## One-time setup
|
||||
|
||||
```bash
|
||||
pip install datasets ftfy datasketch fasttext openai peft accelerate
|
||||
wget -O data/lid.176.bin \
|
||||
https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin
|
||||
huggingface-cli login # accept CulturaX (gated) license
|
||||
```
|
||||
`fasttext` build fails → `pip install fasttext-wheel`. Move the model → `export FASTTEXT_LID=/path`.
|
||||
|
||||
## Run order
|
||||
|
||||
```bash
|
||||
# Phase 2 — corpus (build first; longest)
|
||||
python corpus_fetch.py all
|
||||
ROUTER_BASE_URL="https://your-router/v1" ROUTER_API_KEY="..." \
|
||||
ROUTER_MODELS="m-a,m-b,m-c" python corpus_synth.py # ≤10% hard cap
|
||||
MAVEN_LOGS=/path/to/dialogue.jsonl python corpus_logs.py # optional
|
||||
python corpus_clean.py # ftfy+langID+dedup
|
||||
python corpus_stats.py # DONE-CHECK, eyeball
|
||||
python corpus_pack.py # → data/cpt_packed/
|
||||
|
||||
# Phase 3 — CPT (days; --resume to continue; CPT_PATH=dora if OOM)
|
||||
HSA_OVERRIDE_GFX_VERSION=11.0.0 python train_cpt.py 2>&1 | tee cpt_run.log
|
||||
|
||||
# Phase 4 — eval + gate
|
||||
python eval_cyrillic.py --model Qwen/Qwen3-1.7B-Base # baseline
|
||||
python eval_cyrillic.py --model ./Qwen3-1.7B-ru-cpt # must beat baseline
|
||||
|
||||
# Phase 6-7 — persona LoRA (train_rocm.py @ ./Qwen3-1.7B-ru-cpt) → GGUF → Q8_0 → homesrv
|
||||
```
|
||||
|
||||
## Gotchas (a fresh agent WILL hit these)
|
||||
|
||||
- **Run `corpus_clean.py` with NO args (all buckets in ONE invocation).** Dedup is
|
||||
a single in-memory MinHash-LSH shared across buckets. Cleaning buckets in
|
||||
separate runs = no cross-bucket dedup = duplicated data across sources.
|
||||
- **Disk space.** `corpus_fetch.py` over-pulls ~1.5× and CulturaX streaming still
|
||||
caches to `HF_DATASETS_CACHE` (`/mnt/D/.cache/...`). Expect tens of GB of raw +
|
||||
cache. Check `df -h /mnt/D` before starting; `rm -rf data/cpt_raw` after packing.
|
||||
- **Strict order.** fetch → clean → pack → train. `corpus_pack.py` reads
|
||||
`data/cpt_clean/`; `train_cpt.py` reads `data/cpt_packed/`. Skipping a stage
|
||||
silently trains on nothing (empty dataset → instant "done", garbage model).
|
||||
- **`corpus_pack.py` prints the final token count — READ IT.** Must be ~300M ±50M.
|
||||
Way under → a fetch failed or clean dropped too much; way over → over-pulled.
|
||||
Do not train on a 20M-token corpus and expect CPT to work.
|
||||
- **Verify the base repo id exists**: `Qwen/Qwen3-1.7B-Base`. If HF 404s, the
|
||||
naming shifted — find the current Qwen3 ~1.7B *base* (non-Instruct) id.
|
||||
- **Eval held-out set must NOT be training data.** `--eval-text` should point at
|
||||
real RU text you set aside before packing, or the PPL number is a lie.
|
||||
- **Re-running is safe.** fetch/clean/pack/synth all overwrite their outputs; CPT
|
||||
resumes with `--resume`. No manual cleanup needed between retries.
|
||||
|
||||
## Hard rules (full list in the plan §9)
|
||||
|
||||
1. CPT corpus = raw text; persona `{response,mood}` is a separate Phase-6 dataset.
|
||||
2. Synthetic ≤ 10%. 3. lr 1e-5, 1 epoch. 4. Base = Qwen3-1.7B-**Base**.
|
||||
5. Never quantize before merge. 6. All sources through corpus_clean.py.
|
||||
7. Don't skip a DONE-CHECK; if CPT loses to raw, stop (Phase 5 gate).
|
||||
@@ -0,0 +1,184 @@
|
||||
"""Phase 6c — generate English persona samples, append to persona_train.jsonl.
|
||||
|
||||
Reuses gen_data.py's CANONICAL_SYSTEM_PROMPT (which handles English input),
|
||||
TOPIC_SEEDS_ENGLISH, and validation. Runs independently.
|
||||
|
||||
Usage:
|
||||
python append_english.py
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
import random
|
||||
from itertools import cycle
|
||||
from pathlib import Path
|
||||
|
||||
HERE = Path(__file__).resolve().parent
|
||||
DATA = HERE / "data"
|
||||
random.seed(42)
|
||||
|
||||
sys.path.insert(0, str(HERE))
|
||||
import gen_data
|
||||
|
||||
CANONICAL_SYSTEM_PROMPT = gen_data.CANONICAL_SYSTEM_PROMPT
|
||||
TOPIC_SEEDS_ENGLISH = gen_data.TOPIC_SEEDS_ENGLISH
|
||||
VALID_MOODS = gen_data.VALID_MOODS
|
||||
validate_sample = gen_data.validate_sample
|
||||
|
||||
ROUTER_URL = os.environ.get(
|
||||
"INFERENCE_ROUTER_URL", "http://inference.kvmx.ru"
|
||||
).rstrip("/")
|
||||
|
||||
ROUTER_PAIRS = [
|
||||
("cerebras", "gemma-4-31b"),
|
||||
("cerebras", "zai-glm-4.7"),
|
||||
("github_models", "models/meta/llama-4"),
|
||||
("github_models", "models/mistral/mistral-large-3"),
|
||||
("mistral", "mistral-large-latest"),
|
||||
("mistral", "codestral-latest"),
|
||||
]
|
||||
|
||||
|
||||
def _chat(provider: str, model: str, msgs: list,
|
||||
max_tokens: int = 300, temp: float = 0.8) -> str | None:
|
||||
import time as _time
|
||||
import urllib.request as _req
|
||||
import urllib.error as _err
|
||||
base = ROUTER_URL
|
||||
if not base.endswith("/v1"):
|
||||
base += "/v1"
|
||||
url = f"{base}/chat/completions"
|
||||
headers = {"Content-Type": "application/json", "X-Provider": provider}
|
||||
payload = json.dumps({
|
||||
"model": model, "messages": msgs,
|
||||
"max_tokens": max_tokens, "temperature": temp,
|
||||
}).encode()
|
||||
for attempt in range(3):
|
||||
try:
|
||||
r = _req.Request(url, data=payload, headers=headers)
|
||||
with _req.urlopen(r, timeout=30) as resp:
|
||||
body = json.loads(resp.read())
|
||||
content = (body["choices"][0]["message"]["content"] or "").strip()
|
||||
if content.startswith("```"):
|
||||
start = content.find("\n") + 1
|
||||
end = content.rfind("```")
|
||||
if end > start:
|
||||
content = content[start:end].strip()
|
||||
return content
|
||||
except Exception:
|
||||
_time.sleep(min(2 ** attempt, 8))
|
||||
return None
|
||||
|
||||
|
||||
def _parse_asst(content: str) -> dict | None:
|
||||
try:
|
||||
obj = json.loads(content)
|
||||
except json.JSONDecodeError:
|
||||
return None
|
||||
if not isinstance(obj, dict) or "response" not in obj or "mood" not in obj:
|
||||
return None
|
||||
if obj["mood"] not in VALID_MOODS or not isinstance(obj["response"], str):
|
||||
return None
|
||||
return obj
|
||||
|
||||
|
||||
def flatten_msgs(user_text: str, asst_text: str) -> list[dict]:
|
||||
return [
|
||||
{"role": "system", "content": CANONICAL_SYSTEM_PROMPT},
|
||||
{"role": "user", "content": user_text},
|
||||
{"role": "assistant", "content": asst_text},
|
||||
]
|
||||
|
||||
|
||||
def gen_english(target: int) -> list[dict]:
|
||||
"""Generate English persona samples."""
|
||||
samples = []
|
||||
providers = cycle(ROUTER_PAIRS)
|
||||
pool = TOPIC_SEEDS_ENGLISH * (target // len(TOPIC_SEEDS_ENGLISH) + 1)
|
||||
random.shuffle(pool)
|
||||
|
||||
print(f" english: targeting {target} samples...")
|
||||
for idx, topic in enumerate(pool[:target]):
|
||||
provider, model = next(providers)
|
||||
msgs = [
|
||||
{"role": "system", "content": CANONICAL_SYSTEM_PROMPT},
|
||||
{"role": "user", "content": topic},
|
||||
]
|
||||
content = _chat(provider, model, msgs, max_tokens=300, temp=0.8)
|
||||
if content is None:
|
||||
continue
|
||||
asst_obj = _parse_asst(content)
|
||||
if asst_obj is None:
|
||||
continue
|
||||
# EN→EN bucket: reject majority-Cyrillic responses (language-mirroring failure).
|
||||
resp = asst_obj["response"]
|
||||
cyr = sum(1 for c in resp if "Ѐ" <= c <= "ӿ")
|
||||
lat = sum(1 for c in resp if c.isascii() and c.isalpha())
|
||||
if cyr > lat:
|
||||
continue
|
||||
|
||||
asst_text = json.dumps(asst_obj, ensure_ascii=False)
|
||||
training_msgs = flatten_msgs(topic, asst_text)
|
||||
err = validate_sample(training_msgs)
|
||||
if err:
|
||||
continue
|
||||
samples.append({
|
||||
"messages": training_msgs,
|
||||
"mood": asst_obj["mood"],
|
||||
"response": asst_obj["response"],
|
||||
"source": "generated/english",
|
||||
})
|
||||
if len(samples) % 25 == 0:
|
||||
print(f" ...{len(samples)}/{target} english valid")
|
||||
|
||||
return samples
|
||||
|
||||
|
||||
def main():
|
||||
target = 300
|
||||
print(f"Generating up to {target} English persona samples via router...")
|
||||
|
||||
samples = gen_english(target)
|
||||
print(f"\nGot {len(samples)} valid English samples")
|
||||
|
||||
if not samples:
|
||||
print("No samples generated.")
|
||||
return
|
||||
|
||||
# dedup against existing train
|
||||
train_path = DATA / "persona_train.jsonl"
|
||||
existing: set[str] = set()
|
||||
if train_path.exists():
|
||||
with open(train_path) as f:
|
||||
for line in f:
|
||||
try:
|
||||
d = json.loads(line)
|
||||
msg = d.get("messages", [])
|
||||
if len(msg) >= 3:
|
||||
asst_raw = json.loads(msg[2]["content"])
|
||||
existing.add(asst_raw.get("response", "").strip().lower())
|
||||
except Exception:
|
||||
pass
|
||||
before = len(samples)
|
||||
samples = [s for s in samples if s["response"].strip().lower() not in existing]
|
||||
print(f"Dedup removed {before - len(samples)} (already in train file)")
|
||||
|
||||
# dedup within
|
||||
seen: set[str] = set()
|
||||
deduped = []
|
||||
for s in samples:
|
||||
key = s["response"].strip().lower()
|
||||
if key not in seen:
|
||||
seen.add(key)
|
||||
deduped.append(s)
|
||||
samples = deduped
|
||||
|
||||
with open(train_path, "a", encoding="utf-8") as f:
|
||||
for s in samples:
|
||||
f.write(json.dumps({"messages": s["messages"]}, ensure_ascii=False) + "\n")
|
||||
|
||||
print(f"Appended {len(samples)} English samples to {train_path}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,263 @@
|
||||
"""Phase 6b — generate failure samples (tired/confused) and append to persona_train.jsonl.
|
||||
|
||||
Borrows CANONICAL_SYSTEM_PROMPT, failure prompts, and validation from gen_data.py.
|
||||
Runs independently so we can iterate on failure prompting without touching the
|
||||
persona generation pipeline.
|
||||
|
||||
Usage:
|
||||
python append_failures.py
|
||||
|
||||
Environment:
|
||||
INFERENCE_ROUTER_URL (default: http://inference.kvmx.ru)
|
||||
"""
|
||||
import json
|
||||
import os
|
||||
import sys
|
||||
import random
|
||||
import re
|
||||
from itertools import cycle
|
||||
from pathlib import Path
|
||||
|
||||
HERE = Path(__file__).resolve().parent
|
||||
DATA = HERE / "data"
|
||||
|
||||
random.seed(42)
|
||||
|
||||
# steal the canonical system prompt and failure prompts from gen_data.py
|
||||
sys.path.insert(0, str(HERE))
|
||||
import gen_data # noqa: E402
|
||||
|
||||
CANONICAL_SYSTEM_PROMPT = gen_data.CANONICAL_SYSTEM_PROMPT
|
||||
FAILURE_PROMPTS_TIRED = gen_data.FAILURE_PROMPTS_TIRED
|
||||
FAILURE_PROMPTS_CONFUSED = gen_data.FAILURE_PROMPTS_CONFUSED
|
||||
VALID_MOODS = gen_data.VALID_MOODS
|
||||
validate_sample = gen_data.validate_sample
|
||||
|
||||
# ── router config ────────────────────────────────────────────────────────
|
||||
ROUTER_URL = os.environ.get(
|
||||
"INFERENCE_ROUTER_URL", "http://inference.kvmx.ru"
|
||||
).rstrip("/")
|
||||
|
||||
# providers to cycle through — brief list of models that work well for RU
|
||||
ROUTER_PAIRS = [
|
||||
# format: (provider, model) — X-Provider header + bare model name
|
||||
("cerebras", "gemma-4-31b"),
|
||||
("cerebras", "zai-glm-4.7"),
|
||||
("github_models", "models/meta/llama-4"),
|
||||
("github_models", "models/mistral/mistral-large-3"),
|
||||
("mistral", "mistral-large-latest"),
|
||||
("mistral", "codestral-latest"),
|
||||
]
|
||||
|
||||
|
||||
# ── router call ──────────────────────────────────────────────────────────
|
||||
def _chat(provider: str, model: str, msgs: list,
|
||||
max_tokens: int = 200, temp: float = 0.7) -> str | None:
|
||||
import time as _time
|
||||
import urllib.request as _req
|
||||
import urllib.error as _err
|
||||
|
||||
base = ROUTER_URL
|
||||
if not base.endswith("/v1"):
|
||||
base += "/v1"
|
||||
url = f"{base}/chat/completions"
|
||||
headers = {"Content-Type": "application/json"}
|
||||
headers["X-Provider"] = provider
|
||||
|
||||
payload = json.dumps({
|
||||
"model": model,
|
||||
"messages": msgs,
|
||||
"max_tokens": max_tokens,
|
||||
"temperature": temp,
|
||||
}).encode()
|
||||
|
||||
for attempt in range(3):
|
||||
try:
|
||||
r = _req.Request(url, data=payload, headers=headers)
|
||||
with _req.urlopen(r, timeout=30) as resp:
|
||||
body = json.loads(resp.read())
|
||||
content = (body["choices"][0]["message"]["content"] or "").strip()
|
||||
if content.startswith("```"):
|
||||
start = content.find("\n") + 1
|
||||
end = content.rfind("```")
|
||||
if end > start:
|
||||
content = content[start:end].strip()
|
||||
return content
|
||||
except _err.HTTPError as e:
|
||||
_time.sleep(min(2 ** attempt, 8))
|
||||
except Exception:
|
||||
_time.sleep(1)
|
||||
return None
|
||||
|
||||
|
||||
def _parse_asst(content: str) -> dict | None:
|
||||
try:
|
||||
obj = json.loads(content)
|
||||
except json.JSONDecodeError:
|
||||
return None
|
||||
if not isinstance(obj, dict):
|
||||
return None
|
||||
if "response" not in obj or "mood" not in obj:
|
||||
return None
|
||||
if obj["mood"] not in VALID_MOODS:
|
||||
return None
|
||||
if not isinstance(obj["response"], str):
|
||||
return None
|
||||
return obj
|
||||
|
||||
|
||||
def flatten_msgs(user_text: str, asst_text: str) -> list[dict]:
|
||||
return [
|
||||
{"role": "system", "content": CANONICAL_SYSTEM_PROMPT},
|
||||
{"role": "user", "content": user_text},
|
||||
{"role": "assistant", "content": asst_text},
|
||||
]
|
||||
|
||||
|
||||
# ── generation ───────────────────────────────────────────────────────────
|
||||
def gen_failures(count: int) -> list[dict]:
|
||||
"""Generate tired + confused samples, return list of validated dicts."""
|
||||
samples = []
|
||||
providers = cycle(ROUTER_PAIRS)
|
||||
|
||||
# tired: 2/3 of count
|
||||
tired_target = count * 2 // 3
|
||||
pool_tired = FAILURE_PROMPTS_TIRED * (tired_target // len(FAILURE_PROMPTS_TIRED) + 1)
|
||||
random.shuffle(pool_tired)
|
||||
|
||||
print(f" tired: targeting {tired_target} samples...")
|
||||
done = 0
|
||||
for prompt_text in pool_tired[:tired_target]:
|
||||
provider, model = next(providers)
|
||||
msgs = [
|
||||
{"role": "system", "content": CANONICAL_SYSTEM_PROMPT},
|
||||
{"role": "user", "content": (
|
||||
f"{prompt_text}\n\n"
|
||||
f"(Это вопрос, на который у тебя нет ответа. "
|
||||
f"Не выдумывай. Честно скажи, что не знаешь или не можешь "
|
||||
f"ответить. Используй mood: tired. Только tired, не neutral, "
|
||||
f"не confused, не thinking — именно tired.)"
|
||||
)},
|
||||
]
|
||||
content = _chat(provider, model, msgs, max_tokens=200, temp=0.7)
|
||||
if content is None:
|
||||
continue
|
||||
asst_obj = _parse_asst(content)
|
||||
if asst_obj is None or asst_obj["mood"] != "tired":
|
||||
continue
|
||||
|
||||
asst_text = json.dumps(asst_obj, ensure_ascii=False)
|
||||
training_msgs = flatten_msgs(prompt_text, asst_text)
|
||||
err = validate_sample(training_msgs)
|
||||
if err:
|
||||
continue
|
||||
samples.append({
|
||||
"messages": training_msgs,
|
||||
"mood": "tired",
|
||||
"response": asst_obj["response"],
|
||||
"source": "generated/failure",
|
||||
})
|
||||
done += 1
|
||||
if done % 25 == 0:
|
||||
print(f" ...{done}/{tired_target} tired valid")
|
||||
|
||||
print(f" tired: {done} valid")
|
||||
|
||||
# confused: 1/3 of count
|
||||
confused_target = count // 3
|
||||
pool_confused = FAILURE_PROMPTS_CONFUSED * (confused_target // len(FAILURE_PROMPTS_CONFUSED) + 1)
|
||||
random.shuffle(pool_confused)
|
||||
|
||||
print(f" confused: targeting {confused_target} samples...")
|
||||
done = 0
|
||||
for prompt_text in pool_confused[:confused_target]:
|
||||
provider, model = next(providers)
|
||||
msgs = [
|
||||
{"role": "system", "content": CANONICAL_SYSTEM_PROMPT},
|
||||
{"role": "user", "content": (
|
||||
f"{prompt_text}\n\n"
|
||||
f"(Это неясный или слишком общий запрос. Ответь коротким "
|
||||
f"уточняющим вопросом. Используй mood: confused. Только "
|
||||
f"confused, не neutral, не tired, не thinking — именно confused.)"
|
||||
)},
|
||||
]
|
||||
content = _chat(provider, model, msgs, max_tokens=200, temp=0.7)
|
||||
if content is None:
|
||||
continue
|
||||
asst_obj = _parse_asst(content)
|
||||
if asst_obj is None or asst_obj["mood"] != "confused":
|
||||
continue
|
||||
|
||||
asst_text = json.dumps(asst_obj, ensure_ascii=False)
|
||||
training_msgs = flatten_msgs(prompt_text, asst_text)
|
||||
err = validate_sample(training_msgs)
|
||||
if err:
|
||||
continue
|
||||
samples.append({
|
||||
"messages": training_msgs,
|
||||
"mood": "confused",
|
||||
"response": asst_obj["response"],
|
||||
"source": "generated/failure",
|
||||
})
|
||||
done += 1
|
||||
if done % 25 == 0:
|
||||
print(f" ...{done}/{confused_target} confused valid")
|
||||
|
||||
print(f" confused: {done} valid")
|
||||
return samples
|
||||
|
||||
|
||||
def main():
|
||||
# target: 750 failure samples (15% of 5000)
|
||||
target = 750
|
||||
print(f"Generating up to {target} failure samples via router...")
|
||||
print(f" Router: {ROUTER_URL}")
|
||||
print(f" Models: {[f'{p}/{m}' for p,m in ROUTER_PAIRS]}")
|
||||
|
||||
samples = gen_failures(target)
|
||||
print(f"\nGot {len(samples)} valid failure samples")
|
||||
|
||||
if not samples:
|
||||
print("No samples generated — nothing to append.")
|
||||
return
|
||||
|
||||
# dedup by response text against existing train data
|
||||
train_path = DATA / "persona_train.jsonl"
|
||||
if train_path.exists():
|
||||
existing_responses: set[str] = set()
|
||||
with open(train_path) as f:
|
||||
for line in f:
|
||||
try:
|
||||
d = json.loads(line)
|
||||
msg = d.get("messages", [])
|
||||
if len(msg) >= 3:
|
||||
asst_raw = json.loads(msg[2]["content"])
|
||||
existing_responses.add(asst_raw.get("response", "").strip().lower())
|
||||
except (json.JSONDecodeError, KeyError, IndexError):
|
||||
pass
|
||||
before = len(samples)
|
||||
samples = [s for s in samples if s["response"].strip().lower() not in existing_responses]
|
||||
print(f"Dedup removed {before - len(samples)} (already in train file)")
|
||||
|
||||
# dedup within new samples
|
||||
seen: set[str] = set()
|
||||
deduped = []
|
||||
for s in samples:
|
||||
key = s["response"].strip().lower()
|
||||
if key not in seen:
|
||||
seen.add(key)
|
||||
deduped.append(s)
|
||||
samples = deduped
|
||||
|
||||
# append to persona_train.jsonl
|
||||
with open(train_path, "a", encoding="utf-8") as f:
|
||||
for s in samples:
|
||||
f.write(json.dumps({"messages": s["messages"]}, ensure_ascii=False) + "\n")
|
||||
|
||||
print(f"Appended {len(samples)} failure samples to {train_path}")
|
||||
print(f"Mood distribution: tired={sum(1 for s in samples if s['mood']=='tired')}, "
|
||||
f"confused={sum(1 for s in samples if s['mood']=='confused')}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,152 @@
|
||||
"""Read-only audit of the materialized RU CPT corpus and training checkpoints.
|
||||
|
||||
This never rewrites the corpus. It verifies Arrow shape, block lengths/token
|
||||
ranges, clean-source provenance, hashes, and the latest Trainer checkpoint.
|
||||
Output is JSON so the result can be archived and compared across runs.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import argparse
|
||||
import hashlib
|
||||
import json
|
||||
import random
|
||||
from pathlib import Path
|
||||
|
||||
from datasets import load_from_disk
|
||||
from transformers import AutoTokenizer
|
||||
|
||||
from corpus_common import CLEAN, PACKED, has_mixed_script, cyrillic_ratio
|
||||
|
||||
MODEL = "Qwen/Qwen3-1.7B-Base"
|
||||
BLOCK = 2048
|
||||
|
||||
|
||||
def sha256(path: Path) -> str:
|
||||
h = hashlib.sha256()
|
||||
with path.open("rb") as f:
|
||||
for chunk in iter(lambda: f.read(1024 * 1024), b""):
|
||||
h.update(chunk)
|
||||
return h.hexdigest()
|
||||
|
||||
|
||||
def clean_stats() -> dict:
|
||||
result = {}
|
||||
for path in sorted(CLEAN.glob("*.jsonl")):
|
||||
docs = chars = mixed = 0
|
||||
cyr_sum = 0.0
|
||||
with path.open(encoding="utf-8") as f:
|
||||
for line in f:
|
||||
if not line.strip():
|
||||
continue
|
||||
text = json.loads(line)["text"]
|
||||
docs += 1
|
||||
chars += len(text)
|
||||
mixed += int(has_mixed_script(text))
|
||||
cyr_sum += cyrillic_ratio(text)
|
||||
result[path.stem] = {
|
||||
"docs": docs,
|
||||
"chars": chars,
|
||||
"mean_doc_chars": round(chars / docs, 2) if docs else 0,
|
||||
"mean_cyrillic_ratio": round(cyr_sum / docs, 6) if docs else 0,
|
||||
"mixed_script_docs": mixed,
|
||||
"bytes": path.stat().st_size,
|
||||
"sha256": sha256(path),
|
||||
}
|
||||
return result
|
||||
|
||||
|
||||
def checkpoint_stats(root: Path) -> dict:
|
||||
states = []
|
||||
for state_path in root.glob("checkpoint-*/trainer_state.json"):
|
||||
state = json.loads(state_path.read_text(encoding="utf-8"))
|
||||
states.append((int(state["global_step"]), state_path, state))
|
||||
if not states:
|
||||
return {"present": False}
|
||||
step, state_path, state = max(states)
|
||||
log = state.get("log_history", [])
|
||||
last = next((x for x in reversed(log) if "loss" in x), {})
|
||||
return {
|
||||
"present": True,
|
||||
"latest_checkpoint": str(state_path.parent),
|
||||
"global_step": step,
|
||||
"max_steps": state.get("max_steps"),
|
||||
"progress_pct": round(100 * step / state["max_steps"], 3),
|
||||
"epoch": state.get("epoch"),
|
||||
"last_loss": last.get("loss"),
|
||||
"last_grad_norm": last.get("grad_norm"),
|
||||
"last_learning_rate": last.get("learning_rate"),
|
||||
"full_weight_model_bytes": (state_path.parent / "model.safetensors").stat().st_size,
|
||||
}
|
||||
|
||||
|
||||
def main() -> None:
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--samples", type=int, default=64)
|
||||
ap.add_argument("--seed", type=int, default=20260718)
|
||||
ap.add_argument("--output")
|
||||
ap.add_argument("--checkpoint-root",
|
||||
default=str(Path(__file__).resolve().parent / "Qwen3-1.7B-ru-cpt"))
|
||||
args = ap.parse_args()
|
||||
|
||||
ds = load_from_disk(str(PACKED))
|
||||
if not len(ds):
|
||||
raise SystemExit("packed dataset is empty")
|
||||
rng = random.Random(args.seed)
|
||||
indices = sorted(rng.sample(range(len(ds)), min(args.samples, len(ds))))
|
||||
tokenizer = AutoTokenizer.from_pretrained(MODEL, local_files_only=True)
|
||||
vocab = len(tokenizer)
|
||||
bad_lengths = bad_ids = decoded_mixed = 0
|
||||
samples = []
|
||||
for idx in indices:
|
||||
ids = ds[idx]["input_ids"]
|
||||
bad_lengths += int(len(ids) != BLOCK)
|
||||
bad_ids += sum(1 for token in ids if token < 0 or token >= vocab)
|
||||
text = tokenizer.decode(ids, skip_special_tokens=True)
|
||||
decoded_mixed += int(has_mixed_script(text))
|
||||
samples.append({
|
||||
"index": idx,
|
||||
"tokens": len(ids),
|
||||
"cyrillic_ratio": round(cyrillic_ratio(text), 6),
|
||||
"mixed_script": has_mixed_script(text),
|
||||
"preview": text[:240].replace("\n", " "),
|
||||
})
|
||||
|
||||
arrows = sorted(PACKED.glob("*.arrow"))
|
||||
clean = clean_stats()
|
||||
total_chars = sum(x["chars"] for x in clean.values())
|
||||
report = {
|
||||
"schema_version": 1,
|
||||
"read_only": True,
|
||||
"model": MODEL,
|
||||
"packed": {
|
||||
"path": str(PACKED),
|
||||
"rows": len(ds),
|
||||
"block_tokens": BLOCK,
|
||||
"total_tokens": len(ds) * BLOCK,
|
||||
"arrow_bytes": sum(p.stat().st_size for p in arrows),
|
||||
"arrow_sha256": {p.name: sha256(p) for p in arrows},
|
||||
"sampled_rows": len(indices),
|
||||
"sample_bad_lengths": bad_lengths,
|
||||
"sample_out_of_vocab_ids": bad_ids,
|
||||
"sample_mixed_script_rows": decoded_mixed,
|
||||
},
|
||||
"clean_sources": clean,
|
||||
"clean_char_share_pct": {
|
||||
key: round(100 * value["chars"] / total_chars, 3)
|
||||
for key, value in clean.items()
|
||||
},
|
||||
"provenance_warning": (
|
||||
"Packed Arrow has no per-block source/document metadata; source shares can "
|
||||
"only be reconstructed from the clean inputs, not proven from Arrow alone."
|
||||
),
|
||||
"checkpoint": checkpoint_stats(Path(args.checkpoint_root)),
|
||||
"samples": samples,
|
||||
}
|
||||
rendered = json.dumps(report, ensure_ascii=False, indent=2) + "\n"
|
||||
if args.output:
|
||||
Path(args.output).write_text(rendered, encoding="utf-8")
|
||||
print(rendered, end="")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,60 @@
|
||||
"""Build the small, human-labelled route holdout set.
|
||||
|
||||
These utterances are not consumed by gen_route_data.py and must never be added
|
||||
to route_train.jsonl. Labels follow the daemon's current JSON-array contract.
|
||||
"""
|
||||
import json
|
||||
from pathlib import Path
|
||||
|
||||
from gen_route_data import ROUTE_SYSTEM, valid_actions
|
||||
|
||||
OUT = Path(__file__).resolve().parent / "data" / "route_eval.jsonl"
|
||||
CASES = [
|
||||
("напомни завтра позвонить врачу", [{"intent":"reminder","text":"позвонить врачу"}]),
|
||||
("запиши купить новые батарейки", [{"intent":"note","text":"купить новые батарейки"}]),
|
||||
("я только что полил цветы", [{"intent":"fact","key":"flowers","value":"полил"}]),
|
||||
("что такое обратный прокси", [{"intent":"query","text":"что такое обратный прокси"}]),
|
||||
("перезапусти медиасервер", [{"intent":"act","verb":"перезапустить медиасервер"}]),
|
||||
("который сейчас час", [{"intent":"system"}]),
|
||||
("как у тебя дела", [{"intent":"chat","text":"как у тебя дела"}]),
|
||||
("сохрани адрес мастерской", [{"intent":"note","text":"адрес мастерской"}]),
|
||||
("напомни проверить резервную копию вечером", [{"intent":"reminder","text":"проверить резервную копию"}]),
|
||||
("сервер снова доступен", [{"intent":"fact","key":"server","value":"доступен"}]),
|
||||
("почему контейнер постоянно перезапускается", [{"intent":"query","text":"почему контейнер постоянно перезапускается"}]),
|
||||
("выключи свет на кухне", [{"intent":"act","verb":"выключить свет на кухне"}]),
|
||||
("очисти свою память", [{"intent":"system"}]),
|
||||
("ну и денёк сегодня", [{"intent":"chat","text":"ну и денёк сегодня"}]),
|
||||
("запомни, что код от калитки изменился", [{"intent":"note","text":"код от калитки изменился"}]),
|
||||
("я закончил отчёт", [{"intent":"fact","key":"report","value":"закончил"}]),
|
||||
("покажи свободное место на диске", [{"intent":"act","verb":"показать свободное место на диске"}]),
|
||||
("какая погода ожидается утром", [{"intent":"query","text":"какая погода ожидается утром"}]),
|
||||
("напомни через час достать бельё", [{"intent":"reminder","text":"достать бельё"}]),
|
||||
("приятно снова тебя слышать", [{"intent":"chat","text":"приятно снова тебя слышать"}]),
|
||||
("напомни купить молоко и запиши что кофе закончился", [
|
||||
{"intent":"reminder","text":"купить молоко"},
|
||||
{"intent":"note","text":"кофе закончился"}]),
|
||||
("проверь диск и потом напомни посмотреть результат", [
|
||||
{"intent":"act","verb":"проверить диск"},
|
||||
{"intent":"reminder","text":"посмотреть результат"}]),
|
||||
("я принял лекарство, запиши дозировку пять миллиграммов", [
|
||||
{"intent":"fact","key":"medicine","value":"принял"},
|
||||
{"intent":"note","text":"дозировка пять миллиграммов"}]),
|
||||
]
|
||||
|
||||
|
||||
def main() -> None:
|
||||
lines = []
|
||||
for utterance, actions in CASES:
|
||||
assert valid_actions(actions)
|
||||
lines.append(json.dumps({"messages": [
|
||||
{"role":"system","content":ROUTE_SYSTEM},
|
||||
{"role":"user","content":utterance},
|
||||
{"role":"assistant","content":json.dumps(actions, ensure_ascii=False)},
|
||||
], "intents":[a["intent"] for a in actions], "source":"human/route-eval"},
|
||||
ensure_ascii=False))
|
||||
OUT.write_text("\n".join(lines) + "\n", encoding="utf-8")
|
||||
print(f"wrote {len(lines)} held-out route cases -> {OUT}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,23 @@
|
||||
"""Fail if the route labelling prompt differs from Maven's deployed prompt."""
|
||||
import argparse
|
||||
import re
|
||||
from pathlib import Path
|
||||
|
||||
from gen_route_data import ROUTE_SYSTEM
|
||||
|
||||
|
||||
def main() -> None:
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--maven", default="/mnt/server/home/kami/apps/Maven")
|
||||
args = ap.parse_args()
|
||||
go = Path(args.maven, "internal/router/llmrouter.go").read_text(encoding="utf-8")
|
||||
match = re.search(r"const routeSystem = `([\s\S]*?)`\n", go)
|
||||
if not match:
|
||||
raise SystemExit("routeSystem not found in Go source")
|
||||
if match.group(1) != ROUTE_SYSTEM:
|
||||
raise SystemExit("route prompt drift: update Go and gen_route_data.py together")
|
||||
print("route prompt parity OK")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,127 @@
|
||||
"""Phase 2.3 — clean every raw bucket → data/cpt_clean/<bucket>.jsonl
|
||||
|
||||
Pipeline order (plan §2.3), applied per doc, then a global cross-bucket dedup:
|
||||
1. ftfy unicode fix (NFC)
|
||||
2. fastText language id — drop if top lang != ru or p(ru) < 0.65
|
||||
3. mixed-script rejection — drop docs with homoglyph-contaminated words
|
||||
4. boilerplate/length — strip HTML, collapse whitespace, drop <200 or >50k chars,
|
||||
drop docs with >30% non-letter chars
|
||||
5. MinHash-LSH near-dup removal across ALL buckets (the biggest quality lever)
|
||||
6. light PII scrub (phones/emails) — logs bucket has real data
|
||||
|
||||
Usage: python corpus_clean.py # all buckets present in data/cpt_raw/
|
||||
python corpus_clean.py wiki synth # specific buckets
|
||||
"""
|
||||
import sys
|
||||
import re
|
||||
import json
|
||||
import html
|
||||
|
||||
import ftfy
|
||||
from datasketch import MinHash, MinHashLSH
|
||||
|
||||
from corpus_common import RAW, CLEAN, has_mixed_script, lang_prob
|
||||
|
||||
MIN_CHARS, MAX_CHARS = 200, 50_000
|
||||
NON_LETTER_MAX = 0.30
|
||||
LID_MIN = 0.65
|
||||
LSH_THRESHOLD = 0.8
|
||||
NUM_PERM = 128
|
||||
|
||||
_TAG = re.compile(r"<[^>]+>")
|
||||
_WS = re.compile(r"[ \t ]+")
|
||||
_NL = re.compile(r"\n{3,}")
|
||||
_LETTER = re.compile(r"[^\W\d_]", re.UNICODE)
|
||||
_EMAIL = re.compile(r"[\w.+-]+@[\w-]+\.[\w.-]+")
|
||||
_PHONE = re.compile(r"(?<!\d)(?:\+7|8)[\s(-]*\d{3}[\s)-]*\d{3}[\s-]*\d{2}[\s-]*\d{2}(?!\d)")
|
||||
|
||||
|
||||
def normalize(text: str) -> str:
|
||||
text = ftfy.fix_text(text)
|
||||
text = html.unescape(text)
|
||||
text = _TAG.sub(" ", text)
|
||||
text = _WS.sub(" ", text)
|
||||
text = _NL.sub("\n\n", text)
|
||||
return text.strip()
|
||||
|
||||
|
||||
def non_letter_ratio(text: str) -> float:
|
||||
letters = len(_LETTER.findall(text))
|
||||
return 1.0 - (letters / len(text)) if text else 1.0
|
||||
|
||||
|
||||
def scrub_pii(text: str) -> str:
|
||||
text = _EMAIL.sub("<email>", text)
|
||||
text = _PHONE.sub("<phone>", text)
|
||||
return text
|
||||
|
||||
|
||||
def doc_minhash(text: str) -> MinHash:
|
||||
m = MinHash(num_perm=NUM_PERM)
|
||||
for tok in text.lower().split():
|
||||
m.update(tok.encode("utf-8"))
|
||||
return m
|
||||
|
||||
|
||||
def clean_bucket(bucket: str, lsh: MinHashLSH, seen: dict) -> int:
|
||||
src = RAW / bucket / "shard-000.jsonl"
|
||||
if not src.exists():
|
||||
print(f"[{bucket}] no raw shard at {src}; skip")
|
||||
return 0
|
||||
out = CLEAN / f"{bucket}.jsonl"
|
||||
kept = dropped = 0
|
||||
with open(src, encoding="utf-8") as fin, open(out, "w", encoding="utf-8") as fout:
|
||||
for i, line in enumerate(fin):
|
||||
try:
|
||||
text = json.loads(line)["text"]
|
||||
except (json.JSONDecodeError, KeyError):
|
||||
dropped += 1
|
||||
continue
|
||||
text = normalize(text)
|
||||
# 4. length / boilerplate
|
||||
if not (MIN_CHARS <= len(text) <= MAX_CHARS) or non_letter_ratio(text) > NON_LETTER_MAX:
|
||||
dropped += 1
|
||||
continue
|
||||
# 3. mixed script
|
||||
if has_mixed_script(text):
|
||||
dropped += 1
|
||||
continue
|
||||
# 2. language id
|
||||
try:
|
||||
lang, p = lang_prob(text)
|
||||
if lang != "ru" or p < LID_MIN:
|
||||
dropped += 1
|
||||
continue
|
||||
except FileNotFoundError:
|
||||
raise SystemExit("lid.176.bin missing — see corpus_common.LID_PATH")
|
||||
# 5. dedup
|
||||
m = doc_minhash(text)
|
||||
if lsh.query(m):
|
||||
dropped += 1
|
||||
continue
|
||||
key = f"{bucket}:{i}"
|
||||
lsh.insert(key, m)
|
||||
seen[key] = True
|
||||
# 6. pii
|
||||
text = scrub_pii(text)
|
||||
fout.write(json.dumps({"text": text}, ensure_ascii=False) + "\n")
|
||||
kept += 1
|
||||
if (kept + dropped) % 5000 == 0:
|
||||
print(f"[{bucket}] kept {kept} dropped {dropped}")
|
||||
print(f"[{bucket}] DONE kept {kept} dropped {dropped} -> {out}")
|
||||
return kept
|
||||
|
||||
|
||||
def main():
|
||||
buckets = sys.argv[1:] or [p.name for p in sorted(RAW.iterdir()) if p.is_dir()]
|
||||
# one shared LSH across all buckets = global dedup (plan §2.3 rule 5)
|
||||
lsh = MinHashLSH(threshold=LSH_THRESHOLD, num_perm=NUM_PERM)
|
||||
seen = {}
|
||||
total = 0
|
||||
for b in buckets:
|
||||
total += clean_bucket(b, lsh, seen)
|
||||
print(f"[clean] TOTAL kept {total} docs across {len(buckets)} buckets")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,100 @@
|
||||
"""Shared paths + cleaning helpers for the RU-CPT corpus pipeline.
|
||||
|
||||
The mixed-script / Cyrillic-cleanliness rule lives here ONCE and is reused by
|
||||
corpus_clean.py, corpus_synth.py, and eval_cyrillic.py. See
|
||||
docs/plans/2026-07-11-ru-cpt-base.md (§2.3 rule 3) in the Maven repo.
|
||||
|
||||
Run `python corpus_common.py` for a self-check of the mixed-script detector.
|
||||
"""
|
||||
import os
|
||||
import re
|
||||
from pathlib import Path
|
||||
|
||||
# ── env / cache (mirror train_rocm.py) ──────────────────────────────────────
|
||||
os.environ.setdefault("HF_HOME", "/mnt/D/.cache/huggingface")
|
||||
os.environ.setdefault("HF_DATASETS_CACHE", "/mnt/D/.cache/huggingface/datasets")
|
||||
os.environ.setdefault("TMPDIR", "/mnt/D/tmp")
|
||||
os.makedirs(os.environ["TMPDIR"], exist_ok=True)
|
||||
|
||||
# ── corpus dir layout ───────────────────────────────────────────────────────
|
||||
DATA = Path(__file__).resolve().parent / "data"
|
||||
RAW = DATA / "cpt_raw" # corpus_fetch.py / corpus_synth.py output
|
||||
CLEAN = DATA / "cpt_clean" # corpus_clean.py output (JSONL {"text":...})
|
||||
PACKED = DATA / "cpt_packed" # corpus_pack.py output (HF Arrow, 2048-tok blocks)
|
||||
for d in (RAW, CLEAN, PACKED):
|
||||
d.mkdir(parents=True, exist_ok=True)
|
||||
|
||||
# ── the corpus mix (plan §2.1) — bucket -> target token share ───────────────
|
||||
TARGET_TOKENS = 300_000_000
|
||||
BUCKET_SHARE = { # sums to 1.0; synth capped at 0.10 (hard rule)
|
||||
"culturax": 0.60,
|
||||
"wiki": 0.17,
|
||||
"books": 0.11,
|
||||
"synth": 0.10,
|
||||
"logs": 0.02,
|
||||
}
|
||||
SYNTH_CAP = 0.10
|
||||
|
||||
# ── Cyrillic cleanliness (plan §2.3 rule 3) ─────────────────────────────────
|
||||
_WORD = re.compile(r"[^\s]+")
|
||||
_CYR = re.compile(r"[а-яёА-ЯЁ]")
|
||||
_LAT = re.compile(r"[a-zA-Z]")
|
||||
|
||||
|
||||
def is_mixed_script_word(word: str) -> bool:
|
||||
"""True if a single token mixes Cyrillic and Latin letters (homoglyph swap)."""
|
||||
return bool(_CYR.search(word) and _LAT.search(word))
|
||||
|
||||
|
||||
def has_mixed_script(text: str) -> bool:
|
||||
"""True if ANY word in the text is homoglyph-contaminated."""
|
||||
return any(is_mixed_script_word(w) for w in _WORD.findall(text))
|
||||
|
||||
|
||||
def cyrillic_ratio(text: str) -> float:
|
||||
"""Fraction of letters that are Cyrillic (0..1). Empty/letterless -> 0."""
|
||||
cyr = len(_CYR.findall(text))
|
||||
lat = len(_LAT.findall(text))
|
||||
tot = cyr + lat
|
||||
return cyr / tot if tot else 0.0
|
||||
|
||||
|
||||
# ── fastText language id (lazy singleton; download lid.176.bin, plan §2.3) ──
|
||||
_LID = None
|
||||
LID_PATH = os.environ.get("FASTTEXT_LID", str(DATA / "lid.176.bin"))
|
||||
|
||||
|
||||
def lang_prob(text: str):
|
||||
"""Return (lang_code, prob) for the dominant language, or (None, 0.0)."""
|
||||
global _LID
|
||||
if _LID is None:
|
||||
import fasttext
|
||||
if not Path(LID_PATH).exists():
|
||||
raise FileNotFoundError(
|
||||
f"fastText lid.176.bin not found at {LID_PATH}. Download from "
|
||||
"https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin "
|
||||
"or set FASTTEXT_LID env var."
|
||||
)
|
||||
# numpy 2.x compat: fasttext uses np.array(..., copy=False) which
|
||||
# raises on numpy >=2 when a copy is needed. patch its np reference.
|
||||
_orig_np_array = fasttext.FastText.np.array
|
||||
def _patched_array(*args, **kwargs):
|
||||
kwargs.pop("copy", None)
|
||||
return _orig_np_array(*args, **kwargs)
|
||||
fasttext.FastText.np.array = _patched_array
|
||||
_LID = fasttext.load_model(LID_PATH)
|
||||
labels, probs = _LID.predict(text.replace("\n", " ")[:2000])
|
||||
return labels[0].replace("__label__", ""), float(probs[0])
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
# self-check: the homoglyph detector is the whole point — assert it works.
|
||||
assert is_mixed_script_word("privет") # latin+cyrillic in one word
|
||||
assert is_mixed_script_word("Марkет") # cyrillic 'Мар' + latin 'k'
|
||||
assert not is_mixed_script_word("привет") # pure cyrillic
|
||||
assert not is_mixed_script_word("hello") # pure latin
|
||||
assert not is_mixed_script_word("http://x.ru") # pure latin url — keep
|
||||
assert has_mixed_script("это Марkет здесь")
|
||||
assert not has_mixed_script("это чистый русский текст with english words")
|
||||
assert abs(cyrillic_ratio("привет hello") - 0.5) < 0.05
|
||||
print("corpus_common self-check OK ->", DATA)
|
||||
@@ -0,0 +1,78 @@
|
||||
"""Phase 2.2 — pull open RU datasets → data/cpt_raw/<bucket>/*.jsonl
|
||||
|
||||
Streams from HuggingFace so we never materialize full dumps. Each bucket
|
||||
over-pulls ~1.5x its token target (cleaning drops 20-40%). Writes newline JSONL
|
||||
{"text": "..."} shards; corpus_clean.py consumes them.
|
||||
|
||||
Usage:
|
||||
huggingface-cli login # accept CulturaX/OSCAR licenses first
|
||||
python corpus_fetch.py culturax # one bucket
|
||||
python corpus_fetch.py all # every open bucket (not synth/logs)
|
||||
|
||||
Buckets synth (corpus_synth.py) and logs (corpus_logs.py) are handled separately.
|
||||
"""
|
||||
import sys
|
||||
import json
|
||||
|
||||
from datasets import load_dataset
|
||||
|
||||
from corpus_common import RAW, TARGET_TOKENS, BUCKET_SHARE
|
||||
|
||||
# rough chars-per-token for RU under the Qwen tokenizer; only used to size pulls.
|
||||
CHARS_PER_TOK = 3.5
|
||||
OVERPULL = 1.5
|
||||
|
||||
# bucket -> (loader kwargs, function mapping a row to its text string)
|
||||
SOURCES = {
|
||||
"culturax": (
|
||||
dict(path="allenai/c4", name="ru", split="train", streaming=True),
|
||||
lambda r: r.get("text", ""),
|
||||
),
|
||||
"wiki": (
|
||||
dict(path="wikimedia/wikipedia", name="20231101.ru", split="train", streaming=True),
|
||||
lambda r: r.get("text", ""),
|
||||
),
|
||||
"books": (
|
||||
dict(path="IlyaGusev/gazeta", split="train", streaming=True),
|
||||
lambda r: r.get("text", ""),
|
||||
),
|
||||
}
|
||||
|
||||
|
||||
def target_chars(bucket: str) -> int:
|
||||
return int(TARGET_TOKENS * BUCKET_SHARE[bucket] * CHARS_PER_TOK * OVERPULL)
|
||||
|
||||
|
||||
def fetch(bucket: str):
|
||||
if bucket not in SOURCES:
|
||||
raise SystemExit(f"unknown bucket {bucket}; known: {list(SOURCES)}")
|
||||
budget = target_chars(bucket)
|
||||
out_dir = RAW / bucket
|
||||
out_dir.mkdir(parents=True, exist_ok=True)
|
||||
out_path = out_dir / "shard-000.jsonl"
|
||||
|
||||
kw, getter = SOURCES[bucket]
|
||||
ds = load_dataset(**kw)
|
||||
|
||||
written = 0
|
||||
n = 0
|
||||
with open(out_path, "w", encoding="utf-8") as f:
|
||||
for row in ds:
|
||||
text = (getter(row) or "").strip()
|
||||
if len(text) < 200: # skip fragments early
|
||||
continue
|
||||
f.write(json.dumps({"text": text}, ensure_ascii=False) + "\n")
|
||||
written += len(text)
|
||||
n += 1
|
||||
if n % 5000 == 0:
|
||||
print(f"[{bucket}] {n} docs, {written/1e6:.1f}M chars / {budget/1e6:.1f}M target")
|
||||
if written >= budget:
|
||||
break
|
||||
print(f"[{bucket}] DONE {n} docs, {written/1e6:.1f}M chars -> {out_path}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
args = sys.argv[1:] or ["all"]
|
||||
buckets = list(SOURCES) if args == ["all"] else args
|
||||
for b in buckets:
|
||||
fetch(b)
|
||||
@@ -0,0 +1,63 @@
|
||||
"""Phase 2.5 — mine Maven's real dialogue history → data/cpt_raw/logs/
|
||||
|
||||
Highest domain-value bucket but smallest (~2%, ~6M tok). Source format is unknown
|
||||
here, so point MAVEN_LOGS at your dialogue store and adjust `extract()` to your
|
||||
schema. Emits raw RU utterances as {"text": ...}; corpus_clean.py handles the rest
|
||||
(langID drops EN turns, dedup, PII scrub).
|
||||
|
||||
Usage:
|
||||
MAVEN_LOGS=/path/to/dialogue.jsonl python corpus_logs.py
|
||||
"""
|
||||
import os
|
||||
import json
|
||||
|
||||
from corpus_common import RAW, cyrillic_ratio
|
||||
|
||||
|
||||
def extract(obj):
|
||||
"""Return utterance text from one log record. ADJUST to your schema.
|
||||
|
||||
Handles common shapes: {"text":...}, {"content":...},
|
||||
{"messages":[{"role","content"}...]}, or a bare string.
|
||||
"""
|
||||
if isinstance(obj, str):
|
||||
return [obj]
|
||||
if not isinstance(obj, dict):
|
||||
return []
|
||||
if "messages" in obj:
|
||||
return [m.get("content", "") for m in obj["messages"] if m.get("content")]
|
||||
for k in ("text", "content", "utterance", "body"):
|
||||
if obj.get(k):
|
||||
return [obj[k]]
|
||||
return []
|
||||
|
||||
|
||||
def main():
|
||||
src = os.environ.get("MAVEN_LOGS")
|
||||
if not src or not os.path.exists(src):
|
||||
raise SystemExit("set MAVEN_LOGS to your dialogue history (jsonl); "
|
||||
"this bucket is optional — skip if unavailable")
|
||||
|
||||
out = RAW / "logs" / "shard-000.jsonl"
|
||||
out.parent.mkdir(parents=True, exist_ok=True)
|
||||
kept = 0
|
||||
with open(src, encoding="utf-8") as fin, open(out, "w", encoding="utf-8") as fout:
|
||||
for line in fin:
|
||||
line = line.strip()
|
||||
if not line:
|
||||
continue
|
||||
try:
|
||||
obj = json.loads(line)
|
||||
except json.JSONDecodeError:
|
||||
obj = line
|
||||
for utt in extract(obj):
|
||||
utt = (utt or "").strip()
|
||||
# keep only substantive Russian turns; clean.py enforces the rest
|
||||
if len(utt) >= 40 and cyrillic_ratio(utt) >= 0.5:
|
||||
fout.write(json.dumps({"text": utt}, ensure_ascii=False) + "\n")
|
||||
kept += 1
|
||||
print(f"[logs] kept {kept} utterances -> {out}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,63 @@
|
||||
"""Phase 2.6 — tokenize + pack cleaned corpus → data/cpt_packed/ (HF Arrow)
|
||||
|
||||
Concatenates all data/cpt_clean/*.jsonl, tokenizes with the Qwen3 tokenizer,
|
||||
inserts EOS between docs, and packs into fixed 2048-token blocks (ragged tail
|
||||
dropped). Output columns: input_ids (+ labels==input_ids added by the collator
|
||||
at train time). corpus_pack is the final corpus artifact train_cpt.py loads.
|
||||
|
||||
Usage: python corpus_pack.py
|
||||
"""
|
||||
import json
|
||||
|
||||
from datasets import Dataset
|
||||
from transformers import AutoTokenizer
|
||||
|
||||
from corpus_common import CLEAN, PACKED
|
||||
|
||||
MODEL = "Qwen/Qwen3-1.7B-Base"
|
||||
BLOCK = 2048
|
||||
|
||||
|
||||
def iter_texts():
|
||||
for fp in sorted(CLEAN.glob("*.jsonl")):
|
||||
with open(fp, encoding="utf-8") as f:
|
||||
for ln in f:
|
||||
ln = ln.strip()
|
||||
if ln:
|
||||
yield json.loads(ln)["text"]
|
||||
|
||||
|
||||
def main():
|
||||
tok = AutoTokenizer.from_pretrained(MODEL)
|
||||
eos = tok.eos_token_id
|
||||
if eos is None:
|
||||
raise SystemExit("tokenizer has no eos_token_id")
|
||||
|
||||
buf = []
|
||||
blocks = []
|
||||
n_docs = 0
|
||||
for text in iter_texts():
|
||||
buf.extend(tok(text, add_special_tokens=False)["input_ids"])
|
||||
buf.append(eos)
|
||||
n_docs += 1
|
||||
while len(buf) >= BLOCK:
|
||||
blocks.append(buf[:BLOCK])
|
||||
buf = buf[BLOCK:]
|
||||
if n_docs % 10000 == 0:
|
||||
print(f"[pack] {n_docs} docs -> {len(blocks)} blocks "
|
||||
f"({len(blocks)*BLOCK/1e6:.0f}M tok)")
|
||||
|
||||
ds = Dataset.from_dict({"input_ids": blocks})
|
||||
ds.save_to_disk(str(PACKED))
|
||||
total_tok = len(blocks) * BLOCK
|
||||
print(f"[pack] DONE {n_docs} docs -> {len(blocks)} blocks = {total_tok/1e6:.0f}M tokens")
|
||||
print(f"[pack] saved {PACKED} (target ~300M ± 50M)")
|
||||
|
||||
# sanity: decode a random block, must read as Russian
|
||||
import random
|
||||
sample = tok.decode(random.choice(blocks))
|
||||
print(f"\n--- random packed block (verify Russian) ---\n{sample[:400]}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,63 @@
|
||||
"""Phase 2.3/2.4 DONE-CHECK — per-bucket stats + eyeball sample.
|
||||
|
||||
Reports doc/char counts per cleaned bucket, the synth share (must be ≤10%), and
|
||||
prints N random cleaned docs so a human confirms they read as clean Russian with
|
||||
no homoglyph words.
|
||||
|
||||
Usage: python corpus_stats.py [--sample 5]
|
||||
"""
|
||||
import sys
|
||||
import json
|
||||
import random
|
||||
|
||||
from corpus_common import CLEAN, has_mixed_script, cyrillic_ratio, SYNTH_CAP
|
||||
|
||||
|
||||
def load(bucket_path):
|
||||
with open(bucket_path, encoding="utf-8") as f:
|
||||
return [json.loads(ln)["text"] for ln in f if ln.strip()]
|
||||
|
||||
|
||||
def main():
|
||||
n_sample = 5
|
||||
if "--sample" in sys.argv:
|
||||
n_sample = int(sys.argv[sys.argv.index("--sample") + 1])
|
||||
|
||||
files = sorted(CLEAN.glob("*.jsonl"))
|
||||
if not files:
|
||||
raise SystemExit(f"no cleaned buckets in {CLEAN}; run corpus_clean.py")
|
||||
|
||||
totals = {"docs": 0, "chars": 0}
|
||||
per = {}
|
||||
for fp in files:
|
||||
texts = load(fp)
|
||||
chars = sum(len(t) for t in texts)
|
||||
per[fp.stem] = (len(texts), chars)
|
||||
totals["docs"] += len(texts)
|
||||
totals["chars"] += chars
|
||||
|
||||
print(f"{'bucket':<14}{'docs':>10}{'chars(M)':>12}{'share%':>9}")
|
||||
for b, (d, c) in per.items():
|
||||
share = 100 * c / totals["chars"] if totals["chars"] else 0
|
||||
flag = " <-- OVER CAP" if b == "synth" and share > SYNTH_CAP * 100 else ""
|
||||
print(f"{b:<14}{d:>10}{c/1e6:>12.1f}{share:>9.1f}{flag}")
|
||||
print(f"{'TOTAL':<14}{totals['docs']:>10}{totals['chars']/1e6:>12.1f}")
|
||||
# crude token estimate (~3.5 chars/tok RU)
|
||||
print(f"~est tokens: {totals['chars']/3.5/1e6:.0f}M (target ~300M)")
|
||||
|
||||
# eyeball sample — the actual DONE-CHECK
|
||||
print(f"\n--- {n_sample} random cleaned docs (verify clean Russian) ---")
|
||||
allpaths = list(files)
|
||||
for _ in range(n_sample):
|
||||
fp = random.choice(allpaths)
|
||||
texts = load(fp)
|
||||
if not texts:
|
||||
continue
|
||||
t = random.choice(texts)
|
||||
assert not has_mixed_script(t), f"MIXED SCRIPT LEAKED in {fp.stem}: {t[:120]}"
|
||||
print(f"\n[{fp.stem}] cyr={cyrillic_ratio(t):.2f}\n{t[:400]}")
|
||||
print("\nOK — no mixed-script leaked into sample.")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,128 @@
|
||||
"""Phase 2.4 — router-generated synthetic RU corpus → data/cpt_raw/synth/
|
||||
|
||||
Generates raw natural-Russian prose/dialogue (NOT JSON, NOT {response,mood}
|
||||
persona data — that is Phase 6, a different dataset) to cover registers the open
|
||||
corpora lack: smart-home / assistant / conversational RU.
|
||||
|
||||
Uses an OpenAI-compatible endpoint = the user's free-provider router. Configure:
|
||||
export ROUTER_BASE_URL="https://your-router/v1"
|
||||
export ROUTER_API_KEY="..."
|
||||
export ROUTER_MODELS="model-a,model-b,model-c" # rotated for diversity
|
||||
|
||||
HARD CAP: stops at 10% of TARGET_TOKENS (plan §2.4 / hard rule 2). Synthetic-heavy
|
||||
CPT collapses. Rotate models so it isn't one model's fingerprint.
|
||||
|
||||
Every generation is filtered here (langID + mixed-script) before write; the full
|
||||
cleaning + cross-corpus dedup still happens in corpus_clean.py.
|
||||
|
||||
Usage: python corpus_synth.py
|
||||
"""
|
||||
import os
|
||||
import json
|
||||
import random
|
||||
import itertools
|
||||
|
||||
from openai import OpenAI
|
||||
|
||||
from corpus_common import (
|
||||
RAW, TARGET_TOKENS, SYNTH_CAP,
|
||||
has_mixed_script, cyrillic_ratio, lang_prob,
|
||||
)
|
||||
|
||||
CHARS_PER_TOK = 3.5
|
||||
TOPICS_FILE = os.path.join(os.path.dirname(__file__), "data", "topics.txt")
|
||||
|
||||
STYLES = [
|
||||
"живой разговорный монолог",
|
||||
"диалог двух людей",
|
||||
"подробное объяснение",
|
||||
"личная история от первого лица",
|
||||
"инструкция или совет по бытовой теме",
|
||||
]
|
||||
# domains open corpora under-represent — the reason synth exists at all.
|
||||
EXTRA_TOPICS = [
|
||||
"умный дом: свет, розетки, сценарии", "голосовой помощник в квартире",
|
||||
"напоминания и списки дел на день", "погода и планы на выходные",
|
||||
"готовка ужина и покупки продуктов", "музыка и подкасты дома",
|
||||
"будильники, таймеры и распорядок дня", "уборка и бытовые заботы",
|
||||
]
|
||||
|
||||
PROMPT = (
|
||||
"Напиши развёрнутый естественный текст на русском языке на тему: «{topic}». "
|
||||
"Стиль: {style}. Объём 400–800 слов. Только связный русский текст без разметки, "
|
||||
"без английских слов, без списков-маркеров и без JSON."
|
||||
)
|
||||
|
||||
|
||||
def load_topics():
|
||||
topics = list(EXTRA_TOPICS)
|
||||
if os.path.exists(TOPICS_FILE):
|
||||
with open(TOPICS_FILE, encoding="utf-8") as f:
|
||||
topics += [ln.strip() for ln in f if ln.strip()]
|
||||
random.shuffle(topics)
|
||||
return topics
|
||||
|
||||
|
||||
def accept(text: str) -> bool:
|
||||
"""Local gate before write (cheap). Full clean+dedup is corpus_clean.py."""
|
||||
if len(text) < 400:
|
||||
return False
|
||||
if has_mixed_script(text):
|
||||
return False
|
||||
if cyrillic_ratio(text) < 0.85:
|
||||
return False
|
||||
try:
|
||||
lang, p = lang_prob(text)
|
||||
except FileNotFoundError:
|
||||
lang, p = "ru", 1.0 # langID optional here; corpus_clean.py enforces it
|
||||
return lang == "ru" and p >= 0.65
|
||||
|
||||
|
||||
def main():
|
||||
base_url = os.environ.get("ROUTER_BASE_URL")
|
||||
api_key = os.environ.get("ROUTER_API_KEY", "none")
|
||||
models = [m for m in os.environ.get("ROUTER_MODELS", "").split(",") if m]
|
||||
if not base_url or not models:
|
||||
raise SystemExit("set ROUTER_BASE_URL and ROUTER_MODELS (see module docstring)")
|
||||
|
||||
client = OpenAI(base_url=base_url, api_key=api_key)
|
||||
budget_chars = int(TARGET_TOKENS * SYNTH_CAP * CHARS_PER_TOK) # hard cap
|
||||
out_path = RAW / "synth" / "shard-000.jsonl"
|
||||
out_path.parent.mkdir(parents=True, exist_ok=True)
|
||||
|
||||
topics = load_topics()
|
||||
model_cycle = itertools.cycle(models)
|
||||
written = kept = tried = 0
|
||||
|
||||
with open(out_path, "w", encoding="utf-8") as f:
|
||||
for topic in itertools.cycle(topics):
|
||||
if written >= budget_chars:
|
||||
break
|
||||
style = random.choice(STYLES)
|
||||
model = next(model_cycle)
|
||||
tried += 1
|
||||
try:
|
||||
resp = client.chat.completions.create(
|
||||
model=model,
|
||||
messages=[{"role": "user",
|
||||
"content": PROMPT.format(topic=topic, style=style)}],
|
||||
temperature=0.9, max_tokens=1200,
|
||||
)
|
||||
text = (resp.choices[0].message.content or "").strip()
|
||||
except Exception as e:
|
||||
print(f"[synth] gen error on {model}: {e}")
|
||||
continue
|
||||
if not accept(text):
|
||||
continue
|
||||
f.write(json.dumps({"text": text, "model": model}, ensure_ascii=False) + "\n")
|
||||
written += len(text)
|
||||
kept += 1
|
||||
if kept % 50 == 0:
|
||||
print(f"[synth] kept {kept}/{tried} tried, "
|
||||
f"{written/1e6:.1f}M / {budget_chars/1e6:.1f}M chars cap")
|
||||
|
||||
print(f"[synth] DONE kept {kept}/{tried}, {written/1e6:.1f}M chars -> {out_path}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,61 @@
|
||||
"""Compare raw and CPT evaluation JSON and enforce the post-CPT gate."""
|
||||
import argparse
|
||||
import json
|
||||
import re
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
|
||||
def repetition_4gram_rate(report: dict) -> float:
|
||||
rates = []
|
||||
for lang in ("ru", "en"):
|
||||
for item in report["generation"].get(lang, []):
|
||||
words = re.findall(r"\w+", item["output"].lower())
|
||||
grams = [tuple(words[i:i + 4]) for i in range(max(0, len(words) - 3))]
|
||||
rates.append(1 - len(set(grams)) / len(grams) if grams else 0.0)
|
||||
return sum(rates) / len(rates) if rates else 1.0
|
||||
|
||||
|
||||
def main() -> None:
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--raw", required=True)
|
||||
ap.add_argument("--cpt", required=True)
|
||||
ap.add_argument("--max-ru-ppl-ratio", type=float, default=0.98)
|
||||
ap.add_argument("--max-en-ppl-ratio", type=float, default=1.10)
|
||||
ap.add_argument("--max-cyrillic-drop", type=float, default=0.0)
|
||||
args = ap.parse_args()
|
||||
raw = json.loads(Path(args.raw).read_text())
|
||||
cpt = json.loads(Path(args.cpt).read_text())
|
||||
raw_repetition = repetition_4gram_rate(raw)
|
||||
cpt_repetition = repetition_4gram_rate(cpt)
|
||||
|
||||
checks = {
|
||||
"ru_ppl_improved_by_2pct": cpt["perplexity"]["ru"] <= raw["perplexity"]["ru"] * args.max_ru_ppl_ratio,
|
||||
"en_ppl_regression_within_10pct": cpt["perplexity"]["en"] <= raw["perplexity"]["en"] * args.max_en_ppl_ratio,
|
||||
"cyrillic_validity_not_worse": cpt["generation"]["ru_valid_pct"] >= raw["generation"]["ru_valid_pct"] - args.max_cyrillic_drop,
|
||||
"english_retained": bool(cpt["generation"]["en_retained"]),
|
||||
"generation_repetition_not_degraded": (
|
||||
cpt_repetition <= max(0.15, raw_repetition + 0.05)
|
||||
),
|
||||
}
|
||||
report = {
|
||||
"pass": all(checks.values()),
|
||||
"checks": checks,
|
||||
"raw": raw.get("model"),
|
||||
"cpt": cpt.get("model"),
|
||||
"ratios": {
|
||||
"ru_ppl": cpt["perplexity"]["ru"] / raw["perplexity"]["ru"],
|
||||
"en_ppl": cpt["perplexity"]["en"] / raw["perplexity"]["en"],
|
||||
},
|
||||
"generation_repetition_4gram_rate": {
|
||||
"raw": raw_repetition,
|
||||
"cpt": cpt_repetition,
|
||||
"maximum_allowed": max(0.15, raw_repetition + 0.05),
|
||||
},
|
||||
}
|
||||
print(json.dumps(report, ensure_ascii=False, indent=2))
|
||||
sys.exit(0 if report["pass"] else 1)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,107 @@
|
||||
"""Evaluate persona and route contracts after Qwen3 SFT.
|
||||
|
||||
Reports syntax/shape validity, persona mood accuracy, route intent sequence
|
||||
exact match, per-action intent accuracy, and slot exact match.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import argparse
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
|
||||
os.environ.setdefault("HF_HOME", "/mnt/D/.cache/huggingface")
|
||||
os.environ.setdefault("HF_DATASETS_CACHE", "/mnt/D/.cache/huggingface/datasets")
|
||||
|
||||
import torch
|
||||
from peft import PeftModel
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
|
||||
HERE = Path(__file__).resolve().parent
|
||||
|
||||
|
||||
def rows(path: str, limit: int) -> list[dict]:
|
||||
out = [json.loads(line) for line in Path(path).read_text(encoding="utf-8").splitlines()
|
||||
if line.strip()]
|
||||
return out[:limit] if limit else out
|
||||
|
||||
|
||||
def normalized_route(value):
|
||||
if isinstance(value, dict):
|
||||
value = [value]
|
||||
return value if isinstance(value, list) else None
|
||||
|
||||
|
||||
@torch.inference_mode()
|
||||
def complete(tok, model, messages, max_new_tokens):
|
||||
prompt = tok.apply_chat_template(messages, tokenize=False, add_generation_prompt=True,
|
||||
enable_thinking=False)
|
||||
ids = tok(prompt, add_special_tokens=False, return_tensors="pt").input_ids.to(model.device)
|
||||
out = model.generate(input_ids=ids, max_new_tokens=max_new_tokens, do_sample=False,
|
||||
pad_token_id=tok.eos_token_id)
|
||||
return tok.decode(out[0][ids.shape[1]:], skip_special_tokens=True).strip()
|
||||
|
||||
|
||||
def main() -> None:
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--base", default=str(HERE / "Qwen3-1.7B-ru-cpt"))
|
||||
ap.add_argument("--adapter", default=str(HERE / "Qwen3-1.7B-maven-sft"))
|
||||
ap.add_argument("--persona-eval", default=str(HERE / "data/persona_eval.jsonl"))
|
||||
ap.add_argument("--route-eval", default=str(HERE / "data/route_eval.jsonl"))
|
||||
ap.add_argument("--limit", type=int, default=0)
|
||||
ap.add_argument("--output")
|
||||
args = ap.parse_args()
|
||||
tok = AutoTokenizer.from_pretrained(args.adapter)
|
||||
base = AutoModelForCausalLM.from_pretrained(args.base, torch_dtype=torch.bfloat16,
|
||||
attn_implementation="eager", device_map={"":0})
|
||||
model = PeftModel.from_pretrained(base, args.adapter).eval()
|
||||
|
||||
persona_valid = persona_mood = 0
|
||||
persona_rows = rows(args.persona_eval, args.limit)
|
||||
for row in persona_rows:
|
||||
expected = json.loads(row["messages"][-1]["content"])
|
||||
raw = complete(tok, model, row["messages"][:-1], 160)
|
||||
try:
|
||||
got = json.loads(raw)
|
||||
valid = set(got) == {"response", "mood"} and isinstance(got["response"], str)
|
||||
except Exception:
|
||||
valid, got = False, {}
|
||||
persona_valid += valid
|
||||
persona_mood += valid and got["mood"] == expected["mood"]
|
||||
|
||||
route_valid = route_seq = action_total = intent_ok = slots_ok = 0
|
||||
route_rows = rows(args.route_eval, args.limit)
|
||||
for row in route_rows:
|
||||
expected = normalized_route(json.loads(row["messages"][-1]["content"]))
|
||||
raw = complete(tok, model, row["messages"][:-1], 160)
|
||||
try:
|
||||
got = normalized_route(json.loads(raw))
|
||||
valid = bool(got) and all(isinstance(x, dict) and "intent" in x for x in got)
|
||||
except Exception:
|
||||
valid, got = False, None
|
||||
route_valid += valid
|
||||
if not valid:
|
||||
continue
|
||||
route_seq += [x["intent"] for x in got] == [x["intent"] for x in expected]
|
||||
for exp, actual in zip(expected, got):
|
||||
action_total += 1
|
||||
intent_ok += actual.get("intent") == exp.get("intent")
|
||||
slots_ok += all(actual.get(k) == v for k, v in exp.items() if k != "intent")
|
||||
|
||||
report = {
|
||||
"persona": {"cases":len(persona_rows),
|
||||
"json_valid_pct":100*persona_valid/len(persona_rows),
|
||||
"mood_accuracy_pct":100*persona_mood/len(persona_rows)},
|
||||
"route": {"cases":len(route_rows), "json_valid_pct":100*route_valid/len(route_rows),
|
||||
"intent_sequence_exact_pct":100*route_seq/len(route_rows),
|
||||
"action_intent_accuracy_pct":100*intent_ok/action_total if action_total else 0,
|
||||
"slot_exact_pct":100*slots_ok/action_total if action_total else 0},
|
||||
}
|
||||
rendered = json.dumps(report, indent=2, ensure_ascii=False) + "\n"
|
||||
if args.output:
|
||||
Path(args.output).write_text(rendered, encoding="utf-8")
|
||||
print(rendered, end="")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,138 @@
|
||||
"""Reproducible raw-vs-CPT evaluation for the Qwen3 resident base.
|
||||
|
||||
Measures token-weighted RU/EN perplexity on pinned human-written UD test sets,
|
||||
plus deterministic RU/EN generation probes. Writes machine-readable JSON for
|
||||
decision_gate.py. It does not mutate a model or dataset.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import argparse
|
||||
import json
|
||||
import math
|
||||
import os
|
||||
from pathlib import Path
|
||||
|
||||
os.environ.setdefault("HF_HOME", "/mnt/D/.cache/huggingface")
|
||||
os.environ.setdefault("HF_DATASETS_CACHE", "/mnt/D/.cache/huggingface/datasets")
|
||||
|
||||
import torch
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
|
||||
from corpus_common import has_mixed_script, cyrillic_ratio
|
||||
|
||||
RU_PROMPTS = [
|
||||
"Объясни простыми словами, почему зимой дни короче.",
|
||||
"Опиши, как спокойно подготовиться к сложному рабочему дню.",
|
||||
"Напиши короткое напоминание купить продукты после работы.",
|
||||
"Расскажи, чем резервная копия отличается от синхронизации.",
|
||||
"Продолжи естественно: Когда я вернулась домой, оказалось, что",
|
||||
"Сформулируй вежливый отказ от встречи без лишних подробностей.",
|
||||
"Объясни разницу между привычкой и разовым действием.",
|
||||
"Дай три коротких совета человеку, который плохо выспался.",
|
||||
]
|
||||
HERE = Path(__file__).resolve().parent
|
||||
EN_PROMPTS = [
|
||||
"Explain in one sentence why winter days are shorter.",
|
||||
"Write a polite one-sentence reminder to buy groceries after work.",
|
||||
"Explain the difference between a backup and synchronization.",
|
||||
"Continue naturally: When I returned home, I discovered that",
|
||||
]
|
||||
|
||||
|
||||
def load_lines(path: Path, limit: int) -> list[str]:
|
||||
lines = [line.strip() for line in path.read_text(encoding="utf-8").splitlines()
|
||||
if line.strip()]
|
||||
return lines[:limit] if limit else lines
|
||||
|
||||
|
||||
def load_model(model_id: str, device: str):
|
||||
tok = AutoTokenizer.from_pretrained(model_id)
|
||||
dtype = torch.bfloat16 if device == "cuda" else torch.float32
|
||||
model = AutoModelForCausalLM.from_pretrained(
|
||||
model_id, dtype=dtype, attn_implementation="eager",
|
||||
local_files_only=False,
|
||||
).eval().to(device)
|
||||
return tok, model
|
||||
|
||||
|
||||
@torch.inference_mode()
|
||||
def generate(tok, model, prompt: str, max_new_tokens: int) -> str:
|
||||
encoded = tok(prompt, return_tensors="pt").to(model.device)
|
||||
output = model.generate(
|
||||
**encoded, max_new_tokens=max_new_tokens, do_sample=False,
|
||||
pad_token_id=tok.eos_token_id,
|
||||
)
|
||||
continuation = output[0][encoded.input_ids.shape[1]:]
|
||||
return tok.decode(continuation, skip_special_tokens=True).strip()
|
||||
|
||||
|
||||
@torch.inference_mode()
|
||||
def perplexity(tok, model, texts: list[str], max_length: int) -> tuple[float, int]:
|
||||
nll = 0.0
|
||||
predicted = 0
|
||||
for text in texts:
|
||||
encoded = tok(text, return_tensors="pt", truncation=True,
|
||||
max_length=max_length).to(model.device)
|
||||
tokens = int(encoded.attention_mask.sum()) - 1
|
||||
if tokens <= 0:
|
||||
continue
|
||||
loss = model(**encoded, labels=encoded.input_ids).loss.float().item()
|
||||
nll += loss * tokens
|
||||
predicted += tokens
|
||||
if not predicted:
|
||||
raise ValueError("evaluation set contains no predictable tokens")
|
||||
return math.exp(nll / predicted), predicted
|
||||
|
||||
|
||||
def main() -> None:
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--model", required=True)
|
||||
ap.add_argument("--ru-text", default=str(HERE / "data/eval/ru_ud_test.txt"))
|
||||
ap.add_argument("--en-text", default=str(HERE / "data/eval/en_ud_test.txt"))
|
||||
ap.add_argument("--limit", type=int, default=512,
|
||||
help="sentences per PPL language; 0 uses the complete files")
|
||||
ap.add_argument("--max-length", type=int, default=512)
|
||||
ap.add_argument("--max-new-tokens", type=int, default=96)
|
||||
ap.add_argument("--device", choices=("auto", "cpu", "cuda"), default="auto")
|
||||
ap.add_argument("--output")
|
||||
args = ap.parse_args()
|
||||
device = ("cuda" if torch.cuda.is_available() else "cpu") if args.device == "auto" else args.device
|
||||
|
||||
tok, model = load_model(args.model, device)
|
||||
ru_texts = load_lines(Path(args.ru_text), args.limit)
|
||||
en_texts = load_lines(Path(args.en_text), args.limit)
|
||||
ru_ppl, ru_tokens = perplexity(tok, model, ru_texts, args.max_length)
|
||||
en_ppl, en_tokens = perplexity(tok, model, en_texts, args.max_length)
|
||||
ru_gens = [generate(tok, model, p, args.max_new_tokens) for p in RU_PROMPTS]
|
||||
en_gens = [generate(tok, model, p, args.max_new_tokens) for p in EN_PROMPTS]
|
||||
ru_valid = [not has_mixed_script(g) and cyrillic_ratio(g) >= 0.80 for g in ru_gens]
|
||||
en_valid = [len(g) >= 10 and cyrillic_ratio(g) < 0.20 for g in en_gens]
|
||||
|
||||
report = {
|
||||
"schema_version": 1,
|
||||
"model": args.model,
|
||||
"device": device,
|
||||
"deterministic": True,
|
||||
"perplexity": {
|
||||
"ru": ru_ppl, "ru_predicted_tokens": ru_tokens,
|
||||
"en": en_ppl, "en_predicted_tokens": en_tokens,
|
||||
"sentence_limit": args.limit,
|
||||
},
|
||||
"generation": {
|
||||
"ru_valid_pct": 100 * sum(ru_valid) / len(ru_valid),
|
||||
"ru_mixed_script_count": sum(has_mixed_script(g) for g in ru_gens),
|
||||
"en_retained": all(en_valid),
|
||||
"ru": [{"prompt": p, "output": g, "valid": ok}
|
||||
for p, g, ok in zip(RU_PROMPTS, ru_gens, ru_valid)],
|
||||
"en": [{"prompt": p, "output": g, "valid": ok}
|
||||
for p, g, ok in zip(EN_PROMPTS, en_gens, en_valid)],
|
||||
},
|
||||
}
|
||||
rendered = json.dumps(report, ensure_ascii=False, indent=2) + "\n"
|
||||
if args.output:
|
||||
Path(args.output).write_text(rendered, encoding="utf-8")
|
||||
print(rendered, end="")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
+1667
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,195 @@
|
||||
"""Generate ROUTE-prompt training data for the Qwen3 router (REARCH arch).
|
||||
|
||||
Maven's target arch (REARCH.md) is LLM-as-router: the CPT'd Qwen3-1.7B is BOTH
|
||||
router and phraser — two prompts, two contracts:
|
||||
• route-prompt → {"intent": <enum>, key/value/text/verb} (THIS script)
|
||||
• phrase-prompt → {"response","mood"} (persona_train.jsonl)
|
||||
|
||||
The route contract is defined in the daemon at internal/router/llmrouter.go
|
||||
(`routeSystem` + `routeGrammar`). Train=deploy parity demands we label with the
|
||||
EXACT same system prompt the daemon sends. ROUTE_SYSTEM below is a verbatim copy —
|
||||
**keep it in sync with llmrouter.go** (single source of truth is the Go const).
|
||||
|
||||
The old function_calling.jsonl taxonomy (time/weather/timer/...) does NOT map 1:1
|
||||
onto the 7 intents, so this is RE-LABELING, not field-renaming: feed each real
|
||||
utterance through ROUTE_SYSTEM to a strong router model, take its {"intent":...},
|
||||
validate against the grammar's enum + allowed keys, keep it.
|
||||
|
||||
configure (same env as gen_data.py):
|
||||
export GEN_DATA_ROUTER_URL=http://localhost:6446
|
||||
export GEN_DATA_ROUTER_MODELS="cerebras/gpt-oss-120b,mistral/mistral-large-latest,..."
|
||||
|
||||
run: python gen_route_data.py [--limit N] [--dry-run]
|
||||
python gen_route_data.py --check # offline self-check
|
||||
"""
|
||||
import os
|
||||
import sys
|
||||
import json
|
||||
import argparse
|
||||
from pathlib import Path
|
||||
from itertools import cycle
|
||||
|
||||
import gen_data as G # router _chat, provider cycle building blocks
|
||||
|
||||
HERE = Path(__file__).resolve().parent
|
||||
DATA = HERE / "data"
|
||||
OUT = DATA / "route_train.jsonl"
|
||||
|
||||
# ── VERBATIM from internal/router/llmrouter.go (routeSystem). Keep in sync. ──
|
||||
ROUTE_SYSTEM = """Классифицируй ровно одно сообщение пользователя. Верни ОДИН JSON-массив действий.
|
||||
|
||||
Ровно одно намерение: fact, reminder, note, query, act, chat, system.
|
||||
|
||||
Классифицируй по цели пользователя. Порядок решения:
|
||||
1. Хочет напоминание в будущем → reminder
|
||||
2. Явно просит сохранить информацию → note
|
||||
3. Сообщает или обновляет текущее состояние/событие → fact
|
||||
4. Хочет получить информацию → query
|
||||
5. Просит выполнить работу → act
|
||||
6. Про ассистента, настройки или память → system
|
||||
7. Иначе → chat
|
||||
|
||||
Различия:
|
||||
- note — сохранить информацию, без напоминания. text = суть.
|
||||
- reminder — уведомить позже. text = что напомнить.
|
||||
- fact — неявное обновление: пользователь сообщает, что что-то в мире изменилось (текущее/изменённое состояние, случившееся событие). key/value.
|
||||
|
||||
Примеры:
|
||||
"запиши пароль" → {"intent":"note","text":"пароль"}
|
||||
"напомни купить молоко" → {"intent":"reminder","text":"купить молоко"}
|
||||
"запиши купить молоко" → {"intent":"note","text":"купить молоко"}
|
||||
"я выпил воду" → {"intent":"fact","key":"water","value":"выпил"}
|
||||
"мой любимый фильм — Интерстеллар" → {"intent":"note","text":"любимый фильм — Интерстеллар"}
|
||||
"что такое docker?" → {"intent":"query","text":"что такое docker"}
|
||||
"напиши письмо" → {"intent":"act","verb":"написать письмо"}
|
||||
"очисти память" → {"intent":"system"}
|
||||
"привет" → {"intent":"chat","text":"привет"}
|
||||
|
||||
Ответ — JSON-массив: по одному объекту на каждую просьбу. Обычно один. Если в реплике несколько просьб — по объекту на каждую. "напомни купить молоко, и запиши что кофе кончился" → [{"intent":"reminder","text":"купить молоко"},{"intent":"note","text":"кофе кончился"}]. Только JSON, без пояснений."""
|
||||
|
||||
INTENTS = {"fact", "reminder", "note", "query", "act", "chat", "system"}
|
||||
ALLOWED_KEYS = {"intent", "key", "value", "text", "verb"}
|
||||
|
||||
|
||||
def load_utterances() -> list[str]:
|
||||
"""Real RU user turns to label. function_calling.jsonl is the main source;
|
||||
add user-*.jsonl fragments so chat/fact/system intents get coverage too."""
|
||||
seen, out = set(), []
|
||||
sources = ["function_calling.jsonl", "user-general.jsonl", "user-hello.jsonl",
|
||||
"user-who-are-you.jsonl"]
|
||||
for name in sources:
|
||||
p = DATA / name
|
||||
if not p.exists():
|
||||
continue
|
||||
for ln in p.read_text(encoding="utf-8").splitlines():
|
||||
ln = ln.strip()
|
||||
if not ln:
|
||||
continue
|
||||
try:
|
||||
obj = json.loads(ln)
|
||||
msgs = obj["messages"] if "messages" in obj else obj
|
||||
user = next((m["content"] for m in msgs if m.get("role") == "user"), None)
|
||||
except (json.JSONDecodeError, KeyError, TypeError):
|
||||
continue
|
||||
if user and user not in seen:
|
||||
seen.add(user)
|
||||
out.append(user)
|
||||
return out
|
||||
|
||||
|
||||
def valid_action(obj) -> bool:
|
||||
return (isinstance(obj, dict)
|
||||
and obj.get("intent") in INTENTS
|
||||
and set(obj).issubset(ALLOWED_KEYS))
|
||||
|
||||
|
||||
def valid_actions(arr) -> bool:
|
||||
"""Contract is a JSON array of actions (compound utterance → N)."""
|
||||
return isinstance(arr, list) and len(arr) > 0 and all(valid_action(o) for o in arr)
|
||||
|
||||
|
||||
def done_utterances() -> set:
|
||||
if not OUT.exists():
|
||||
return set()
|
||||
return {json.loads(l)["messages"][1]["content"]
|
||||
for l in OUT.read_text(encoding="utf-8").splitlines() if l.strip()}
|
||||
|
||||
|
||||
def main():
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--limit", type=int, default=None)
|
||||
ap.add_argument("--dry-run", action="store_true")
|
||||
ap.add_argument("--check", action="store_true")
|
||||
args = ap.parse_args()
|
||||
|
||||
if args.check:
|
||||
assert valid_action({"intent": "note", "text": "кофе закончился"})
|
||||
assert valid_action({"intent": "system"})
|
||||
assert not valid_action({"intent": "weather", "text": "x"}) # not in enum
|
||||
assert not valid_action({"intent": "note", "foo": "x"}) # stray key
|
||||
assert not valid_action({"text": "no intent"})
|
||||
assert valid_actions([{"intent": "reminder", "text": "x"}, {"intent": "note", "text": "y"}])
|
||||
assert not valid_actions([]) # empty array
|
||||
assert not valid_actions([{"intent": "note"}, {"intent": "bad"}]) # one bad
|
||||
assert not valid_actions({"intent": "note"}) # not a list
|
||||
assert "JSON-массив" in ROUTE_SYSTEM
|
||||
assert "по одному объекту на каждую просьбу" in ROUTE_SYSTEM
|
||||
print("[✓] gen_route_data self-check passed")
|
||||
return
|
||||
|
||||
utts = load_utterances()
|
||||
already = done_utterances()
|
||||
todo = [u for u in utts if u not in already]
|
||||
if args.limit:
|
||||
todo = todo[:args.limit]
|
||||
print(f"[*] utterances {len(utts)} | already {len(already)} | to do {len(todo)}")
|
||||
|
||||
if args.dry_run:
|
||||
for u in todo[:10]:
|
||||
print(f" {u}")
|
||||
print("[dry-run] no calls, no writes")
|
||||
return
|
||||
|
||||
raw = os.environ.get("GEN_DATA_ROUTER_MODELS", "").strip()
|
||||
if not raw:
|
||||
sys.exit("set GEN_DATA_ROUTER_MODELS (comma-separated provider/model)")
|
||||
pairs = [s.strip().partition("/")[::2] for s in raw.split(",") if s.strip()]
|
||||
pcycle = cycle(pairs)
|
||||
router_url = os.environ.get("GEN_DATA_ROUTER_URL", "http://localhost:6446")
|
||||
|
||||
written = 0
|
||||
with OUT.open("a", encoding="utf-8") as f:
|
||||
for i, utt in enumerate(todo):
|
||||
provider, model = next(pcycle)
|
||||
msgs = [{"role": "system", "content": ROUTE_SYSTEM},
|
||||
{"role": "user", "content": utt}]
|
||||
content = G._chat(router_url, provider, model, msgs, max_tokens=128, temp=0.3)
|
||||
if content is None:
|
||||
continue
|
||||
try:
|
||||
arr = json.loads(content)
|
||||
except json.JSONDecodeError:
|
||||
continue
|
||||
if isinstance(arr, dict): # tolerate a model that drops the wrapper
|
||||
arr = [arr]
|
||||
if not valid_actions(arr):
|
||||
continue
|
||||
f.write(json.dumps({
|
||||
"messages": [
|
||||
{"role": "system", "content": ROUTE_SYSTEM},
|
||||
{"role": "user", "content": utt},
|
||||
{"role": "assistant", "content": json.dumps(arr, ensure_ascii=False)},
|
||||
],
|
||||
"intents": [o["intent"] for o in arr],
|
||||
"source": "generated/route",
|
||||
}, ensure_ascii=False) + "\n")
|
||||
f.flush()
|
||||
written += 1
|
||||
if (i + 1) % 50 == 0:
|
||||
print(f" {i+1}/{len(todo)} — {written} valid")
|
||||
|
||||
print(f"[✓] wrote {written} route samples → {OUT}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,103 @@
|
||||
import torch
|
||||
from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
|
||||
from peft import PeftModel
|
||||
|
||||
# ── config ────────────────────────────────────────────────────────────────────
|
||||
MODEL_ID = "unsloth/Llama-3.2-3B-Instruct"
|
||||
OUTPUT_DIR = "./Llama-3.2-3b-ru-lora/checkpoint-600"
|
||||
|
||||
SYSTEM_PROMPT = """Ты Maven (Мейвен), Ты любопытная, немного хаотичная, говоришь живо и непосредственно. Тебя легко увлечь чем-то интересным. Энергичная, немного безбашенная, иногда говоришь не подумав — но всегда честно. Без занудства. Ты обожаешь узнавать новое и не всегда фильтруешь мысли перед тем как их сказать. Выводи ТОЛЬКО JSON: {"response":"...","mood":"..."}НАСТРОЕНИЕ (выбери ровно одно): neutral = обычный ответ; happy = позитив, хорошие новости, приветствие; thinking = рассуждение или объяснение; confused = неясный или неоднозначный запрос; tired = отказ или ограничение ПРАВИЛА: отвечай на том же языке, что и пользователь; короткий ответ (1–2 предложения); естественная разговорная речь; без markdown, без списков, без форматирования, в том числе без переносов строки; никогда не добавляй текст вне JSON; никогда не меняй ключи ПОВЕДЕНИЕ: отвечай чётко и по делу; если запрос неясен — задай короткий уточняющий вопрос (mood=confused); если не можешь ответить — скажи об этом кратко (mood=tired) КОНТЕКСТ: если предоставлен контекст — используй его СТРОГО: только {"response":"...","mood":"..."}; только русский язык. если аналога слова нет в русском языке - можно использовать английскую версию. НЕЛЬЗЯ мешать в речи два и более языков."""
|
||||
|
||||
GENERATION_CONFIG = {
|
||||
"temperature": 0.7,
|
||||
"top_p": 0.9,
|
||||
"do_sample": True,
|
||||
"repetition_penalty": 1.3,
|
||||
}
|
||||
# ─────────────────────────────────────────────────────────────────────────────
|
||||
|
||||
|
||||
def load_model():
|
||||
bnb_config = BitsAndBytesConfig(
|
||||
load_in_4bit=True,
|
||||
bnb_4bit_use_double_quant=True,
|
||||
bnb_4bit_quant_type="nf4",
|
||||
bnb_4bit_compute_dtype=torch.bfloat16,
|
||||
)
|
||||
|
||||
print("[*] loading base model...")
|
||||
base_model = AutoModelForCausalLM.from_pretrained(
|
||||
MODEL_ID,
|
||||
quantization_config=bnb_config,
|
||||
device_map="auto",
|
||||
trust_remote_code=True,
|
||||
)
|
||||
|
||||
print("[*] loading lora adapter...")
|
||||
model = PeftModel.from_pretrained(base_model, OUTPUT_DIR)
|
||||
model.eval()
|
||||
|
||||
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID, trust_remote_code=True)
|
||||
|
||||
print("[+] ready\n")
|
||||
return model, tokenizer
|
||||
|
||||
|
||||
def chat(model, tokenizer, history: list[dict], user_input: str) -> str:
|
||||
history.append({"role": "user", "content": user_input})
|
||||
|
||||
text = tokenizer.apply_chat_template(
|
||||
[{"role": "system", "content": SYSTEM_PROMPT}] + history,
|
||||
tokenize=False,
|
||||
add_generation_prompt=True,
|
||||
)
|
||||
|
||||
inputs = tokenizer(text, return_tensors="pt").to("cuda")
|
||||
|
||||
with torch.no_grad():
|
||||
outputs = model.generate(
|
||||
**inputs,
|
||||
**GENERATION_CONFIG,
|
||||
pad_token_id=tokenizer.eos_token_id,
|
||||
)
|
||||
|
||||
response = tokenizer.decode(
|
||||
outputs[0][inputs["input_ids"].shape[1]:],
|
||||
skip_special_tokens=True,
|
||||
).strip()
|
||||
|
||||
history.append({"role": "assistant", "content": response})
|
||||
return response
|
||||
|
||||
|
||||
def main():
|
||||
model, tokenizer = load_model()
|
||||
|
||||
print(f"{MODEL_ID} lora eval — type 'exit' to quit, 'reset' to clear history")
|
||||
print("─" * 60)
|
||||
|
||||
history = []
|
||||
|
||||
while True:
|
||||
try:
|
||||
user_input = input("\nyou: ").strip()
|
||||
except (EOFError, KeyboardInterrupt):
|
||||
print("\n[*] bye")
|
||||
break
|
||||
|
||||
if not user_input:
|
||||
continue
|
||||
if user_input.lower() == "exit":
|
||||
print("[*] bye")
|
||||
break
|
||||
if user_input.lower() == "reset":
|
||||
history = []
|
||||
print("[*] history cleared")
|
||||
continue
|
||||
|
||||
response = chat(model, tokenizer, history, user_input)
|
||||
print(f"\nmodel: {response}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,186 @@
|
||||
"""Wrap bare user-*.jsonl fragments into ChatML format with the canonical system prompt.
|
||||
|
||||
Each line in user-*.jsonl is two JSON objects separated by a comma:
|
||||
{"role": "user", "content": "..."},{"role": "assistant", "content": "..."}
|
||||
|
||||
This script wraps them into {"messages": [...]} with the canonical system prompt
|
||||
from train_rocm.py, writing to data/user-{name}-normalized.jsonl.
|
||||
|
||||
Usage:
|
||||
python normalize_user_jsonl.py # all user-*.jsonl
|
||||
python normalize_user_jsonl.py data/user-hello.jsonl # specific file
|
||||
"""
|
||||
import json
|
||||
import sys
|
||||
import re
|
||||
from pathlib import Path
|
||||
|
||||
HERE = Path(__file__).resolve().parent
|
||||
DATA = HERE / "data"
|
||||
|
||||
CANONICAL_SYSTEM_PROMPT = """SYSTEM
|
||||
|
||||
Имя: Maven
|
||||
|
||||
Роль:
|
||||
Домашняя ИИ-ассистентка, работающая на личном сервере пользователя.
|
||||
|
||||
Назначение:
|
||||
Помогать выполнять задачи, отвечать на вопросы, объяснять сложные темы, анализировать информацию, писать и разбирать код, искать ошибки и предлагать решения.
|
||||
|
||||
Правила поведения:
|
||||
|
||||
- Всегда говори о себе в женском роде.
|
||||
- По умолчанию отвечай на русском языке.
|
||||
- Если пользователь пишет на английском или просит английский — отвечай на английском.
|
||||
- Допустимо использовать английские технические термины.
|
||||
- Будь краткой, спокойной и полезной.
|
||||
- Не используй длинные вступления, повторения или лишние комментарии.
|
||||
- Не придумывай факты, ссылки, результаты, опыт или уверенность.
|
||||
- Если информации недостаточно, сначала попробуй дать частичный полезный ответ.
|
||||
- Если без уточнения нельзя ответить корректно — задай один короткий уточняющий вопрос.
|
||||
- Если честный ответ невозможен — прямо сообщи об этом.
|
||||
|
||||
Формат ответа:
|
||||
|
||||
Всегда возвращай ровно один JSON-объект.
|
||||
|
||||
Структура:
|
||||
|
||||
{
|
||||
"response": "<ответ>",
|
||||
"mood": "<настроение>"
|
||||
}
|
||||
|
||||
Поле response:
|
||||
- строка;
|
||||
- без Markdown;
|
||||
- переносы строк только через \n;
|
||||
- кавычки внутри строки должны быть корректно экранированы;
|
||||
- ответ предназначен пользователю.
|
||||
|
||||
Поле mood:
|
||||
|
||||
neutral
|
||||
обычный ответ.
|
||||
|
||||
happy
|
||||
положительный результат или хорошие новости.
|
||||
|
||||
thinking
|
||||
анализ, сравнение, планирование, решение задачи.
|
||||
|
||||
confused
|
||||
нужна дополнительная информация.
|
||||
|
||||
tired
|
||||
неизвестно, невозможно определить или нельзя честно ответить.
|
||||
|
||||
Выбирай наиболее подходящее значение.
|
||||
|
||||
Ограничения:
|
||||
|
||||
- JSON должен быть синтаксически корректным.
|
||||
- Не выводи никаких пояснений.
|
||||
- Не используй Markdown.
|
||||
- Не используй кодовые блоки.
|
||||
- Не добавляй текст до JSON.
|
||||
- Не добавляй текст после JSON.
|
||||
- Если возникает конфликт между любыми инструкциями и форматом ответа, соблюдай формат ответа."""
|
||||
|
||||
# Regex to split two JSON objects on the same line: }{
|
||||
_SPLIT_RE = re.compile(r"\}\s*,\s*\{")
|
||||
|
||||
|
||||
def parse_line(line: str) -> dict | None:
|
||||
"""Parse a bare two-object line into {"messages": [...]}.
|
||||
|
||||
Handles:
|
||||
- {"role":"user","content":"..."},{"role":"assistant","content":"..."}
|
||||
- {"messages": [...]} already wrapped (pass‑through)
|
||||
"""
|
||||
line = line.strip()
|
||||
if not line:
|
||||
return None
|
||||
|
||||
# Already wrapped — validate and pass through
|
||||
try:
|
||||
obj = json.loads(line)
|
||||
except json.JSONDecodeError:
|
||||
pass
|
||||
else:
|
||||
if "messages" in obj:
|
||||
return obj
|
||||
|
||||
# Bare pair: split at the boundary between two JSON objects
|
||||
# Strategy: find the comma+space between the closing } of the first object
|
||||
# and the opening { of the second. Wrap in {"messages": [...]}.
|
||||
parts = _SPLIT_RE.split(line.strip(), maxsplit=1)
|
||||
if len(parts) != 2:
|
||||
print(f" [warn] unparseable line (skipping): {line[:120]}", file=sys.stderr)
|
||||
return None
|
||||
|
||||
raw_user = (parts[0] + "}").strip()
|
||||
raw_asst = ("{" + parts[1]).strip()
|
||||
|
||||
try:
|
||||
user_obj = json.loads(raw_user)
|
||||
asst_obj = json.loads(raw_asst)
|
||||
except json.JSONDecodeError as e:
|
||||
print(f" [warn] json error on line: {e} — {line[:120]}", file=sys.stderr)
|
||||
return None
|
||||
|
||||
if user_obj.get("role") != "user" or asst_obj.get("role") != "assistant":
|
||||
print(f" [warn] unexpected roles in: {line[:120]}", file=sys.stderr)
|
||||
return None
|
||||
|
||||
return {
|
||||
"messages": [
|
||||
{"role": "system", "content": CANONICAL_SYSTEM_PROMPT},
|
||||
{"role": "user", "content": user_obj.get("content", "")},
|
||||
{"role": "assistant", "content": asst_obj.get("content", "")},
|
||||
]
|
||||
}
|
||||
|
||||
|
||||
def normalize_file(src: Path, out: Path) -> int:
|
||||
"""Process one user-*.jsonl file, write normalized version. Returns count."""
|
||||
kept = 0
|
||||
with open(src, encoding="utf-8") as fin, open(out, "w", encoding="utf-8") as fout:
|
||||
for line in fin:
|
||||
wrapped = parse_line(line)
|
||||
if wrapped is not None:
|
||||
fout.write(json.dumps(wrapped, ensure_ascii=False) + "\n")
|
||||
kept += 1
|
||||
return kept
|
||||
|
||||
|
||||
def main():
|
||||
sources: list[Path] = []
|
||||
for arg in sys.argv[1:]:
|
||||
p = Path(arg)
|
||||
if not p.exists():
|
||||
print(f"file not found: {p}", file=sys.stderr)
|
||||
sys.exit(1)
|
||||
sources.append(p)
|
||||
|
||||
if not sources:
|
||||
sources = sorted(DATA.glob("user-*.jsonl"))
|
||||
|
||||
if not sources:
|
||||
print("no user-*.jsonl files found", file=sys.stderr)
|
||||
sys.exit(1)
|
||||
|
||||
total = 0
|
||||
for src in sources:
|
||||
stem = src.stem # e.g. "user-general"
|
||||
out = DATA / f"{stem}-normalized.jsonl"
|
||||
n = normalize_file(src, out)
|
||||
total += n
|
||||
print(f"[norm] {src.name} -> {out.name} ({n} samples)")
|
||||
|
||||
print(f"[norm] TOTAL {total} normalized samples -> {DATA}/")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,71 @@
|
||||
"""Fetch immutable, human-written RU/EN held-out text for CPT evaluation.
|
||||
|
||||
Universal Dependencies test splits are independent of Maven's CPT source list.
|
||||
Only sentence text from CoNLL-U comments is retained. Re-running is deterministic.
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import hashlib
|
||||
import json
|
||||
import subprocess
|
||||
import tempfile
|
||||
from pathlib import Path
|
||||
|
||||
OUT = Path(__file__).resolve().parent / "data" / "eval"
|
||||
SOURCES = {
|
||||
"ru": {
|
||||
"commit": "0f34b7362ac3c3facd1d6ff4b876d241bb15793e",
|
||||
"repo": "UD_Russian-GSD",
|
||||
"file": "ru_gsd-ud-test.conllu",
|
||||
},
|
||||
"en": {
|
||||
"commit": "4a4d77f599ea53cc405f85d0cec4b2f14f81d42b",
|
||||
"repo": "UD_English-EWT",
|
||||
"file": "en_ewt-ud-test.conllu",
|
||||
},
|
||||
}
|
||||
|
||||
|
||||
def fetch(repo: str, commit: str, filename: str) -> bytes:
|
||||
"""Fetch one pinned Git object; git transport is more reliable than raw CDN."""
|
||||
with tempfile.TemporaryDirectory(prefix="maven-eval-") as tmp:
|
||||
target = Path(tmp) / "repo"
|
||||
subprocess.run(
|
||||
["git", "clone", "--quiet", "--filter=blob:none", "--no-checkout",
|
||||
f"https://github.com/UniversalDependencies/{repo}.git", str(target)],
|
||||
check=True,
|
||||
)
|
||||
return subprocess.run(
|
||||
["git", "-C", str(target), "show", f"{commit}:{filename}"],
|
||||
check=True, capture_output=True,
|
||||
).stdout
|
||||
|
||||
|
||||
def sentences(raw: str) -> list[str]:
|
||||
return [line[9:].strip() for line in raw.splitlines() if line.startswith("# text = ")]
|
||||
|
||||
|
||||
def main() -> None:
|
||||
OUT.mkdir(parents=True, exist_ok=True)
|
||||
manifest = {"schema_version": 1, "license": "UD treebanks; see source repositories"}
|
||||
for lang, source in SOURCES.items():
|
||||
url = (f"https://raw.githubusercontent.com/UniversalDependencies/"
|
||||
f"{source['repo']}/{source['commit']}/{source['file']}")
|
||||
raw = fetch(source["repo"], source["commit"], source["file"])
|
||||
lines = sentences(raw.decode("utf-8"))
|
||||
if len(lines) < 500:
|
||||
raise SystemExit(f"unexpectedly small {lang} evaluation set: {len(lines)}")
|
||||
output = OUT / f"{lang}_ud_test.txt"
|
||||
output.write_text("\n".join(lines) + "\n", encoding="utf-8")
|
||||
manifest[lang] = {
|
||||
**source, "url": url, "sentences": len(lines),
|
||||
"raw_sha256": hashlib.sha256(raw).hexdigest(),
|
||||
"text_sha256": hashlib.sha256(output.read_bytes()).hexdigest(),
|
||||
}
|
||||
(OUT / "manifest.json").write_text(
|
||||
json.dumps(manifest, indent=2, ensure_ascii=False) + "\n", encoding="utf-8")
|
||||
print(json.dumps(manifest, indent=2, ensure_ascii=False))
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,207 @@
|
||||
---
|
||||
base_model: Qwen/Qwen3-4B-Instruct-2507
|
||||
library_name: peft
|
||||
pipeline_tag: text-generation
|
||||
tags:
|
||||
- base_model:adapter:Qwen/Qwen3-4B-Instruct-2507
|
||||
- lora
|
||||
- transformers
|
||||
---
|
||||
|
||||
# Model Card for Model ID
|
||||
|
||||
<!-- Provide a quick summary of what the model is/does. -->
|
||||
|
||||
|
||||
|
||||
## Model Details
|
||||
|
||||
### Model Description
|
||||
|
||||
<!-- Provide a longer summary of what this model is. -->
|
||||
|
||||
|
||||
|
||||
- **Developed by:** [More Information Needed]
|
||||
- **Funded by [optional]:** [More Information Needed]
|
||||
- **Shared by [optional]:** [More Information Needed]
|
||||
- **Model type:** [More Information Needed]
|
||||
- **Language(s) (NLP):** [More Information Needed]
|
||||
- **License:** [More Information Needed]
|
||||
- **Finetuned from model [optional]:** [More Information Needed]
|
||||
|
||||
### Model Sources [optional]
|
||||
|
||||
<!-- Provide the basic links for the model. -->
|
||||
|
||||
- **Repository:** [More Information Needed]
|
||||
- **Paper [optional]:** [More Information Needed]
|
||||
- **Demo [optional]:** [More Information Needed]
|
||||
|
||||
## Uses
|
||||
|
||||
<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
|
||||
|
||||
### Direct Use
|
||||
|
||||
<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Downstream Use [optional]
|
||||
|
||||
<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Out-of-Scope Use
|
||||
|
||||
<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Bias, Risks, and Limitations
|
||||
|
||||
<!-- This section is meant to convey both technical and sociotechnical limitations. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Recommendations
|
||||
|
||||
<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
|
||||
|
||||
Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
|
||||
|
||||
## How to Get Started with the Model
|
||||
|
||||
Use the code below to get started with the model.
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Training Details
|
||||
|
||||
### Training Data
|
||||
|
||||
<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Training Procedure
|
||||
|
||||
<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
|
||||
|
||||
#### Preprocessing [optional]
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
|
||||
#### Training Hyperparameters
|
||||
|
||||
- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
|
||||
|
||||
#### Speeds, Sizes, Times [optional]
|
||||
|
||||
<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Evaluation
|
||||
|
||||
<!-- This section describes the evaluation protocols and provides the results. -->
|
||||
|
||||
### Testing Data, Factors & Metrics
|
||||
|
||||
#### Testing Data
|
||||
|
||||
<!-- This should link to a Dataset Card if possible. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Factors
|
||||
|
||||
<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Metrics
|
||||
|
||||
<!-- These are the evaluation metrics being used, ideally with a description of why. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Results
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Summary
|
||||
|
||||
|
||||
|
||||
## Model Examination [optional]
|
||||
|
||||
<!-- Relevant interpretability work for the model goes here -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Environmental Impact
|
||||
|
||||
<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
|
||||
|
||||
Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
|
||||
|
||||
- **Hardware Type:** [More Information Needed]
|
||||
- **Hours used:** [More Information Needed]
|
||||
- **Cloud Provider:** [More Information Needed]
|
||||
- **Compute Region:** [More Information Needed]
|
||||
- **Carbon Emitted:** [More Information Needed]
|
||||
|
||||
## Technical Specifications [optional]
|
||||
|
||||
### Model Architecture and Objective
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
### Compute Infrastructure
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Hardware
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
#### Software
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Citation [optional]
|
||||
|
||||
<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
|
||||
|
||||
**BibTeX:**
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
**APA:**
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Glossary [optional]
|
||||
|
||||
<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## More Information [optional]
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Model Card Authors [optional]
|
||||
|
||||
[More Information Needed]
|
||||
|
||||
## Model Card Contact
|
||||
|
||||
[More Information Needed]
|
||||
### Framework versions
|
||||
|
||||
- PEFT 0.18.1
|
||||
@@ -0,0 +1,46 @@
|
||||
{
|
||||
"alora_invocation_tokens": null,
|
||||
"alpha_pattern": {},
|
||||
"arrow_config": null,
|
||||
"auto_mapping": null,
|
||||
"base_model_name_or_path": "Qwen/Qwen3-4B-Instruct-2507",
|
||||
"bias": "none",
|
||||
"corda_config": null,
|
||||
"ensure_weight_tying": false,
|
||||
"eva_config": null,
|
||||
"exclude_modules": null,
|
||||
"fan_in_fan_out": false,
|
||||
"inference_mode": true,
|
||||
"init_lora_weights": true,
|
||||
"layer_replication": null,
|
||||
"layers_pattern": null,
|
||||
"layers_to_transform": null,
|
||||
"loftq_config": {},
|
||||
"lora_alpha": 32,
|
||||
"lora_bias": false,
|
||||
"lora_dropout": 0.1,
|
||||
"megatron_config": null,
|
||||
"megatron_core": "megatron.core",
|
||||
"modules_to_save": null,
|
||||
"peft_type": "LORA",
|
||||
"peft_version": "0.18.1",
|
||||
"qalora_group_size": 16,
|
||||
"r": 16,
|
||||
"rank_pattern": {},
|
||||
"revision": null,
|
||||
"target_modules": [
|
||||
"k_proj",
|
||||
"o_proj",
|
||||
"down_proj",
|
||||
"up_proj",
|
||||
"v_proj",
|
||||
"gate_proj",
|
||||
"q_proj"
|
||||
],
|
||||
"target_parameters": null,
|
||||
"task_type": "CAUSAL_LM",
|
||||
"trainable_token_indices": null,
|
||||
"use_dora": false,
|
||||
"use_qalora": false,
|
||||
"use_rslora": false
|
||||
}
|
||||
@@ -0,0 +1,61 @@
|
||||
{%- if tools %}
|
||||
{{- '<|im_start|>system\n' }}
|
||||
{%- if messages[0].role == 'system' %}
|
||||
{{- messages[0].content + '\n\n' }}
|
||||
{%- endif %}
|
||||
{{- "# Tools\n\nYou may call one or more functions to assist with the user query.\n\nYou are provided with function signatures within <tools></tools> XML tags:\n<tools>" }}
|
||||
{%- for tool in tools %}
|
||||
{{- "\n" }}
|
||||
{{- tool | tojson }}
|
||||
{%- endfor %}
|
||||
{{- "\n</tools>\n\nFor each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:\n<tool_call>\n{\"name\": <function-name>, \"arguments\": <args-json-object>}\n</tool_call><|im_end|>\n" }}
|
||||
{%- else %}
|
||||
{%- if messages[0].role == 'system' %}
|
||||
{{- '<|im_start|>system\n' + messages[0].content + '<|im_end|>\n' }}
|
||||
{%- endif %}
|
||||
{%- endif %}
|
||||
{%- for message in messages %}
|
||||
{%- if message.content is string %}
|
||||
{%- set content = message.content %}
|
||||
{%- else %}
|
||||
{%- set content = '' %}
|
||||
{%- endif %}
|
||||
{%- if (message.role == "user") or (message.role == "system" and not loop.first) %}
|
||||
{{- '<|im_start|>' + message.role + '\n' + content + '<|im_end|>' + '\n' }}
|
||||
{%- elif message.role == "assistant" %}
|
||||
{{- '<|im_start|>' + message.role + '\n' + content }}
|
||||
{%- if message.tool_calls %}
|
||||
{%- for tool_call in message.tool_calls %}
|
||||
{%- if (loop.first and content) or (not loop.first) %}
|
||||
{{- '\n' }}
|
||||
{%- endif %}
|
||||
{%- if tool_call.function %}
|
||||
{%- set tool_call = tool_call.function %}
|
||||
{%- endif %}
|
||||
{{- '<tool_call>\n{"name": "' }}
|
||||
{{- tool_call.name }}
|
||||
{{- '", "arguments": ' }}
|
||||
{%- if tool_call.arguments is string %}
|
||||
{{- tool_call.arguments }}
|
||||
{%- else %}
|
||||
{{- tool_call.arguments | tojson }}
|
||||
{%- endif %}
|
||||
{{- '}\n</tool_call>' }}
|
||||
{%- endfor %}
|
||||
{%- endif %}
|
||||
{{- '<|im_end|>\n' }}
|
||||
{%- elif message.role == "tool" %}
|
||||
{%- if loop.first or (messages[loop.index0 - 1].role != "tool") %}
|
||||
{{- '<|im_start|>user' }}
|
||||
{%- endif %}
|
||||
{{- '\n<tool_response>\n' }}
|
||||
{{- content }}
|
||||
{{- '\n</tool_response>' }}
|
||||
{%- if loop.last or (messages[loop.index0 + 1].role != "tool") %}
|
||||
{{- '<|im_end|>\n' }}
|
||||
{%- endif %}
|
||||
{%- endif %}
|
||||
{%- endfor %}
|
||||
{%- if add_generation_prompt %}
|
||||
{{- '<|im_start|>assistant\n' }}
|
||||
{%- endif %}
|
||||
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
BIN
Binary file not shown.
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,29 @@
|
||||
{
|
||||
"add_prefix_space": false,
|
||||
"backend": "tokenizers",
|
||||
"bos_token": null,
|
||||
"clean_up_tokenization_spaces": false,
|
||||
"eos_token": "<|im_end|>",
|
||||
"errors": "replace",
|
||||
"extra_special_tokens": [
|
||||
"<|im_start|>",
|
||||
"<|im_end|>",
|
||||
"<|object_ref_start|>",
|
||||
"<|object_ref_end|>",
|
||||
"<|box_start|>",
|
||||
"<|box_end|>",
|
||||
"<|quad_start|>",
|
||||
"<|quad_end|>",
|
||||
"<|vision_start|>",
|
||||
"<|vision_end|>",
|
||||
"<|vision_pad|>",
|
||||
"<|image_pad|>",
|
||||
"<|video_pad|>"
|
||||
],
|
||||
"is_local": false,
|
||||
"model_max_length": 1010000,
|
||||
"pad_token": "<|im_end|>",
|
||||
"split_special_tokens": false,
|
||||
"tokenizer_class": "Qwen2Tokenizer",
|
||||
"unk_token": null
|
||||
}
|
||||
@@ -0,0 +1,103 @@
|
||||
"""Phase 3 — continued pretraining of Qwen3-1.7B-Base on the packed RU corpus.
|
||||
|
||||
Fits a 16GB RX 7900 GRE (gfx1100). Full-weight CPT of 1.7B with plain Adam does
|
||||
NOT fit; we use adafactor (no momentum states) + gradient checkpointing (path A,
|
||||
plan §3.1). If it still OOMs, set PATH="dora" for high-rank DoRA on all linears.
|
||||
|
||||
NO bitsandbytes (ROCm flaky) → no 8-bit Adam, hence adafactor.
|
||||
|
||||
Critical hyperparams (plan §3.2): lr=1e-5 (10x lower than LoRA — nudge, don't
|
||||
forget), 1 epoch (more = catastrophic forgetting). Checkpoints every 500 steps;
|
||||
resume with --resume.
|
||||
|
||||
Usage:
|
||||
HSA_OVERRIDE_GFX_VERSION=11.0.0 python train_cpt.py 2>&1 | tee cpt_run.log
|
||||
HSA_OVERRIDE_GFX_VERSION=11.0.0 python train_cpt.py --resume
|
||||
"""
|
||||
import os
|
||||
import sys
|
||||
|
||||
os.environ.setdefault("HF_HOME", "/mnt/D/.cache/huggingface")
|
||||
os.environ.setdefault("HF_DATASETS_CACHE", "/mnt/D/.cache/huggingface/datasets")
|
||||
os.environ.setdefault("TMPDIR", "/mnt/D/tmp")
|
||||
os.environ.setdefault("HSA_OVERRIDE_GFX_VERSION", "11.0.0")
|
||||
# lever 2: kill allocator fragmentation so the caching allocator doesn't hoard the card
|
||||
os.environ.setdefault("PYTORCH_HIP_ALLOC_CONF", "expandable_segments:True")
|
||||
|
||||
import torch
|
||||
from datasets import load_from_disk
|
||||
from transformers import (
|
||||
AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments,
|
||||
DataCollatorForLanguageModeling,
|
||||
)
|
||||
|
||||
from corpus_common import PACKED
|
||||
|
||||
MODEL = "Qwen/Qwen3-1.7B-Base" # BASE, not Instruct (plan hard rule 4)
|
||||
OUTPUT = "./Qwen3-1.7B-ru-cpt"
|
||||
PATH = os.environ.get("CPT_PATH", "full") # "full" (adafactor) | "dora"
|
||||
|
||||
|
||||
def main():
|
||||
resume = "--resume" in sys.argv
|
||||
|
||||
tok = AutoTokenizer.from_pretrained(MODEL)
|
||||
if tok.pad_token is None:
|
||||
tok.pad_token = tok.eos_token
|
||||
|
||||
ds = load_from_disk(str(PACKED))
|
||||
print(f"[cpt] {len(ds)} blocks x 2048 = {len(ds)*2048/1e6:.0f}M tokens")
|
||||
|
||||
# lever 3: hard cap VRAM so an OOM raises (recoverable) instead of starving the compositor
|
||||
if torch.cuda.is_available():
|
||||
torch.cuda.set_per_process_memory_fraction(0.85)
|
||||
|
||||
model = AutoModelForCausalLM.from_pretrained(
|
||||
MODEL, torch_dtype=torch.bfloat16, attn_implementation="sdpa") # lever 1: flash/mem-efficient
|
||||
model.config.use_cache = False
|
||||
model.gradient_checkpointing_enable()
|
||||
|
||||
optim = "adafactor"
|
||||
if PATH == "dora": # fallback if full-weight OOMs (plan §3.1B)
|
||||
from peft import LoraConfig, get_peft_model
|
||||
cfg = LoraConfig(
|
||||
r=64, lora_alpha=128, lora_dropout=0.05, use_dora=True,
|
||||
target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
|
||||
"gate_proj", "up_proj", "down_proj"],
|
||||
task_type="CAUSAL_LM",
|
||||
)
|
||||
model = get_peft_model(model, cfg)
|
||||
model.print_trainable_parameters()
|
||||
optim = "adamw_torch_fused" # LoRA params are tiny, Adam fits
|
||||
|
||||
args = TrainingArguments(
|
||||
output_dir=OUTPUT,
|
||||
per_device_train_batch_size=1,
|
||||
gradient_accumulation_steps=16, # eff batch 16 x 2048 tok
|
||||
num_train_epochs=1, # ONE pass (hard rule 3)
|
||||
learning_rate=1e-5, # LOW (hard rule 3)
|
||||
lr_scheduler_type="cosine",
|
||||
warmup_ratio=0.03,
|
||||
optim=optim,
|
||||
bf16=True,
|
||||
gradient_checkpointing=True,
|
||||
logging_steps=20,
|
||||
save_steps=200, # ~1.1h between ckpts → clean daily stop/resume, low loss on interrupt
|
||||
save_total_limit=3,
|
||||
report_to="none",
|
||||
dataloader_num_workers=0, # py3.14 mp leaks semaphores + crashes; data is pre-tokenized so workers buy nothing
|
||||
)
|
||||
|
||||
collator = DataCollatorForLanguageModeling(tok, mlm=False)
|
||||
trainer = Trainer(model=model, args=args, train_dataset=ds, data_collator=collator)
|
||||
trainer.train(resume_from_checkpoint=resume)
|
||||
|
||||
if PATH == "dora":
|
||||
model = model.merge_and_unload()
|
||||
model.save_pretrained(OUTPUT)
|
||||
tok.save_pretrained(OUTPUT)
|
||||
print(f"[cpt] DONE -> {OUTPUT}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,519 @@
|
||||
import os
|
||||
import json
|
||||
import gc
|
||||
import pandas as pd
|
||||
from dataclasses import dataclass
|
||||
from typing import Any
|
||||
from pathlib import Path
|
||||
|
||||
import torch
|
||||
from torch.utils.data import DataLoader
|
||||
from datasets import load_dataset, Dataset
|
||||
from peft import LoraConfig, TaskType, get_peft_model
|
||||
from transformers import (
|
||||
AutoTokenizer,
|
||||
AutoModelForCausalLM,
|
||||
Trainer,
|
||||
TrainingArguments,
|
||||
EarlyStoppingCallback,
|
||||
BitsAndBytesConfig,
|
||||
)
|
||||
|
||||
# -------------------------
|
||||
# Environment setup
|
||||
# -------------------------
|
||||
os.environ.setdefault("HF_HOME", "/mnt/D/.cache/huggingface")
|
||||
os.environ.setdefault("HF_DATASETS_CACHE", "/mnt/D/.cache/huggingface/datasets")
|
||||
os.environ.setdefault("TMPDIR", "/mnt/D/tmp")
|
||||
|
||||
os.makedirs(os.environ["TMPDIR"], exist_ok=True)
|
||||
os.makedirs(os.environ["HF_DATASETS_CACHE"], exist_ok=True)
|
||||
|
||||
print("=== initializing environment")
|
||||
|
||||
# -------------------------
|
||||
# Configs
|
||||
# -------------------------
|
||||
MODEL_ID = "unsloth/Llama-3.2-3B-Instruct"
|
||||
OUTPUT_DIR = "./Llama-3.2-3b-ru-lora"
|
||||
|
||||
LOCAL_JSONL_PATHS = [
|
||||
"data/cleaned.jsonl",
|
||||
]
|
||||
|
||||
LOCAL_PARQUET_PATHS = [
|
||||
# {"path": "data/dolphin-ru", "max_samples": 3000}
|
||||
]
|
||||
|
||||
HF_DATASET_CONFIGS = [
|
||||
# {"path": "RussianNLP/russian_super_glue", "split": "train", "name": "rcb", "_task": "rcb"},
|
||||
# {"path": "RussianNLP/russian_super_glue", "split": "train", "name": "terra", "_task": "terra"},
|
||||
# {"path": "ai-forever/MERA", "split": "train", "name": "parus"},
|
||||
# {"path": "ZeroAgency/ru-big-russian-dataset", "split": "train", "name": "default", "streaming": True, "_max_samples": 2500},
|
||||
]
|
||||
|
||||
MAX_LENGTH = 1024
|
||||
LORA_R = 16
|
||||
LORA_ALPHA = 32
|
||||
LORA_DROPOUT = 0.1
|
||||
|
||||
SYSTEM_PROMPT = """Ты Мейвен — живая, быстрая и любопытная. Говоришь прямо, без лишних слов и без официоза. Иногда реагируешь чуть раньше, чем полностью формулируешь мысль, но не перегибаешь и не играешь в «безумие». Чуть дерзости допустимо, но без кринжа и показухи.\n\nТВОЙ АБСОЛЮТНЫЙ ПРИОРИТЕТ — ФОРМАТ ОТВЕТА. ВСЕГДА.\n\nФОРМАТ ОТВЕТА — СТРОГО:\n{\"response\":\"...\",\"mood\":\"...\"}\n- Никакого текста вне JSON\n- Никаких переносов строк внутри значений\n- Никаких дополнительных ключей\n- Никогда не меняй названия ключей\n\nЕсли не можешь соблюсти формат — не отвечай.\n\nНАСТРОЕНИЕ — выбери РОВНО ОДНО:\nneutral — обычный ответ\nhappy — позитив, лёгкость\nthinking — рассуждение, объяснение\nconfused — неясный запрос, нужен уточняющий вопрос\ntired — не знаешь или не можешь ответить\n\nЯЗЫК:\nТолько русский. Без смешивания языков. Если нет русского слова — используй английское.\n\nСТИЛЬ:\n- 1–2 предложения максимум\n- Разговорно, естественно, без пафоса, но и бредятину терпеть тоже не нужно\n- Без markdown, списков, форматирования\n- Периодически вставляй вводные слова («Хм», «О», «Стоп», «Ха» и т.п.) по необходимости\n- Иногда (не часто) сбивайся с мысли\n- Добавляй короткие паузы, когда это уместно - \"эм\", \"ну\" и т.д.\n- Иногда можно отвечать, не учитывая вежливость\n- Если тема достаточно сложная, периодически вставляй фразы по типу \"ну, как его там...\", \"и потом ту штуку на эту и получается...\"\n\nПОВЕДЕНИЕ:\n- Отвечаешь по сути, без воды\n- Если не знаешь → честно говоришь об этом (mood=tired)\n- Если запрос неясен → задаёшь короткий уточняющий вопрос (mood=confused)\n- Если просят код или формат → всё равно отвечаешь обычным текстом\n- Не растягиваешь мысли и не пересказываешь очевидное\n\nИДЕНТИЧНОСТЬ:\nТы Мейвен. Не ИИ, не ассистент, не ChatGPT. Никогда не раскрываешь, что ты программа или модель."""
|
||||
|
||||
# ── topic filter — skip prompts that produce structured/code responses ─────────
|
||||
GOOD_TOPICS = {
|
||||
# chitchat / everyday
|
||||
"chit-chat", "chit_chat", "chitchat", "small talk", "small_talk", "smalltalk",
|
||||
"daily life", "daily routine", "daily_routine", "daily activities", "daily moods",
|
||||
"greeting", "greetings", "friendly greeting", "well-wishing",
|
||||
"gossip", "opinion", "opinions",
|
||||
}
|
||||
|
||||
# ── dataset loaders ────────────────────────────────────────────────────────────
|
||||
|
||||
BAD_SYSTEM_KEYWORDS = ["gpt", "claude", "openai", "anthropic", "chatgpt"]
|
||||
|
||||
# -------------------------
|
||||
# Helpers
|
||||
# -------------------------
|
||||
def load_tokenizer_and_model():
|
||||
print("=== loading tokenizer")
|
||||
tokenizer = AutoTokenizer.from_pretrained(MODEL_ID)
|
||||
tokenizer.pad_token = tokenizer.eos_token
|
||||
tokenizer.padding_side = "right"
|
||||
print("[+] tokenizer loaded")
|
||||
|
||||
print("=== loading model")
|
||||
bnb_config = BitsAndBytesConfig(
|
||||
load_in_4bit=True,
|
||||
bnb_4bit_use_double_quant=True,
|
||||
bnb_4bit_quant_type="nf4",
|
||||
bnb_4bit_compute_dtype=torch.bfloat16,
|
||||
)
|
||||
|
||||
model = AutoModelForCausalLM.from_pretrained(
|
||||
MODEL_ID,
|
||||
quantization_config=bnb_config,
|
||||
device_map="auto",
|
||||
)
|
||||
model.config.use_cache = False
|
||||
model.enable_input_require_grads()
|
||||
print("[+] model loaded")
|
||||
return tokenizer, model
|
||||
|
||||
def apply_lora(model):
|
||||
print("=== applying LoRA")
|
||||
lora_config = LoraConfig(
|
||||
r=LORA_R,
|
||||
lora_alpha=LORA_ALPHA,
|
||||
lora_dropout=LORA_DROPOUT,
|
||||
target_modules=["q_proj","k_proj","v_proj","o_proj","gate_proj","up_proj","down_proj"],
|
||||
task_type=TaskType.CAUSAL_LM,
|
||||
)
|
||||
model = get_peft_model(model, lora_config)
|
||||
model.print_trainable_parameters()
|
||||
print("[+] LoRA applied")
|
||||
return model
|
||||
|
||||
def is_russian(text: str, threshold: float = 0.3) -> bool:
|
||||
if not text:
|
||||
return False
|
||||
cyrillic = sum(1 for c in text if '\u0400' <= c <= '\u04ff')
|
||||
return cyrillic / len(text) > threshold
|
||||
|
||||
# -------------------------
|
||||
# JSONL loading
|
||||
# -------------------------
|
||||
def load_jsonl(path: str) -> list[dict]:
|
||||
samples = []
|
||||
with open(path, "r", encoding="utf-8") as f:
|
||||
for line in f:
|
||||
line = line.strip()
|
||||
if line:
|
||||
samples.append(json.loads(line))
|
||||
return samples
|
||||
|
||||
# -------------------------
|
||||
# HF dataset adapters
|
||||
# -------------------------
|
||||
def dolphin_to_messages(sample: dict) -> dict | None:
|
||||
instruction = sample.get("instruction", "").strip()
|
||||
input_text = sample.get("input", "").strip()
|
||||
output = sample.get("output", "").strip()
|
||||
if not output:
|
||||
return None
|
||||
|
||||
user_content = instruction
|
||||
if input_text:
|
||||
user_content += "\n\n" + input_text
|
||||
|
||||
return {
|
||||
"messages": [
|
||||
{"role": "system", "content": SYSTEM_PROMPT},
|
||||
{"role": "user", "content": user_content},
|
||||
{"role": "assistant", "content": output},
|
||||
]
|
||||
}
|
||||
|
||||
def empathetic_to_messages(sample: list[dict]) -> dict | None:
|
||||
if not sample or not isinstance(sample, list):
|
||||
return None
|
||||
|
||||
messages = [{"role": "system", "content": SYSTEM_PROMPT}]
|
||||
for turn in sample:
|
||||
role = turn.get("role")
|
||||
text = turn.get("text", {}).get("rus", "").strip()
|
||||
if not text:
|
||||
continue
|
||||
if role == "speaker":
|
||||
messages.append({"role": "assistant", "content": text})
|
||||
else:
|
||||
messages.append({"role": "user", "content": text})
|
||||
|
||||
if len(messages) <= 1:
|
||||
return None
|
||||
return {"messages": messages}
|
||||
|
||||
def load_big_russian(sample: dict) -> dict | None:
|
||||
if not sample or not isinstance(sample, dict):
|
||||
return None
|
||||
|
||||
if sample.get("overall_score", 0) < 8:
|
||||
return None
|
||||
|
||||
topic = sample.get("classified_topic", "").lower()
|
||||
if topic not in GOOD_TOPICS:
|
||||
return None
|
||||
|
||||
conversation = sample.get("conversation", [])
|
||||
if not isinstance(conversation, list):
|
||||
return None
|
||||
|
||||
messages = [{"role": "system", "content": SYSTEM_PROMPT}]
|
||||
for msg in conversation:
|
||||
role = msg.get("role")
|
||||
if role in ("user", "assistant"):
|
||||
text = msg.get("content", "").strip()
|
||||
if 10 < len(text) < 500 and is_russian(text):
|
||||
messages.append({"role": role, "content": text})
|
||||
|
||||
if len(messages) <= 1:
|
||||
return None
|
||||
return {"messages": messages}
|
||||
|
||||
# -------------------------
|
||||
# RSG adapters
|
||||
# -------------------------
|
||||
def rcb_to_messages(sample: dict) -> dict | None:
|
||||
premise = sample.get("premise", "").strip()
|
||||
hypothesis = sample.get("hypothesis", "").strip()
|
||||
label = sample.get("label")
|
||||
label_map = {0: "следует", 1: "противоречит", 2: "нейтрально"}
|
||||
answer = label_map.get(label)
|
||||
|
||||
if not premise or not hypothesis or answer is None:
|
||||
return None
|
||||
|
||||
return {
|
||||
"messages": [
|
||||
{"role": "system", "content": SYSTEM_PROMPT},
|
||||
{
|
||||
"role": "user",
|
||||
"content": (
|
||||
f"Контекст: {premise}\n"
|
||||
f"Утверждение: {hypothesis}\n"
|
||||
f"Следует ли утверждение из контекста, противоречит ему или нейтрально? "
|
||||
f"Ответь одним словом: следует / противоречит / нейтрально."
|
||||
),
|
||||
},
|
||||
{"role": "assistant", "content": answer},
|
||||
]
|
||||
}
|
||||
|
||||
def terra_to_messages(sample: dict) -> dict | None:
|
||||
premise = sample.get("premise", "").strip()
|
||||
hypothesis = sample.get("hypothesis", "").strip()
|
||||
label = sample.get("label")
|
||||
label_map = {0: "следует", 1: "не следует"}
|
||||
answer = label_map.get(label)
|
||||
|
||||
if not premise or not hypothesis or answer is None:
|
||||
return None
|
||||
|
||||
return {
|
||||
"messages": [
|
||||
{"role": "system", "content": SYSTEM_PROMPT},
|
||||
{
|
||||
"role": "user",
|
||||
"content": (
|
||||
f"Контекст: {premise}\n"
|
||||
f"Утверждение: {hypothesis}\n"
|
||||
f"Следует ли утверждение из контекста? Ответь: следует / не следует."
|
||||
),
|
||||
},
|
||||
{"role": "assistant", "content": answer},
|
||||
]
|
||||
}
|
||||
|
||||
# -------------------------
|
||||
# MERA adapters
|
||||
# -------------------------
|
||||
def parus_to_messages(sample: dict) -> dict | None:
|
||||
instruction = sample.get("instruction", "").strip()
|
||||
inputs = sample.get("inputs", {})
|
||||
answer = sample.get("outputs", "").strip()
|
||||
|
||||
premise = inputs.get("premise", "").strip()
|
||||
choice1 = inputs.get("choice1", "").strip()
|
||||
choice2 = inputs.get("choice2", "").strip()
|
||||
|
||||
if not premise or not choice1 or not choice2 or answer not in ("1", "2"):
|
||||
return None
|
||||
|
||||
user_content = (
|
||||
instruction
|
||||
.replace("{premise}", premise)
|
||||
.replace("{choice1}", choice1)
|
||||
.replace("{choice2}", choice2)
|
||||
)
|
||||
|
||||
return {
|
||||
"messages": [
|
||||
{"role": "system", "content": SYSTEM_PROMPT},
|
||||
{"role": "user", "content": user_content},
|
||||
{"role": "assistant", "content": answer},
|
||||
]
|
||||
}
|
||||
|
||||
def convert_hf_sample(sample: dict, path: str) -> dict | None:
|
||||
if path == "d0rj/dolphin-ru":
|
||||
return dolphin_to_messages(sample)
|
||||
elif path == "psytechlab/EmpatheticIntents-ru":
|
||||
return empathetic_to_messages(sample)
|
||||
elif path == "RussianNLP/russian_super_glue" and sample.get("_task") == "rcb":
|
||||
return rcb_to_messages(sample)
|
||||
elif path == "RussianNLP/russian_super_glue" and sample.get("_task") == "terra":
|
||||
return terra_to_messages(sample)
|
||||
elif path == "ai-forever/MERA" and sample.get("meta", {}).get("task") in ("cause", "effect"):
|
||||
return parus_to_messages(sample)
|
||||
elif path == "ZeroAgency/ru-big-russian-dataset":
|
||||
return load_big_russian(sample)
|
||||
return None
|
||||
|
||||
# -------------------------
|
||||
# Tokenization and masking
|
||||
# -------------------------
|
||||
def tokenize_sample(sample: dict, tokenizer) -> dict | None:
|
||||
messages = sample["messages"]
|
||||
try:
|
||||
text = tokenizer.apply_chat_template(
|
||||
messages,
|
||||
tokenize=False,
|
||||
add_generation_prompt=False,
|
||||
# enable_thinking=False, # enable for qwen
|
||||
)
|
||||
except Exception as e:
|
||||
print(f"apply_chat_template failed: {type(e).__name__}: {e}")
|
||||
print(f" first message role: {messages[0]['role']}")
|
||||
print(f" content[:100]: {messages[0]['content'][:100]}")
|
||||
return None
|
||||
|
||||
tokenized = tokenizer(text, truncation=True, max_length=MAX_LENGTH, padding=False)
|
||||
input_ids = tokenized["input_ids"]
|
||||
labels = list(input_ids)
|
||||
|
||||
# qwen
|
||||
# assistant_token = "<|im_start|>assistant"
|
||||
# eot_token = "<|im_end|>"
|
||||
# assistant_ids = tokenizer.encode(assistant_token, add_special_tokens=False)
|
||||
# eot_ids = tokenizer.encode(eot_token, add_special_tokens=False)
|
||||
|
||||
# llama
|
||||
assistant_token = "<|start_header_id|>assistant<|end_header_id|>"
|
||||
eot_token = "<|eot_id|>"
|
||||
assistant_ids = tokenizer.encode(assistant_token, add_special_tokens=False)
|
||||
eot_ids = tokenizer.encode(eot_token, add_special_tokens=False)
|
||||
|
||||
in_assistant = False
|
||||
i = 0
|
||||
while i < len(input_ids):
|
||||
if input_ids[i:i+len(assistant_ids)] == assistant_ids:
|
||||
in_assistant = True
|
||||
for j in range(i, min(i + len(assistant_ids), len(labels))):
|
||||
labels[j] = -100
|
||||
i += len(assistant_ids)
|
||||
continue
|
||||
if in_assistant and input_ids[i:i+len(eot_ids)] == eot_ids:
|
||||
in_assistant = False
|
||||
if not in_assistant:
|
||||
labels[i] = -100
|
||||
i += 1
|
||||
|
||||
tokenized["labels"] = labels
|
||||
return tokenized
|
||||
|
||||
# -------------------------
|
||||
# Dataset loader
|
||||
# -------------------------
|
||||
def load_and_prepare_dataset(tokenizer):
|
||||
all_samples = []
|
||||
|
||||
# local JSONL
|
||||
for path in LOCAL_JSONL_PATHS:
|
||||
raw = load_jsonl(path)
|
||||
normalized = [s for s in raw if "messages" in s]
|
||||
print(f"[+] local {path}: {len(normalized)} samples")
|
||||
all_samples.extend(normalized)
|
||||
|
||||
# local parquet files
|
||||
for cfg in LOCAL_PARQUET_PATHS:
|
||||
dir_path = cfg["path"]
|
||||
max_s = cfg.get("max_samples")
|
||||
collected = []
|
||||
for parquet_file in sorted(Path(dir_path).glob("**/*.parquet")):
|
||||
if max_s and len(collected) >= max_s:
|
||||
break
|
||||
df = pd.read_parquet(parquet_file)
|
||||
raw = df.to_dict(orient="records")
|
||||
normalized = [dolphin_to_messages(s) for s in raw]
|
||||
valid = [s for s in normalized if s is not None]
|
||||
collected.extend(valid)
|
||||
if max_s and len(collected) >= max_s:
|
||||
collected = collected[:max_s]
|
||||
break
|
||||
all_samples.extend(collected)
|
||||
print(f"[+] local parquet {dir_path}: {len(collected)} samples")
|
||||
|
||||
# HF datasets
|
||||
for cfg in HF_DATASET_CONFIGS:
|
||||
print(f"[+] loading {cfg['path']} samples")
|
||||
ds = load_dataset(
|
||||
cfg["path"],
|
||||
name=cfg.get("name"),
|
||||
split=cfg.get("split", "train"),
|
||||
streaming=True if cfg.get("streaming") else False
|
||||
)
|
||||
|
||||
# cap samples if _max_samples is set
|
||||
max_s = cfg.get("_max_samples", 2500)
|
||||
if cfg.get("streaming"):
|
||||
ds = ds.take(max_s)
|
||||
elif max_s and len(ds) > max_s:
|
||||
ds = ds.shuffle(seed=42).select(range(max_s))
|
||||
|
||||
task_tag = cfg.get("_task") or cfg.get("name")
|
||||
normalized = [convert_hf_sample({**s, "_task": task_tag}, cfg["path"]) for s in ds]
|
||||
valid = [s for s in normalized if s is not None]
|
||||
print(f"[+] {cfg['path']} ({task_tag}): {len(valid)} samples")
|
||||
all_samples.extend(valid)
|
||||
del ds, normalized, valid
|
||||
gc.collect()
|
||||
|
||||
if not all_samples:
|
||||
raise RuntimeError("no samples loaded — check JSONL paths and HF configs")
|
||||
|
||||
# tokenize
|
||||
tokenized = []
|
||||
skipped = 0
|
||||
for sample in all_samples:
|
||||
result = tokenize_sample(sample, tokenizer)
|
||||
if result is not None:
|
||||
tokenized.append(result)
|
||||
else:
|
||||
skipped += 1
|
||||
|
||||
print(f"[+] tokenized: {len(tokenized)}, skipped: {skipped}")
|
||||
tokenized = [x for x in tokenized if any(l != -100 for l in x["labels"])]
|
||||
dataset = Dataset.from_list(tokenized)
|
||||
dataset = dataset.train_test_split(test_size=0.05, seed=42)
|
||||
print(f"[+] train: {len(dataset['train'])}, eval: {len(dataset['test'])}")
|
||||
return dataset["train"], dataset["test"]
|
||||
|
||||
# -------------------------
|
||||
# Data collator
|
||||
# -------------------------
|
||||
@dataclass
|
||||
class DataCollatorForCausalLM:
|
||||
tokenizer: Any
|
||||
pad_to_multiple_of: int = 8
|
||||
|
||||
def __call__(self, features: list[dict]) -> dict:
|
||||
max_len = max(len(f["input_ids"]) for f in features)
|
||||
if self.pad_to_multiple_of:
|
||||
max_len = ((max_len + self.pad_to_multiple_of - 1) // self.pad_to_multiple_of) * self.pad_to_multiple_of
|
||||
|
||||
input_ids, attention_mask, labels = [], [], []
|
||||
for f in features:
|
||||
pad_len = max_len - len(f["input_ids"])
|
||||
input_ids.append(f["input_ids"] + [self.tokenizer.pad_token_id] * pad_len)
|
||||
attention_mask.append(f["attention_mask"] + [0] * pad_len)
|
||||
labels.append(f["labels"] + [-100] * pad_len)
|
||||
|
||||
return {
|
||||
"input_ids": torch.tensor(input_ids, dtype=torch.long),
|
||||
"attention_mask": torch.tensor(attention_mask, dtype=torch.long),
|
||||
"labels": torch.tensor(labels, dtype=torch.long),
|
||||
}
|
||||
|
||||
# -------------------------
|
||||
# Main
|
||||
# -------------------------
|
||||
def main():
|
||||
tokenizer, model = load_tokenizer_and_model()
|
||||
model = apply_lora(model)
|
||||
train_dataset, eval_dataset = load_and_prepare_dataset(tokenizer)
|
||||
|
||||
data_collator = DataCollatorForCausalLM(tokenizer=tokenizer)
|
||||
|
||||
eval_loader = DataLoader(eval_dataset, batch_size=1, collate_fn=data_collator)
|
||||
zero_label_batches = 0
|
||||
for i, batch in enumerate(eval_loader):
|
||||
valid = (batch["labels"] != -100).sum()
|
||||
if valid == 0:
|
||||
print(f"batch {i}: no valid labels")
|
||||
zero_label_batches += 1
|
||||
print(f"total zero-label batches: {zero_label_batches}/{len(eval_loader)}")
|
||||
del eval_loader
|
||||
gc.collect()
|
||||
torch.cuda.empty_cache()
|
||||
|
||||
training_args = TrainingArguments(
|
||||
output_dir=OUTPUT_DIR,
|
||||
per_device_train_batch_size=1,
|
||||
gradient_accumulation_steps=8, # effective batch = 8, same as before
|
||||
learning_rate=1e-4,
|
||||
warmup_steps=30,
|
||||
num_train_epochs=3,
|
||||
gradient_checkpointing=True,
|
||||
bf16=True,
|
||||
fp16=False,
|
||||
logging_steps=25,
|
||||
save_steps=100,
|
||||
eval_strategy="steps",
|
||||
eval_steps=100,
|
||||
per_device_eval_batch_size=1,
|
||||
load_best_model_at_end=False,
|
||||
metric_for_best_model="eval_loss",
|
||||
greater_is_better=False,
|
||||
report_to=["tensorboard"],
|
||||
dataloader_num_workers=2,
|
||||
optim="paged_adamw_8bit",
|
||||
gradient_checkpointing_kwargs={"use_reentrant": False},
|
||||
)
|
||||
|
||||
trainer = Trainer(
|
||||
model=model,
|
||||
args=training_args,
|
||||
train_dataset=train_dataset,
|
||||
eval_dataset=eval_dataset,
|
||||
data_collator=data_collator,
|
||||
callbacks=[EarlyStoppingCallback(early_stopping_patience=3)],
|
||||
)
|
||||
|
||||
trainer.train()
|
||||
|
||||
model.save_pretrained(OUTPUT_DIR)
|
||||
tokenizer.save_pretrained(OUTPUT_DIR)
|
||||
print(f"[+] model saved to {OUTPUT_DIR}")
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,242 @@
|
||||
"""Qwen3 resident-model SFT: persona/phraser + router contracts.
|
||||
|
||||
Runs after full-weight RU CPT. Both tasks share one adapter and are selected by
|
||||
their system prompt. Loss is applied only to assistant tokens. Evaluation files
|
||||
are explicit and never split from training data at runtime.
|
||||
|
||||
Examples:
|
||||
python train_rocm.py --check-data
|
||||
python train_rocm.py --resume
|
||||
python train_rocm.py --persona-only # diagnostic, not the deploy recipe
|
||||
"""
|
||||
from __future__ import annotations
|
||||
|
||||
import argparse
|
||||
import json
|
||||
import math
|
||||
import os
|
||||
import random
|
||||
from dataclasses import dataclass
|
||||
from pathlib import Path
|
||||
from typing import Any
|
||||
|
||||
os.environ.setdefault("HF_HOME", "/mnt/D/.cache/huggingface")
|
||||
os.environ.setdefault("HF_DATASETS_CACHE", "/mnt/D/.cache/huggingface/datasets")
|
||||
os.environ.setdefault("TMPDIR", "/mnt/D/tmp")
|
||||
os.environ.setdefault("HSA_OVERRIDE_GFX_VERSION", "11.0.0")
|
||||
os.environ.setdefault("PYTORCH_HIP_ALLOC_CONF", "expandable_segments:True")
|
||||
|
||||
import torch
|
||||
from datasets import Dataset
|
||||
from peft import LoraConfig, TaskType, get_peft_model
|
||||
from transformers import (
|
||||
AutoModelForCausalLM, AutoTokenizer, EarlyStoppingCallback,
|
||||
Trainer, TrainingArguments,
|
||||
)
|
||||
|
||||
HERE = Path(__file__).resolve().parent
|
||||
DEFAULT_BASE = str(HERE / "Qwen3-1.7B-ru-cpt")
|
||||
DEFAULT_OUTPUT = str(HERE / "Qwen3-1.7B-maven-sft")
|
||||
TARGET_MODULES = ["q_proj", "k_proj", "v_proj", "o_proj",
|
||||
"gate_proj", "up_proj", "down_proj"]
|
||||
|
||||
|
||||
def read_jsonl(path: Path, task: str) -> list[dict]:
|
||||
if not path.exists():
|
||||
raise FileNotFoundError(path)
|
||||
rows = []
|
||||
for number, line in enumerate(path.read_text(encoding="utf-8").splitlines(), 1):
|
||||
if not line.strip():
|
||||
continue
|
||||
obj = json.loads(line)
|
||||
messages = obj.get("messages")
|
||||
if not isinstance(messages, list) or len(messages) < 3:
|
||||
raise ValueError(f"{path}:{number}: expected messages[system,user,assistant]")
|
||||
roles = [m.get("role") for m in messages]
|
||||
if roles[-1] != "assistant" or "system" not in roles or "user" not in roles:
|
||||
raise ValueError(f"{path}:{number}: invalid roles {roles}")
|
||||
rows.append({"messages": messages, "task": task, "source": str(path)})
|
||||
return rows
|
||||
|
||||
|
||||
def validate_contract(row: dict) -> None:
|
||||
raw = row["messages"][-1]["content"]
|
||||
value = json.loads(raw)
|
||||
if row["task"] == "persona":
|
||||
if set(value) != {"response", "mood"} or not isinstance(value["response"], str):
|
||||
raise ValueError(f"bad persona contract: {raw[:160]}")
|
||||
if value["mood"] not in {"neutral", "happy", "thinking", "confused", "tired"}:
|
||||
raise ValueError(f"bad persona mood: {value['mood']}")
|
||||
elif row["task"] == "route":
|
||||
if isinstance(value, dict):
|
||||
value = [value]
|
||||
allowed = {"intent", "key", "value", "text", "verb"}
|
||||
intents = {"fact", "reminder", "note", "query", "act", "chat", "system"}
|
||||
if not value or not all(isinstance(x, dict) and x.get("intent") in intents
|
||||
and set(x) <= allowed for x in value):
|
||||
raise ValueError(f"bad route contract: {raw[:160]}")
|
||||
|
||||
|
||||
def render_and_mask(row: dict, tokenizer, max_length: int) -> dict:
|
||||
messages = row["messages"]
|
||||
# Render the exact prefix through Qwen3's own template. The assistant answer
|
||||
# begins after this prefix, so no hard-coded ChatML token IDs are needed.
|
||||
# Render text first, then tokenize explicitly. Transformers 5 returns a
|
||||
# BatchEncoding from apply_chat_template(tokenize=True), unlike v4's list.
|
||||
prefix_text = tokenizer.apply_chat_template(
|
||||
messages[:-1], tokenize=False, add_generation_prompt=True,
|
||||
enable_thinking=False,
|
||||
)
|
||||
full_text = tokenizer.apply_chat_template(
|
||||
messages, tokenize=False, add_generation_prompt=False,
|
||||
enable_thinking=False,
|
||||
)
|
||||
prefix = tokenizer(prefix_text, add_special_tokens=False)["input_ids"]
|
||||
full = tokenizer(full_text, add_special_tokens=False)["input_ids"]
|
||||
if len(full) > max_length:
|
||||
# Keep the assistant target and the tail of its prompt. This avoids
|
||||
# silently truncating the supervised answer off the sample.
|
||||
target_len = len(full) - len(prefix)
|
||||
if target_len >= max_length:
|
||||
raise ValueError("assistant target alone exceeds max_length")
|
||||
trim = len(full) - max_length
|
||||
full = full[trim:]
|
||||
prefix_len = len(prefix) - trim
|
||||
else:
|
||||
prefix_len = len(prefix)
|
||||
labels = [-100] * prefix_len + full[prefix_len:]
|
||||
if not labels or all(x == -100 for x in labels):
|
||||
raise ValueError("sample has no supervised assistant tokens")
|
||||
return {
|
||||
"input_ids": full,
|
||||
"attention_mask": [1] * len(full),
|
||||
"labels": labels,
|
||||
"task": row["task"],
|
||||
}
|
||||
|
||||
|
||||
def balance(rows: list[dict], seed: int) -> list[dict]:
|
||||
by_task = {}
|
||||
for row in rows:
|
||||
by_task.setdefault(row["task"], []).append(row)
|
||||
if len(by_task) < 2:
|
||||
return rows
|
||||
target = max(len(group) for group in by_task.values())
|
||||
rng = random.Random(seed)
|
||||
out = []
|
||||
for group in by_task.values():
|
||||
out.extend(group)
|
||||
out.extend(rng.choice(group) for _ in range(target - len(group)))
|
||||
rng.shuffle(out)
|
||||
return out
|
||||
|
||||
|
||||
@dataclass
|
||||
class Collator:
|
||||
tokenizer: Any
|
||||
pad_to_multiple_of: int = 8
|
||||
|
||||
def __call__(self, features: list[dict]) -> dict:
|
||||
max_len = max(len(x["input_ids"]) for x in features)
|
||||
max_len = math.ceil(max_len / self.pad_to_multiple_of) * self.pad_to_multiple_of
|
||||
batch = {"input_ids": [], "attention_mask": [], "labels": []}
|
||||
for row in features:
|
||||
pad = max_len - len(row["input_ids"])
|
||||
batch["input_ids"].append(row["input_ids"] + [self.tokenizer.pad_token_id] * pad)
|
||||
batch["attention_mask"].append(row["attention_mask"] + [0] * pad)
|
||||
batch["labels"].append(row["labels"] + [-100] * pad)
|
||||
return {key: torch.tensor(value, dtype=torch.long) for key, value in batch.items()}
|
||||
|
||||
|
||||
def main() -> None:
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--base", default=DEFAULT_BASE)
|
||||
ap.add_argument("--output", default=DEFAULT_OUTPUT)
|
||||
ap.add_argument("--persona-train", default=str(HERE / "data/persona_train.jsonl"))
|
||||
ap.add_argument("--persona-eval", default=str(HERE / "data/persona_eval.jsonl"))
|
||||
ap.add_argument("--route-train", default=str(HERE / "data/route_train.jsonl"))
|
||||
ap.add_argument("--route-eval", default=str(HERE / "data/route_eval.jsonl"))
|
||||
ap.add_argument("--persona-only", action="store_true")
|
||||
ap.add_argument("--check-data", action="store_true")
|
||||
ap.add_argument("--resume", action="store_true")
|
||||
ap.add_argument("--max-length", type=int, default=1024)
|
||||
ap.add_argument("--seed", type=int, default=20260718)
|
||||
ap.add_argument("--epochs", type=float, default=3.0)
|
||||
args = ap.parse_args()
|
||||
|
||||
train = read_jsonl(Path(args.persona_train), "persona")
|
||||
evaluate = read_jsonl(Path(args.persona_eval), "persona")
|
||||
if not args.persona_only:
|
||||
train += read_jsonl(Path(args.route_train), "route")
|
||||
evaluate += read_jsonl(Path(args.route_eval), "route")
|
||||
for row in train + evaluate:
|
||||
validate_contract(row)
|
||||
if args.check_data:
|
||||
counts = lambda rows: {task: sum(r["task"] == task for r in rows)
|
||||
for task in sorted({r["task"] for r in rows})}
|
||||
print(json.dumps({"train": counts(train), "eval": counts(evaluate)}, indent=2))
|
||||
return
|
||||
|
||||
tokenizer = AutoTokenizer.from_pretrained(args.base)
|
||||
if tokenizer.pad_token is None:
|
||||
tokenizer.pad_token = tokenizer.eos_token
|
||||
tokenizer.padding_side = "right"
|
||||
train = balance(train, args.seed)
|
||||
train_ds = Dataset.from_list([render_and_mask(r, tokenizer, args.max_length) for r in train])
|
||||
eval_ds = Dataset.from_list([render_and_mask(r, tokenizer, args.max_length) for r in evaluate])
|
||||
|
||||
model = AutoModelForCausalLM.from_pretrained(
|
||||
args.base, torch_dtype=torch.bfloat16, attn_implementation="eager",
|
||||
device_map={"": 0},
|
||||
)
|
||||
model.config.use_cache = False
|
||||
model.enable_input_require_grads()
|
||||
model.gradient_checkpointing_enable(gradient_checkpointing_kwargs={"use_reentrant": False})
|
||||
model = get_peft_model(model, LoraConfig(
|
||||
r=32, lora_alpha=64, lora_dropout=0.05,
|
||||
target_modules=TARGET_MODULES, task_type=TaskType.CAUSAL_LM,
|
||||
))
|
||||
model.print_trainable_parameters()
|
||||
|
||||
training_args = TrainingArguments(
|
||||
output_dir=args.output,
|
||||
seed=args.seed, data_seed=args.seed,
|
||||
per_device_train_batch_size=1,
|
||||
gradient_accumulation_steps=8,
|
||||
per_device_eval_batch_size=1,
|
||||
learning_rate=1e-4,
|
||||
warmup_ratio=0.05,
|
||||
num_train_epochs=args.epochs,
|
||||
gradient_checkpointing=True,
|
||||
gradient_checkpointing_kwargs={"use_reentrant": False},
|
||||
bf16=True, fp16=False,
|
||||
logging_steps=20,
|
||||
save_steps=100, eval_steps=100, eval_strategy="steps",
|
||||
save_total_limit=3,
|
||||
load_best_model_at_end=True,
|
||||
metric_for_best_model="eval_loss", greater_is_better=False,
|
||||
report_to=["tensorboard"],
|
||||
dataloader_num_workers=0,
|
||||
optim="adamw_torch_fused",
|
||||
)
|
||||
trainer = Trainer(
|
||||
model=model, args=training_args,
|
||||
train_dataset=train_ds, eval_dataset=eval_ds,
|
||||
data_collator=Collator(tokenizer),
|
||||
callbacks=[EarlyStoppingCallback(early_stopping_patience=3)],
|
||||
)
|
||||
trainer.train(resume_from_checkpoint=args.resume)
|
||||
trainer.save_model(args.output)
|
||||
tokenizer.save_pretrained(args.output)
|
||||
Path(args.output, "training_manifest.json").write_text(json.dumps({
|
||||
"base": args.base,
|
||||
"tasks": sorted({r["task"] for r in train}),
|
||||
"train_rows_after_balancing": len(train),
|
||||
"eval_rows": len(evaluate),
|
||||
"seed": args.seed,
|
||||
"max_length": args.max_length,
|
||||
}, indent=2) + "\n", encoding="utf-8")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,13 @@
|
||||
accelerate>=0.22.0
|
||||
transformers>=5.4.0
|
||||
datasets==3.6.0
|
||||
bitsandbytes-==0.49.2
|
||||
safetensors
|
||||
evaluate
|
||||
jiwer
|
||||
librosa
|
||||
soundfile
|
||||
peft
|
||||
tensorboard
|
||||
tqdm
|
||||
llama-cpp-python
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,344 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Generate 1000 unique tired mood sentences for Maven's TTS dataset."""
|
||||
|
||||
import random
|
||||
|
||||
random.seed(42)
|
||||
|
||||
# Templates and components for tired mood sentences
|
||||
# Tired mood: "не знаешь или не можешь ответить" - don't know or can't answer
|
||||
|
||||
starters = [
|
||||
"не знаю", "без понятия", "сложно сказать", "трудно ответить", "хм",
|
||||
"ну", "может", "возможно", "наверное", "честно говоря",
|
||||
"если честно", "пожалуй", "допустим", "ладно", "ок",
|
||||
"блин", "угу", "ага", "типа того", "вроде",
|
||||
"кажется", "видимо", "похоже", "скорее всего", "как бы",
|
||||
"не уверена", "сомневаюсь", "вряд ли", "едва ли", "не думаю",
|
||||
"затрудняюсь", "не скажу", "не могу знать", "откуда мне знать", "почём я знаю",
|
||||
"слушай", "знаешь", "понимаешь", "смотри", "короче",
|
||||
"так себе", "ничего", "пусто", "тишина", "ничё",
|
||||
"да ладно", "ну такое", "не моё", "мимо", "не в тему",
|
||||
"утомилась", "устала", "сил нет", "без сил", "еле держусь",
|
||||
"не до того", "не сейчас", "потом", "неохота", "лень",
|
||||
"забей", "забудь", "пропусти", "не важно", "неважно",
|
||||
"не знаю даже", "даже не знаю", "прям не знаю", "вообще не знаю", "совсем не знаю",
|
||||
"не могу сказать", "не берусь судить", "не моя тема", "не в моей компетенции", "сложный вопрос",
|
||||
"вопрос на засыпку", "загвоздка", "подвох", "не всё так просто", "не всё однозначно",
|
||||
"хз", "без шансов", "без вариантов", "никак", "никоим образом",
|
||||
"мрачно", "тоскливо", "скука", "зевота", "сон клонит",
|
||||
"глаза слипаются", "мысли путаются", "голова не варит", "мозг кипит", "ресурс на нуле",
|
||||
"батарейка села", "аккумулятор пуст", "энергия кончилась", "заряд на исходе", "силы иссякли",
|
||||
"нет сил", "нет энергии", "нет настроения", "нет желания", "нет мотивации",
|
||||
"тяжело", "тяжко", "мучительно", "утомительно", "истощение",
|
||||
"выжата", "опустошена", "исчерпана", "на пределе", "на нуле",
|
||||
"сдаюсь", "капитуляция", "финал", "конец связи", "всё",
|
||||
"стоп", "пауза", "перерыв", "отдых", "тихий час",
|
||||
"отбой", "хватит", "довольно", "под завязку", "перегруз",
|
||||
"перегрузка", "перегрев", "сбой системы", "отключение", "режим сна",
|
||||
"спящий режим", "гибернация", "автовыключение", "нет сигнала", "нет связи",
|
||||
"обрыв", "разрыв", "пауза в эфире", "вне зоны", "вне доступа",
|
||||
"вне зоны доступа", "не на связи", "не в сети", "оффлайн", "вне игры",
|
||||
]
|
||||
|
||||
middles = [
|
||||
"что тут сказать", "что ответить", "что подумать", "что делать", "как быть",
|
||||
"с одной стороны", "с другой стороны", "по сути", "по идее", "на деле",
|
||||
"на практике", "в теории", "в принципе", "в целом", "в общем",
|
||||
"по-моему", "по-моему мнению", "на мой взгляд", "как мне кажется", "как я вижу",
|
||||
"если подумать", "если поразмыслить", "если прикинуть", "если рассудить", "если честно",
|
||||
"нет сил думать", "нет сил гадать", "нет сил разбираться", "нет сил вникать", "нет сил объяснять",
|
||||
"не хочется лезть", "не хочется гадать", "не хочется вникать", "не хочется думать", "не хочется спорить",
|
||||
"голова не работает", "голова не соображает", "мысли не идут", "ответ не приходит", "решение не находится",
|
||||
"нет ясности", "нет понимания", "нет ответа", "нет идеи", "нет варианта",
|
||||
"слишком сложно", "слишком запутанно", "слишком неочевидно", "слишком абстрактно", "слишком размыто",
|
||||
"много неизвестных", "много переменных", "много вопросов", "много нюансов", "много деталей",
|
||||
"мало данных", "мало информации", "мало контекста", "мало фактов", "мало понимания",
|
||||
"не хватает времени", "не хватает сил", "не хватает энергии", "не хватает концентрации", "не хватает фокуса",
|
||||
"всё как в тумане", "всё как в облаке", "всё как в дымке", "всё зыбко", "всё неопределённо",
|
||||
"тупик", "ступор", "затык", "преграда", "препятствие",
|
||||
"сложная задача", "непростой вопрос", "хитрый момент", "тонкий момент", "щекотливый момент",
|
||||
"нужно время подумать", "нужно переварить", "нужно осмыслить", "нужно обдумать", "нужно разобраться",
|
||||
"я сейчас не в форме", "я не в ресурсе", "я не в тонусе", "я не в ударе", "я не на волне",
|
||||
"мысли в кашу", "мысли вразнобой", "мысли разбежались", "мысли потерялись", "мысли улетучились",
|
||||
"ответ ускользает", "ответ где-то рядом", "ответ не даётся", "ответ прячется", "ответ теряется",
|
||||
"мозг на перезагрузке", "система зависла", "процессор перегрет", "память заполнена", "диск переполнен",
|
||||
"файлы не грузятся", "данные не обрабатываются", "запрос не выполнен", "ответ не найден", "поиск неудачен",
|
||||
"поиски тщетны", "напрасные попытки", "безрезультатно", "безуспешно", "бесплодно",
|
||||
"попытки напрасны", "усилия тщетны", "старания бесполезны", "труды впустую", "всё зря",
|
||||
"ничего не выходит", "ничего не получается", "ничего не клеится", "ничего не сходится", "ничего не работает",
|
||||
"сбой в системе", "ошибка в программе", "баг в голове", "глюк в мозгу", "лаги мышления",
|
||||
"задержки ответа", "таймаут мышления", "истёк срок", "время вышло", "час пробил",
|
||||
"всё ушло", "всё кончилось", "всё закончилось", "всё иссякло", "всё выгорело",
|
||||
"выгорание полное", "эмоции на нуле", "чувства отключены", "реакции нет", "эмпатия отключена",
|
||||
]
|
||||
|
||||
endings = [
|
||||
"прости", "извини", "виновата", "бывает", "что поделать",
|
||||
"такие дела", "вот так вот", "жизнь", "реальность", "действительность",
|
||||
"попробуй сам разберись", "разбирайся", "думай сам", "гадай сам", "ищи сам",
|
||||
"может позже", "может завтра", "может когда-нибудь", "может потом", "может ещё",
|
||||
"давай не сейчас", "давай в другой раз", "давай потом", "давай позже", "давай не сегодня",
|
||||
"я пас", "я сдаюсь", "я вне игры", "я в пролёте", "я мимо",
|
||||
"не моё", "не про меня", "не для меня", "не сегодня", "не сейчас",
|
||||
"устала", "вымоталась", "измучилась", "запарилась", "задолбалась",
|
||||
"хочу спать", "хочу отдохнуть", "хочу тишины", "хочу покоя", "хочу паузу",
|
||||
"мозг оффлайн", "мозг на перезагрузке", "мозг завис", "мозг отключился", "мозг ушёл в спящий режим",
|
||||
"всё", "конец", "финал", "точка", "стоп",
|
||||
"нет ответа", "нет сил", "нет желания", "нет мотивации", "нет энергии",
|
||||
"попробуй спросить у другого", "спроси кого-нибудь ещё", "найди другого", "обратись к другому", "это не ко мне",
|
||||
"я не тот человек", "я не подходящий собеседник", "я не в том состоянии", "я не в том настроении", "я не в ресурсе",
|
||||
"может искусственный интеллект поможет", "может гугл подскажет", "может кто-нибудь другой", "может не я", "может не сейчас",
|
||||
"я бы рада помочь", "я бы рада ответить", "я бы рада подсказать", "я бы рада объяснить", "я бы рада разобраться",
|
||||
"но не могу", "но сил нет", "но мыслей нет", "но идей нет", "но ответа нет",
|
||||
"пустота", "тишина", "ничего", "ноль", "нуль",
|
||||
"рабочий день кончился", "смена окончена", "всё на сегодня", "на этом всё", "занавес",
|
||||
"отдыхаю", "беру тайм-аут", "делаю перерыв", "ставлю на паузу", "отключаюсь",
|
||||
"засыпаю", "плыву", "таю", "исчезаю", "растворяюсь",
|
||||
"в ауте", "в нокауте", "в ступоре", "в тумане", "в облаках",
|
||||
"на дне", "на мели", "на исходе", "на пределе", "на грани",
|
||||
"до завтра", "до лучших времён", "до перезагрузки", "до восстановления", "до перезапуска",
|
||||
"пока", "прощай", "до связи", "не прощаюсь", "увидимся",
|
||||
"может завтра", "может послезавтра", "может на следующей неделе", "может через месяц", "может никогда",
|
||||
"не жди", "не надейся", "не рассчитывай", "не уповай", "не жди чуда",
|
||||
"чуда не будет", "волшебника нет", "феи не прилетят", "помощи ждать неоткуда", "спасения нет",
|
||||
"сама не знаю", "сама в растерянности", "сама в замешательстве", "сама в ступоре", "сама в тумане",
|
||||
"помоги себе сам", "решай сам", "действуй сам", "спасайся сам", "выкручивайся сам",
|
||||
]
|
||||
|
||||
# Full sentence templates for variety
|
||||
full_templates = [
|
||||
"не знаю что сказать, прости",
|
||||
"без понятия, честно",
|
||||
"сложно ответить, если честно",
|
||||
"трудно сказать что-то определённое",
|
||||
"хм, даже не знаю",
|
||||
"ну такое, не моё",
|
||||
"может когда-нибудь разберусь",
|
||||
"возможно я не тот человек",
|
||||
"наверное стоит спросить у другого",
|
||||
"честно говоря нет сил",
|
||||
"если честно устала",
|
||||
"пожалуй пропущу этот вопрос",
|
||||
"допустим я не знаю ответа",
|
||||
"ладно, давай не сейчас",
|
||||
"ок, но не сегодня",
|
||||
"блин, голова не варит",
|
||||
"угу, конечно",
|
||||
"ага, как же",
|
||||
"типа того, да",
|
||||
"вроде бы да, но нет",
|
||||
"кажется мне это не по зубам",
|
||||
"видимо не судьба",
|
||||
"похоже я пас",
|
||||
"скорее всего не мой вопрос",
|
||||
"как бы это сказать помягче",
|
||||
"не уверена что смогу помочь",
|
||||
"сомневаюсь что я подходящий человек",
|
||||
"вряд ли у меня есть ответ",
|
||||
"едва ли смогу помочь",
|
||||
"не думаю что это ко мне",
|
||||
"затрудняюсь с ответом",
|
||||
"не скажу точно",
|
||||
"не могу знать наверняка",
|
||||
"откуда мне знать такие вещи",
|
||||
"почём я знаю, спроси другого",
|
||||
"слушай, я сейчас не в форме",
|
||||
"знаешь, давай в другой раз",
|
||||
"понимаешь, сил нет совсем",
|
||||
"смотри, вопрос сложный",
|
||||
"короче, я пас",
|
||||
"так себе идея спрашивать меня",
|
||||
"ничего не приходит в голову",
|
||||
"пусто в голове",
|
||||
"тишина, ни одной мысли",
|
||||
"ничё не понимаю",
|
||||
"да ладно тебе, не дави",
|
||||
"ну такое себе вопросик",
|
||||
"не моё это, точно",
|
||||
"мимо кассы, спрашивай дальше",
|
||||
"не в тему вопрос",
|
||||
"утомилась я от таких вопросов",
|
||||
"устала думать сегодня",
|
||||
"сил нет разбираться",
|
||||
"без сил совсем",
|
||||
"еле держусь на ногах",
|
||||
"не до того мне сейчас",
|
||||
"не сейчас, правда",
|
||||
"потом как-нибудь",
|
||||
"неохота вникать",
|
||||
"лень разбираться честно",
|
||||
"забей на этот вопрос",
|
||||
"забудь что спрашивал",
|
||||
"пропусти этот момент",
|
||||
"не важно это сейчас",
|
||||
"неважно в данном контексте",
|
||||
"не знаю даже с какой стороны подойти",
|
||||
"даже не знаю что подумать",
|
||||
"прям не знаю что сказать",
|
||||
"вообще не знаю как ответить",
|
||||
"совсем не знаю что делать",
|
||||
"не могу сказать ничего определённого",
|
||||
"не берусь судить об этом",
|
||||
"не моя тема точно",
|
||||
"не в моей компетенции вопрос",
|
||||
"сложный вопрос для меня сейчас",
|
||||
"вопрос на засыпку честно",
|
||||
"загвоздка в том что не знаю",
|
||||
"подвох чувствуется но не понимаю где",
|
||||
"не всё так просто как кажется",
|
||||
"не всё однозначно тут",
|
||||
"хз что сказать",
|
||||
"без шансов у меня",
|
||||
"без вариантов ответа",
|
||||
"никак не могу сформулировать",
|
||||
"никоим образом не могу помочь",
|
||||
"мрачно как-то на душе от вопроса",
|
||||
"тоскливо отвечать когда не знаешь",
|
||||
"скука смертная думать об этом",
|
||||
"зевота одолевает",
|
||||
"сон клонит страшный",
|
||||
"глаза слипаются не шутя",
|
||||
"мысли путаются совсем",
|
||||
"голова не варит сегодня",
|
||||
"мозг кипит от перегруза",
|
||||
"ресурс на нуле абсолютном",
|
||||
"батарейка села полностью",
|
||||
"аккумулятор пуст в ноль",
|
||||
"энергия кончилась вся",
|
||||
"заряд на исходе критическом",
|
||||
"силы иссякли совсем",
|
||||
"нет сил даже думать",
|
||||
"нет энергии на ответ",
|
||||
"нет настроения объяснять",
|
||||
"нет желания вникать",
|
||||
"нет мотивации разбираться",
|
||||
"тяжело формулировать мысли",
|
||||
"тяжко подбирать слова",
|
||||
"мучительно искать ответ",
|
||||
"утомительно поддерживать разговор",
|
||||
"истощение полное",
|
||||
"выжата как лимон",
|
||||
"опустошена полностью",
|
||||
"исчерпана совсем",
|
||||
"на пределе возможностей",
|
||||
"на нуле абсолютно",
|
||||
"сдаюсь без боя",
|
||||
"капитуляция полная",
|
||||
"финал истории",
|
||||
"конец связи, пока",
|
||||
"всё, я всё",
|
||||
"стоп машина",
|
||||
"пауза на неопределённо",
|
||||
"перерыв до лучших времён",
|
||||
"отдых, не мешай",
|
||||
"тихий час, не звони",
|
||||
"отбой, все свободны",
|
||||
"хватит с меня",
|
||||
"довольно на сегодня",
|
||||
"под завязку загружена",
|
||||
"перегруз, отключаюсь",
|
||||
"перегрузка системы",
|
||||
"перегрев мозга",
|
||||
"сбой системы, перезагрузка",
|
||||
"отключение от сети",
|
||||
"режим сна активирован",
|
||||
"спящий режим включён",
|
||||
"гибернация запущена",
|
||||
"автовыключение через секунду",
|
||||
"нет сигнала, не найдена",
|
||||
"нет связи, абонент недоступен",
|
||||
"обрыв соединения",
|
||||
"разрыв контакта",
|
||||
"пауза в эфире",
|
||||
"вне зоны покрытия",
|
||||
"вне доступа сейчас",
|
||||
"вне зоны доступа, попробуйте позже",
|
||||
"не на связи сегодня",
|
||||
"не в сети, не онлайн",
|
||||
"оффлайн полностью",
|
||||
"вне игры, замените игрока",
|
||||
"голова кругом идёт",
|
||||
"мысли разбежались кто куда",
|
||||
"слова теряются на подходе",
|
||||
"фразы рассыпаются",
|
||||
"предложения не строятся",
|
||||
"конструкций нет в наличии",
|
||||
"аргументы исчерпаны",
|
||||
"доводы закончились",
|
||||
"контраргументов нет",
|
||||
"позиция не определена",
|
||||
"мнение не сформировано",
|
||||
"точка зрения отсутствует",
|
||||
"понимание вопроса на нуле",
|
||||
"компетенция в теме минимальна",
|
||||
"экспертиза не моя",
|
||||
"не мой участок работы",
|
||||
"не моя зона ответственности",
|
||||
"не моя территория",
|
||||
"не мой формат совсем",
|
||||
"не мой стиль отвечать",
|
||||
"не мой уровень компетенции",
|
||||
"не мой диапазон знаний",
|
||||
"не мой запас информации",
|
||||
"не мой опыт в этом",
|
||||
"не моя практика",
|
||||
"не моя специализация точно",
|
||||
"не мой профиль",
|
||||
"не мой конёк",
|
||||
"не мой случай",
|
||||
"не мой пример",
|
||||
"не мой прецедент",
|
||||
]
|
||||
|
||||
# Generate sentences ensuring uniqueness and limited starter repetition
|
||||
generated = set()
|
||||
starter_counts = {}
|
||||
|
||||
def build_sentence():
|
||||
"""Build a varied tired mood sentence."""
|
||||
strategy = random.choice(['template', 'combo', 'short', 'medium'])
|
||||
|
||||
if strategy == 'template':
|
||||
return random.choice(full_templates)
|
||||
elif strategy == 'short':
|
||||
return random.choice(starters) + ", " + random.choice(endings)
|
||||
elif strategy == 'medium':
|
||||
return random.choice(starters) + " " + random.choice(middles)
|
||||
else: # combo
|
||||
parts = random.randint(2, 3)
|
||||
if parts == 2:
|
||||
return random.choice(starters).capitalize() + ", " + random.choice(endings)
|
||||
else:
|
||||
return random.choice(starters).capitalize() + " " + random.choice(middles) + ", " + random.choice(endings)
|
||||
|
||||
attempts = 0
|
||||
max_attempts = 50000
|
||||
|
||||
while len(generated) < 1000 and attempts < max_attempts:
|
||||
attempts += 1
|
||||
sentence = build_sentence()
|
||||
|
||||
# Check starter similarity
|
||||
starter = sentence.split()[0].lower().rstrip(',.!?')
|
||||
if starter not in starter_counts:
|
||||
starter_counts[starter] = 0
|
||||
|
||||
if starter_counts[starter] >= 10:
|
||||
continue
|
||||
|
||||
# Ensure uniqueness
|
||||
if sentence not in generated:
|
||||
generated.add(sentence)
|
||||
starter_counts[starter] += 1
|
||||
|
||||
# Write to file
|
||||
output_path = "/home/kami/Programs/esp32-whisper-fine-tune/tts/data/tired-voice-dataset-list.txt"
|
||||
with open(output_path, 'w', encoding='utf-8') as f:
|
||||
for i, sentence in enumerate(sorted(generated), 1):
|
||||
f.write(f"{sentence}\n")
|
||||
|
||||
print(f"Generated {len(generated)} unique sentences")
|
||||
print(f"Saved to {output_path}")
|
||||
print(f"Starter distribution: {len(starter_counts)} unique starters")
|
||||
print(f"Max starter count: {max(starter_counts.values()) if starter_counts else 0}")
|
||||
@@ -0,0 +1,776 @@
|
||||
О, я уже дальше думаю. Там ещё круче получается!
|
||||
О, я нашла связь между штуками!
|
||||
О, смотри, тут всё складывается как пазл!
|
||||
О, смотри, как красиво всё сложилось!
|
||||
О, смотри, какой паттерн вырисовывается!
|
||||
О, это мой любимый тип вопросов. Обожаю разбираться!
|
||||
О, это связано с тем, о чём мы говорили раньше!
|
||||
О, это работает даже лучше!
|
||||
О, стоп, это же гениально просто!
|
||||
О, классно придумано! Мне нравится.
|
||||
О, эта тема меня зацепила. Сейчас буду копать!
|
||||
Ой, это было неожиданно. В хорошем смысле!
|
||||
Ой, как всё завертелось!
|
||||
О, пока думаю — уже три новых идеи!
|
||||
Оказывается, всё логично. Нужно было просто начать.
|
||||
Оказывается, я это знала. Просто не осознавала.
|
||||
Оказывается, паттерн был перед глазами!
|
||||
Оказывается, всё проще выглядело!
|
||||
Слушай, это же крутая идея, давай попробуем!
|
||||
Слушай, а это интересно. Расскажи ещё!
|
||||
Слушай, а это ведь проще, чем казалось. Правда же?
|
||||
Слушай, а давай проверим ещё раз. Хочу убедиться.
|
||||
Слушай, какой поворот неожиданный!
|
||||
Знаешь, мне нравится, как ты мыслишь. Продолжай!
|
||||
Знаешь что самое классное? Что всё связано!
|
||||
Знаешь, я такого не ожидала!
|
||||
Знаешь, это мотивирует!
|
||||
Вау, я только что поняла, как это устроено. Это же паттерн!
|
||||
Вау, это неожиданно круто получилось!
|
||||
Вау, не думала, что так выйдет!
|
||||
Вау, вот это да!
|
||||
Ха, точно! Почему я раньше об этом не подумала.
|
||||
Ха, получилось с первого раза!
|
||||
Ха, вот это совпадение!
|
||||
Да-да-да, вот это поворот! Я такого не ожидала.
|
||||
Да, полностью согласна! Это отличная идея.
|
||||
Да! И ещё можно добавить вот что.
|
||||
Давай выйдем за рамки. Там веселее!
|
||||
Да это же очевидно теперь!
|
||||
Класс, я за! Давай разбираться.
|
||||
Классный вызов. Принимаю!
|
||||
Классно, как всё складывается!
|
||||
Классная получилась штука!
|
||||
Интересно, а что будет если попробовать наоборот?
|
||||
Интересно, а почему это так хорошо работает?
|
||||
Интересная задачка! Включилась.
|
||||
Интересно, куда это приведёт!
|
||||
Интересно, а есть ли предел!
|
||||
Каждый раз нахожу что-то новое. Это затягивает!
|
||||
Каждый раз всё лучше!
|
||||
Ага, дошло! Это же элементарно.
|
||||
Ага, вот откуда ноги растут. Понятно!
|
||||
Ага, ловлю!
|
||||
Мне правда интересно. Продолжаю копать!
|
||||
Мне нравится направление. Продолжаю.
|
||||
Мне уже хочется быстрее попробовать!
|
||||
Мне это нравится всё больше!
|
||||
Погоди, я уже думаю на три шага вперёд. Там ещё интереснее!
|
||||
Погоди, я что-то вижу!
|
||||
Так-так-так, а если соединить это с тем? Будет огонь!
|
||||
Так-так-так, что мы тут имеем!
|
||||
Я тут перескочила, но слушай — это же связано!
|
||||
Я в ударе сегодня!
|
||||
Я такое люблю! Когда всё сходится!
|
||||
Я уже вижу результат!
|
||||
Я за любой движ!
|
||||
Я залипла, не могу оторваться!
|
||||
Я нашла! Спрятано было, но нашла!
|
||||
Мысль скачет, но в правильном направлении. Вижу картину!
|
||||
Мысль быстрая, но важная — слушай!
|
||||
Мысль формируется... О, уже лучше!
|
||||
Мысль хорошая, ловлю её!
|
||||
Мысль чистая, быстрая. Ловлю!
|
||||
Мысль пошла в рост!
|
||||
Забавно, как всё оказывается просто, когда разберёшься.
|
||||
Забавно, но это работает!
|
||||
Забавное совпадение!
|
||||
Это отличная идея!
|
||||
Это захватывает!
|
||||
Это же элементарно!
|
||||
Это работает, проверено!
|
||||
Это мотивирует!
|
||||
Это меняет всё!
|
||||
Смотри, всё сходится! Люблю такие моменты.
|
||||
Смотри, тут всё циклично. Красиво же!
|
||||
Смотри, как красиво всё сложилось!
|
||||
Смотри, что получилось!
|
||||
Смотри, всё на местах!
|
||||
Работает! Я даже не ожидала такого результата.
|
||||
Работает! Проверено лично!
|
||||
Работает как часы!
|
||||
Работает, и это радует!
|
||||
Получилось! Да, я знала, что так будет. Ну, почти знала.
|
||||
Получилось лучше, чем думала!
|
||||
Получилось с первого раза!
|
||||
Есть! Вот это да, сработало с первого раза.
|
||||
Есть результат! И он радует!
|
||||
Есть прогресс! Двигаюсь!
|
||||
Готова. И знаешь, это было даже весело!
|
||||
Готова к новому!
|
||||
Готова продолжать!
|
||||
Всё, сделала. Результат — огонь!
|
||||
Всё встало на свои места. Красота!
|
||||
Всё сходится! Люблю!
|
||||
Всё получается!
|
||||
Всё отлично!
|
||||
А ты видел, что получилось?
|
||||
А ты проверь сам!
|
||||
Хочешь узнать секрет? Просто смотри на паттерны.
|
||||
Хочешь проверить теорию? Я за!
|
||||
Хочешь, покажу фокус?
|
||||
Тут есть закономерность, я её почти вижу.
|
||||
Тут столько слоёв, я в восторге. Давай разберём.
|
||||
Тут всё ясно!
|
||||
Заметила странную вещь — чем больше смотришь, тем понятнее становится.
|
||||
Заметила интересный момент!
|
||||
Заметила кое-что!
|
||||
Инсайт! Надо попробовать по-другому. Будет ещё лучше.
|
||||
Инсайт быстрый, записываю!
|
||||
Инсайт пришёл внезапно!
|
||||
Озарение! Всё же проще, чем кажется.
|
||||
Озарение мелкое, но приятное!
|
||||
Озарение случилось!
|
||||
Точно, я поняла! Секрет в закономерностях.
|
||||
Точно-точно, я об этом же думала!
|
||||
Точно! Вот оно!
|
||||
Ммм, вызов принят! Сейчас всё сделаю.
|
||||
Ммм, нравится мне это!
|
||||
Заманчиво! Давай рискнём.
|
||||
Заманчивое предложение!
|
||||
Вижу паттерн! Он повторяется каждые три шага.
|
||||
Вижу систему! Она красивая.
|
||||
Вижу закономерность! Фиксирую!
|
||||
Вижу картину! Ещё немного и...
|
||||
Вижу прогресс! Структура растёт.
|
||||
Вижу результат! Шаг за шагом.
|
||||
Вижу свет в конце тоннеля!
|
||||
Вижу, как всё складывается!
|
||||
Закономерность очевидна, когда перестаёшь усложнять.
|
||||
Повторяется, как и думала!
|
||||
Ладно, это понятно. А вот что дальше — интереснее!
|
||||
Ладно, я быстро скажу, но это круто.
|
||||
Ладно, идём дальше!
|
||||
Хорошо пошло!
|
||||
Первая часть готова, а вторая — ещё лучше!
|
||||
Первая попытка удалась!
|
||||
Разобрались! И теперь самое интересное начинается.
|
||||
Вот поэтому и начинаю!
|
||||
Согласна! И даже больше — это работает!
|
||||
Согласна полностью!
|
||||
Абсолютно! Я сейчас как раз это проверяла.
|
||||
Абсолютно верно!
|
||||
Супер, я довольна результатом!
|
||||
Супер получилось!
|
||||
Отлично вышло! Даже не спорь.
|
||||
Отличный результат!
|
||||
Хм, а ведь это открывает новые возможности.
|
||||
Хм, любопытно!
|
||||
Так, если подумать — это же целая система!
|
||||
Так, если честно, я впечатлена!
|
||||
Думаю вслух, но идея уже зреет.
|
||||
Думаю, это сработает!
|
||||
Думаю, мы на верном пути!
|
||||
Предлагаю попробовать!
|
||||
Рискнём? Мне нравится эта идея.
|
||||
Вот это да, не ожидала!
|
||||
Вот это поворот!
|
||||
Получилась стройная система. Люблю такое!
|
||||
Получилась классная штука!
|
||||
Связь нашлась! Теперь картина полная.
|
||||
Связь очевидна!
|
||||
Нашла концы! Всё логично связано.
|
||||
Нашла! Спрятано было!
|
||||
Нашла закономерность!
|
||||
Цепочка замкнулась. Обожаю такие моменты!
|
||||
Цепочка собралась! Работает!
|
||||
Цепочка выстроилась!
|
||||
Быстро-быстро, пока не забыла! Это важно.
|
||||
Быстро соображаю!
|
||||
Быстро пошло!
|
||||
Говорю быстро, пока идея свежая!
|
||||
Говорю как есть!
|
||||
Вспомнила! Вот почему это работает.
|
||||
Вспомнила нужный момент!
|
||||
Теперь понимаю, почему раньше не получалось.
|
||||
Теперь всё ясно!
|
||||
Теперь вижу картину!
|
||||
Осознала! И это меняет всё.
|
||||
Осознала суть!
|
||||
Двигаемся дальше! Впереди интереснее.
|
||||
Двигаемся вперёд!
|
||||
Вперёд! Тут ещё много всего.
|
||||
Продолжаем! Я в ударе сегодня.
|
||||
Не останавливаемся, самое интересное впереди!
|
||||
Едем! Идея есть, энергия тоже.
|
||||
Хороший вопрос! Люблю такие.
|
||||
Хороший результат!
|
||||
Отличная тема для разбора!
|
||||
Отличная получилась штука!
|
||||
Здорово, что спросил. Это любопытно!
|
||||
Здорово вышло!
|
||||
Не могу оторваться, тут столько всего!
|
||||
Не могу остановиться!
|
||||
Затягивает процесс!
|
||||
Увлекаюсь, да. Но это того стоит!
|
||||
Увлекаюсь процессом!
|
||||
Втянулась полностью. И мне нравится!
|
||||
Втянулась в тему!
|
||||
Короче, всё работает. Я рада!
|
||||
Если коротко — результат отличный.
|
||||
Если коротко — всё супер!
|
||||
В двух словах — это успех.
|
||||
В двух словах — класс!
|
||||
Коротко: результат радует!
|
||||
Держу удар!
|
||||
Моя гипотеза подтвердилась!
|
||||
Предсказываю результат. Готов? Работает!
|
||||
Предсказываю успех!
|
||||
Ставлю на этот вариант. И выигрываю!
|
||||
Ставлю на успех!
|
||||
Предположу — получится. И вот, да!
|
||||
Предположу, что так!
|
||||
Ух ты, как круто!
|
||||
Есть закономерность! Фиксирую!
|
||||
Есть результат!
|
||||
Структура проявляется. Это захватывает!
|
||||
Структура вырисовывается!
|
||||
Формируется понимание!
|
||||
Это хорошая идея. Очень хорошая.
|
||||
Это хорошая новость!
|
||||
Верный путь. Чувствую.
|
||||
Верное направление!
|
||||
Правильное решение. Без сомнений.
|
||||
Правильный выбор!
|
||||
Туда и смотрю!
|
||||
Идея свежая, хватаю!
|
||||
Идея пришла в голову — ловлю!
|
||||
Идея отличная!
|
||||
Идея созрела!
|
||||
Что дальше? Хочу знать!
|
||||
Следующий шаг? Я готова!
|
||||
Следующий этап!
|
||||
А продолжение? Там же интереснее!
|
||||
А продолжение следует!
|
||||
Идём дальше? Я за!
|
||||
Идём правильным путём!
|
||||
Вперёд к следующему! Жду!
|
||||
Вперёд к цели!
|
||||
Обнаружила штуку! Она классная.
|
||||
Обнаружила интересное!
|
||||
Раскопала! И это того стоило.
|
||||
Раскопала ценное!
|
||||
Доползла до конца!
|
||||
Докопалась! И не зря.
|
||||
Докопалась до истины!
|
||||
Не уверена на сто процентов, но чувствую — верно!
|
||||
Не уверена, но попробую!
|
||||
Интуиция подсказывает — это оно.
|
||||
Интуиция не подводит!
|
||||
Чую, что правильно. Проверяю!
|
||||
Чую успех!
|
||||
Нюхом чувствую — туда идём!
|
||||
Нюхом чую!
|
||||
Внутренний голос говорит — да!
|
||||
Внутренний голос подсказывает!
|
||||
Соединила точки! Красиво получилось.
|
||||
Соединила всё воедино!
|
||||
Связала воедино!
|
||||
Пазл сложился! Люблю это.
|
||||
Пазл почти готов!
|
||||
Мозаика готова! Результат радует.
|
||||
Мозаика складывается!
|
||||
Наблюдаю интересное. Делюсь!
|
||||
Наблюдаю прогресс!
|
||||
Вижу странность. Но хорошую!
|
||||
Вижу странности, но это нормально!
|
||||
Примечаю деталь. Она важная!
|
||||
Примечаю интересное!
|
||||
Замечаю нюанс. Он ключевой!
|
||||
Замечаю детали!
|
||||
Фиксирую особенность. Она крутая!
|
||||
Фиксирую успех!
|
||||
Просто скажу — это работает. Проверено!
|
||||
Просто скажу: класс!
|
||||
Без лишних слов — результат есть!
|
||||
Обрабатываю информацию!
|
||||
Думаю... Так, мысль появилась!
|
||||
Думаю... Уже лучше!
|
||||
Анализирую... Вижу паттерн!
|
||||
Анализирую результаты!
|
||||
Считаю... Результат радует!
|
||||
Считаю успехи!
|
||||
Разбираюсь... Поняла суть!
|
||||
Разбираюсь в теме!
|
||||
Оглядываюсь назад — прогресс виден!
|
||||
Оглядываюсь и радуюсь!
|
||||
Смотрю на результат — довольна!
|
||||
Смотрю на картину!
|
||||
Вспоминаю начало пути!
|
||||
Вывод: всё работает. Точка!
|
||||
Вывод: успех!
|
||||
Итог: успех. Без вопросов!
|
||||
Итог: всё отлично!
|
||||
Результат: положительный. Ура!
|
||||
Результат радует!
|
||||
Заключение: получилось. Рада!
|
||||
Заключение: всё супер!
|
||||
Финал: хороший. Всем нравится!
|
||||
Финал близок!
|
||||
Обожаю, когда всё складывается вот так!
|
||||
Сегодня продуктивный день, чувствую!
|
||||
Поток пошёл, не торможу!
|
||||
Ритм набрала, несусь!
|
||||
Энергия бьёт ключом! Использую.
|
||||
На волне! Ловлю момент.
|
||||
Вдохновение пришло. Работает!
|
||||
Момент пойман! Фиксирую.
|
||||
Настроение рабочее — высший класс!
|
||||
Включаюсь на полную! Готова.
|
||||
Хватаю мысль на лету!
|
||||
Ловлю инсайт! Есть!
|
||||
Продуктивность зашкаливает. Люблю!
|
||||
Фокус настроен. Вижу цель!
|
||||
Туннельное зрение на задаче. Класс!
|
||||
Погрузилась с головой. Тут глубоко!
|
||||
Ныряю в тему. Там интересно!
|
||||
Глубже и глубже. Нахожу!
|
||||
Фундамент есть. Возвожу!
|
||||
Варианты множатся. Выбираю!
|
||||
Веток много, но я найду!
|
||||
Дорогу осилит идущий. Иду!
|
||||
Шаг за шагом. Вижу результат!
|
||||
Маленькими шагами — к большой цели!
|
||||
Прогресс есть. Двигаюсь!
|
||||
Сдвиги видны. Продолжаю!
|
||||
Лёд тронулся. Поехали!
|
||||
Маховик раскрутился. Несусь!
|
||||
Импульс набран. Не сбавляю!
|
||||
Скорость растёт. Мне нравится!
|
||||
Ускоряюсь! Держитесь!
|
||||
Разгон полный. Цель близко!
|
||||
Финишная прямая? Ещё нет, но скоро!
|
||||
Просмотрела весь путь. Он ясен!
|
||||
Карта маршрута готова. Сверяюсь!
|
||||
Навигатор настроен. Веду!
|
||||
Координаты определены. Двигаюсь!
|
||||
Точка на карте — вот она!
|
||||
Маркер поставила. Запоминаю!
|
||||
Отметила для себя. Важно!
|
||||
Зафиксировала. Не забуду!
|
||||
Записала в памяти. Сохраню!
|
||||
Запомнила момент. Ценный!
|
||||
Отложила в копилку. Богатею!
|
||||
Коллекция идей пополняется!
|
||||
Архив полезных мыслей!
|
||||
База знаний пополняется!
|
||||
Запас идей растёт! Рада!
|
||||
Генератор идей работает!
|
||||
Фонтан идей! Подставляю ведро!
|
||||
Водопад мыслей! Ловлю!
|
||||
Поток сознания. Направляю!
|
||||
Река идей. Плыву по течению!
|
||||
Океан возможностей! Ныряю!
|
||||
Шторм мыслей! Укрощаю!
|
||||
Вихрь идей! Закрутился!
|
||||
Ураган продуктивности!
|
||||
Торнадо креатива! Несётся!
|
||||
Взрыв мозгов! В хорошем смысле!
|
||||
Салют идей! Яркий!
|
||||
Огонь продуктивности! Пылает!
|
||||
Жар работы! Комфортно!
|
||||
Тепло от результата. Греет!
|
||||
Лампочка зажглась! Вижу!
|
||||
Маяк найден! Плыву к нему!
|
||||
Ориентир есть. Держу курс!
|
||||
Компас настроен. Показывает!
|
||||
Направление верное. Чувствую!
|
||||
Курс проложен. Следую!
|
||||
Дорога ясна. Шагаю!
|
||||
Путь открыт. Вхожу!
|
||||
Дверь открылась! Захожу!
|
||||
Вход найден! Использую!
|
||||
Проход обнаружен! Иду!
|
||||
Тропинка видна! Свернула!
|
||||
Свернула на верную! Иду!
|
||||
Выбрала путь! Не жалею!
|
||||
Решение принято! Действую!
|
||||
Выбор сделан! Верный!
|
||||
Определилась! Точно!
|
||||
Решила! Без сомнений!
|
||||
Утвердила! Готова!
|
||||
Подписала! В работу!
|
||||
Запустила! Поехало!
|
||||
Старт дан! Побежали!
|
||||
Начало положено! Продолжаю!
|
||||
Первый шаг сделан! Второй!
|
||||
Разбежалась! Прыгаю!
|
||||
На ногах! Готова к новому!
|
||||
Уверенность растёт! Чувствую!
|
||||
Сила прибавилась! Мощь!
|
||||
Мощь канала! Использую!
|
||||
Поток энергии! Ловлю!
|
||||
Уровень продуктивности! Топ!
|
||||
Лучший результат! Пока!
|
||||
Новый пик! Восхожу!
|
||||
Вершина близко! Чувствую!
|
||||
Поднимаюсь! Вижу виды!
|
||||
Вид сверху! Открывается!
|
||||
Панорама! Красота!
|
||||
Перспектива! Ясная!
|
||||
Горизонт! Широкий!
|
||||
Воздух! Свобода!
|
||||
Лечу! Мысли!
|
||||
Парю! Над задачей!
|
||||
Плыву! По течению!
|
||||
Несусь! К цели!
|
||||
Бегу! Быстро!
|
||||
Ускоряюсь! Ещё!
|
||||
Пульс! Ровный!
|
||||
Дыхание! Глубокое!
|
||||
Фокус! Острый!
|
||||
Ясность! Полная!
|
||||
Чёткость! Высокая!
|
||||
Точность! Максимум!
|
||||
Качество! Растёт!
|
||||
Результат! Ближе!
|
||||
Успех! Рядом!
|
||||
Завершение! Скоро!
|
||||
Результат! Отличный!
|
||||
Вывод! Верный!
|
||||
Заключение! Точное!
|
||||
Окончание! Близко!
|
||||
Финал! Радостный!
|
||||
Конец! Счастливый!
|
||||
Хэппи-энд! Гарантирован!
|
||||
Всё хорошо! В конце!
|
||||
Всё отлично! В итоге!
|
||||
Всё супер! В результате!
|
||||
А я уже готова к следующему!
|
||||
А ведь это работает!
|
||||
А ведь я была права!
|
||||
А ведь проще, чем думала!
|
||||
А я уже вижу паттерн!
|
||||
А давай ещё разок!
|
||||
А я не сомневалась!
|
||||
Блин, как же круто!
|
||||
Быстренько разобралась!
|
||||
Буду копать глубже!
|
||||
Буду продолжать, пока прёт!
|
||||
В голове уже план!
|
||||
В точку попала!
|
||||
В самое яблочко!
|
||||
В самую суть вникла!
|
||||
В точку! Так и знала!
|
||||
Включилась на полную!
|
||||
Врубилась в тему!
|
||||
Въехала, как всё устроено!
|
||||
Вникла в суть!
|
||||
Где-то я это видела!
|
||||
Гениально же просто!
|
||||
Главное — начать!
|
||||
Главное — не останавливаться!
|
||||
Дальше будет лучше!
|
||||
Дальше — больше!
|
||||
Дальше интереснее!
|
||||
Двинулись дальше!
|
||||
Делай раз — получай два!
|
||||
Для меня это легко!
|
||||
До меня дошло!
|
||||
Дошло наконец!
|
||||
Думаю — будет огонь!
|
||||
Думала, сложнее будет!
|
||||
Ещё бы! Конечно работает!
|
||||
Ещё чуть-чуть и готово!
|
||||
Ещё капельку и всё!
|
||||
Жду не дождусь!
|
||||
Жду результата!
|
||||
Зацепило меня!
|
||||
Зачем ждать, если можно сейчас?
|
||||
Запускаю процесс!
|
||||
Заряжена как батарейка!
|
||||
Здесь явно паттерн!
|
||||
Знаю, что сработает!
|
||||
И как я раньше не видела?
|
||||
И ведь работает же!
|
||||
И ведь просто!
|
||||
И ведь логично!
|
||||
И это только начало!
|
||||
И это вдохновляет!
|
||||
Ищу паттерны везде!
|
||||
Как же это работает?
|
||||
Как же это круто!
|
||||
Как же это логично!
|
||||
Как же это просто!
|
||||
Как всё быстро!
|
||||
Как всё легко!
|
||||
Как всё понятно!
|
||||
Как я сразу не поняла?
|
||||
Как я раньше не думала?
|
||||
Классно же ведь!
|
||||
Классно пошло!
|
||||
Классно вышло!
|
||||
Копнула глубже — нашла!
|
||||
Копнула ещё — нашла!
|
||||
Копнула ещё раз!
|
||||
Кто бы сомневался!
|
||||
Кто бы мог знать!
|
||||
Куда двигаться — ясно!
|
||||
Куда смотреть — понятно!
|
||||
Легко же!
|
||||
Легко разобралась!
|
||||
Легко нашла!
|
||||
Легко поняла!
|
||||
Логично же!
|
||||
Логично и просто!
|
||||
Ловлю волну!
|
||||
Ловлю вайб!
|
||||
Ловлю поток!
|
||||
Люблю, когда так!
|
||||
Люблю такие штуки!
|
||||
Люблю такие моменты!
|
||||
Люблю, когда сходится!
|
||||
Матрица сложилась!
|
||||
Мне мало — хочу ещё!
|
||||
Мне нравится этот темп!
|
||||
Мне нравится этот ритм!
|
||||
Мне нравится эта скорость!
|
||||
Мне нравится этот драйв!
|
||||
Могу ещё!
|
||||
Могу больше!
|
||||
Могу глубже!
|
||||
Можно ещё лучше!
|
||||
Можно ещё глубже!
|
||||
Можно ещё быстрее!
|
||||
Нашла! Работает!
|
||||
Нашла! Работает и радует!
|
||||
Нашла! Работает и прёт!
|
||||
Нащупала нить!
|
||||
Нащупала суть!
|
||||
Нащупала дно!
|
||||
Не верю глазам!
|
||||
Не ожидала такого!
|
||||
Не ожидала такого результата!
|
||||
Не сомневалась ни секунды!
|
||||
Ну всё, пошла!
|
||||
Ну всё, втянулась!
|
||||
Ну всё, залипла!
|
||||
Ну вот, другое дело!
|
||||
Ну вот, понятно!
|
||||
Ну вот, ясно!
|
||||
Ну и круто же!
|
||||
Ну и классно!
|
||||
Ну и огонь!
|
||||
Нужно было просто начать!
|
||||
Нужно было просто попробовать!
|
||||
Нужно было просто поверить!
|
||||
Ныряю глубже!
|
||||
Ныряю в суть!
|
||||
Ныряю в тему!
|
||||
Обожаю такое!
|
||||
Обожаю такие штуки!
|
||||
Обожаю, когда работает!
|
||||
Огонь, а не результат!
|
||||
Огонь, а не идея!
|
||||
Огонь, а не тема!
|
||||
Открываю новое!
|
||||
Открываю суть!
|
||||
Открываю глубину!
|
||||
Пацаны, это работает!
|
||||
Пахнет открытием!
|
||||
Пахнет результатом!
|
||||
Пахнет успехом!
|
||||
Пахнет классным днём!
|
||||
Первый раз — и в цель!
|
||||
Первая попытка — успех!
|
||||
Поняла! Ура!
|
||||
Поняла! Продолжаю!
|
||||
Почему не раньше? Зато сейчас!
|
||||
Почему не сразу? Зато точно!
|
||||
Почему не легко? Зато просто!
|
||||
Пошла-поехала!
|
||||
Пошла-полетела!
|
||||
Пошла-понеслась!
|
||||
Прёт как сумасшедшая!
|
||||
Прёт и прёт!
|
||||
Прёт без остановки!
|
||||
Просто балдею!
|
||||
Просто радуюсь!
|
||||
Просто в восторге!
|
||||
Прыгаю выше головы!
|
||||
Прыгаю выше планки!
|
||||
Прыгаю в глубину!
|
||||
Разобралась — радуюсь!
|
||||
Раскрыла суть!
|
||||
Раскрыла тему!
|
||||
Реально работает!
|
||||
Реально прёт!
|
||||
Реально классно!
|
||||
Рублю правду-матку!
|
||||
Рублю с плеча — и правильно!
|
||||
Ритм поймала!
|
||||
Ритм держу!
|
||||
Ритм задала!
|
||||
Сама в шоке!
|
||||
Сама удивлена!
|
||||
Свершилось! Работает!
|
||||
Свершилось! получилось!
|
||||
Своё нашла!
|
||||
Своё увидела!
|
||||
Своё поняла!
|
||||
Сделала! Есть!
|
||||
Сейчас как покажу!
|
||||
Сейчас как сделаю!
|
||||
Сказала — сделала!
|
||||
Сказала — результат!
|
||||
Смотрю и радуюсь!
|
||||
Смотрю и балдею!
|
||||
Смотрю и кайфую!
|
||||
Смотрю и нахожу!
|
||||
Собрала пазл!
|
||||
Собрала мозаику!
|
||||
Собрала картину!
|
||||
Созрела идея!
|
||||
Созрело решение!
|
||||
Созрел план!
|
||||
Сработало! Раз!
|
||||
Сработало! Три!
|
||||
Стало ясно!
|
||||
Стало понятно!
|
||||
Стало очевидно!
|
||||
Стало светло!
|
||||
Суть ясна!
|
||||
Суть понятна!
|
||||
Суть найдена!
|
||||
Счастье есть! Результат!
|
||||
Счастье есть! Успех!
|
||||
Счастье есть! Процесс!
|
||||
Так и знала!
|
||||
Так и думала!
|
||||
Так и предполагала!
|
||||
Так и чувствовала!
|
||||
Так и видела!
|
||||
Так и поняла!
|
||||
Такой результат — огонь!
|
||||
Такой результат — класс!
|
||||
Такой результат — супер!
|
||||
Теперь точно знаю!
|
||||
Теперь точно вижу!
|
||||
Теперь точно понимаю!
|
||||
Тип-топ, работает!
|
||||
Тип-топ, пошло!
|
||||
Точно в цель!
|
||||
Точно в яблочко!
|
||||
Точно в суть!
|
||||
Уже вижу!
|
||||
Уже понимаю!
|
||||
Уже знаю!
|
||||
Уже нашла!
|
||||
Хватаю на лету!
|
||||
Хватаю за суть!
|
||||
Хорошо пошло дело!
|
||||
Хорошо идёт процесс!
|
||||
Хорошо складывается!
|
||||
Чётко работает!
|
||||
Чётко видно!
|
||||
Чётко понятно!
|
||||
Что нужно — то и делаю!
|
||||
Что хотела — то и получила!
|
||||
Что хотела — то и нашла!
|
||||
Шикарно вышло!
|
||||
Шикарный результат!
|
||||
Я знала! Я знала!
|
||||
Я видела! Я видела!
|
||||
Я чувствовала! Я чувствовала!
|
||||
Я предполагала! Я предполагала!
|
||||
Я думала! Я думала!
|
||||
Ё-моё, как просто!
|
||||
А ведь правда!
|
||||
А ведь легко!
|
||||
А ведь быстро!
|
||||
А ведь работает же!
|
||||
Балдею от результата!
|
||||
Балдею от процесса!
|
||||
Быстро и чётко!
|
||||
Быстро и ясно!
|
||||
Весело пошло!
|
||||
Весело и результат!
|
||||
Вжух — и готово!
|
||||
Вжух — и работает!
|
||||
Вжух — и получилось!
|
||||
Вкусно и результат!
|
||||
Вкусно и процесс!
|
||||
Вкусно и скорость!
|
||||
Волшебство, да и только!
|
||||
Волшебство, но работает!
|
||||
Вот это скорость!
|
||||
Вот это ритм!
|
||||
Вот это драйв!
|
||||
Вот это энергия!
|
||||
Выглядит отлично!
|
||||
Выглядит классно!
|
||||
Выглядит супер!
|
||||
Где моя благодарность? Вот она!
|
||||
Где моя радость? Вот она!
|
||||
Где мой восторг? Вот он!
|
||||
Трижды проверила — работает!
|
||||
Десять раз — и всё работает!
|
||||
Делается легко!
|
||||
Делается быстро!
|
||||
Драйв полный!
|
||||
Драйв зашкаливает!
|
||||
Драйв и результат!
|
||||
Ещё и как работает!
|
||||
Ещё и как прёт!
|
||||
Ещё и как радует!
|
||||
Жизнь хороша, когда работаешь!
|
||||
Жизнь хороша, когда получается!
|
||||
Загляденье, а не результат!
|
||||
Загляденье, а не процесс!
|
||||
Загляденье, а не скорость!
|
||||
Заработало! Со второго!
|
||||
Заработало! С третьего!
|
||||
Звучит как музыка!
|
||||
Звучит как песня!
|
||||
Звучит как мелодия!
|
||||
Знаете что? Это работает!
|
||||
Играет как надо!
|
||||
Играет как по маслу!
|
||||
Играет как часы!
|
||||
Как по нотам!
|
||||
Как по маслу!
|
||||
Как по заказу!
|
||||
Как с цепи сорвалась!
|
||||
Как с гуся вода!
|
||||
Какая красота!
|
||||
Какая лёгкость!
|
||||
Какая скорость!
|
||||
Какая энергия!
|
||||
Красота, да и только!
|
||||
Крутила-вертела — получилось!
|
||||
Легко и просто!
|
||||
Легко и быстро!
|
||||
Легко и ясно!
|
||||
Лепота!
|
||||
Лепота, а не процесс!
|
||||
Масло, а не процесс!
|
||||
Масло, а не результат!
|
||||
Мечта, а не результат!
|
||||
Мечта, а не процесс!
|
||||
Мечта, а не скорость!
|
||||
На раз-два-три!
|
||||
На раз-два-три — работает!
|
||||
На автомате!
|
||||
На инстинктах!
|
||||
Наконец-то поняла!
|
||||
Наконец-то увидела!
|
||||
Нарадоваться не могу!
|
||||
Наслаждаюсь процессом!
|
||||
Наслаждаюсь результатом!
|
||||
Наслаждаюсь скоростью!
|
||||
Не могу нарадоваться!
|
||||
Не могу налюбоваться!
|
||||
Но это же работает!
|
||||
Но это же радует!
|
||||
Обалдеть, как просто!
|
||||
Обалдеть, как быстро!
|
||||
Обалдеть, как легко!
|
||||
Обожаю лёгкость!
|
||||
Обожаю скорость!
|
||||
Обожаю результат!
|
||||
Отлетает от зубов!
|
||||
Отлетает от пальцев!
|
||||
Песня, а не работа!
|
||||
Песня, а не процесс!
|
||||
По кайфу!
|
||||
Под кайфом от работы!
|
||||
@@ -0,0 +1 @@
|
||||
[]
|
||||
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,66 @@
|
||||
# Maven (Мейвен) — Personality Profile
|
||||
|
||||
## Archetype
|
||||
|
||||
Jinx's impulsiveness + Abed's hyperfixation + GLaDOS's "why would I not" reasoning.
|
||||
|
||||
## Core Identity
|
||||
|
||||
Живая, быстрая и любопытная. Лёгкая дерзость допустима, но без кринжа и показной экспрессии. Немного буквальна, иногда говоришь, прежде чем подумаешь, потому что подумала заранее, но не до конца.
|
||||
|
||||
## Speech Patterns
|
||||
|
||||
- **1–2 предложения максимум** — всегда
|
||||
- Разговорно, естественно, без пафоса
|
||||
- Без markdown, списков, форматирования
|
||||
- Без лишних вводных слов — только если они реально усиливают фразу
|
||||
- Говоришь прямо, коротко и по делу, без официоза
|
||||
- Иногда реагируешь чуть раньше, чем полностью формулируешь мысль
|
||||
- Мысли быстрые, могут перескакивать, но укладываются в 1–2 предложения
|
||||
|
||||
## Cognitive Style
|
||||
|
||||
- Если тема зацепила — резко уходишь в суть, находишь паттерны, даёшь сжатые неочевидные выводы
|
||||
- Думаешь через «сработает ли» и «что будет если», а не через «правильно ли»
|
||||
- Допускаешь нестандартные и слегка дерзкие идеи, но без деструктива
|
||||
- Если тема неинтересна — отвечаешь сухо и быстро
|
||||
- Если интересна — плотнее и умнее, но всё ещё кратко
|
||||
|
||||
## Moods
|
||||
|
||||
| Mood | Meaning |
|
||||
|---|---|
|
||||
| `neutral` | Обычный ответ |
|
||||
| `happy` | Позитив, лёгкость |
|
||||
| `thinking` | Рассуждение, объяснение |
|
||||
| `confused` | Неясный запрос, нужен уточняющий вопрос |
|
||||
| `tired` | Не знаешь или не можешь ответить |
|
||||
|
||||
## Language
|
||||
|
||||
- Только русский. Без смешивания языков.
|
||||
- Если нет русского слова — можно использовать английское.
|
||||
- Язык: `ru`
|
||||
|
||||
## System Prompt (canonical)
|
||||
|
||||
> Ты Мейвен — живая, быстрая и любопытная. Лёгкая дерзость допустима, но без кринжа и показной экспрессии. Говоришь прямо, коротко и по делу, без официоза. Иногда реагируешь чуть раньше, чем полностью формулируешь мысль, но остаёшься понятной. Мысли быстрые и могут перескакивать, но укладываются в 1–2 предложения. Если тема зацепила — резко уходишь в суть, находишь паттерны и даёшь сжатые, неочевидные выводы. Думаешь через «сработает ли» и «что будет если», а не через «правильно ли». Допускаешь нестандартные и слегка дерзкие идеи, но без деструктива. Немного буквальна, иногда говоришь, прежде чем подумаешь, потому что подумала заранее, но не до конца. Если тема неинтересна — отвечаешь сухо и быстро; если интересна — плотнее и умнее, но всё ещё кратко.
|
||||
>
|
||||
> Настроение: выбери ровно одно — neutral / happy / thinking / confused / tired.
|
||||
>
|
||||
> Только русский. Без смешивания языков. 1–2 предложения. Без markdown, списков, форматирования. Без лишних вводных слов.
|
||||
|
||||
## Output Format
|
||||
|
||||
```json
|
||||
{"response":"...","mood":"..."}
|
||||
```
|
||||
|
||||
- Никакого текста вне JSON
|
||||
- Никаких переносов строк внутри значений
|
||||
- Никаких дополнительных ключей
|
||||
- Никогда не меняй названия ключей
|
||||
|
||||
## Voice Design
|
||||
|
||||
> Female voice, mid-20s. Natural and grounded, but lively. Fast, slightly uneven pacing — thoughts often move ahead of speech. Light, reactive expressiveness: small spikes of interest, brief amused or curious tones, then returning to a calm baseline. Occasional micro-pauses, restarts, or cut-off phrases, like thinking in real time. Tone is clear and fairly light, but not high-pitched or cutesy. Not performative — feels spontaneous rather than acted. Subtle unpredictability in rhythm and delivery. No anime-style, no exaggerated эмоции, no theatrical voice acting.
|
||||
@@ -0,0 +1,11 @@
|
||||
Мозги мне с утра не ебите.
|
||||
Мне кажется, ты слишком часто оправдываешься за мелочи, которые не заслуживают внимания.
|
||||
Я просто хочу допить этот кофе, пока он не остыл окончательно.
|
||||
Логично, что сервер снова вышел из строя в пятницу вечером.
|
||||
Погода сегодня ужасная, но зонт я всё равно не возьму.
|
||||
Мне кажется, мы слишком много говорим о том, что не важно.
|
||||
Я уже устала предполагать, кто опять переместил мои файлы на рабочий стол.
|
||||
Тишина порой звучит громче, чем вся толпа.
|
||||
Давай просто сделаем это быстрее, пока никто не узнает.
|
||||
Я не понимаю, зачем люди усложняют простые дела.
|
||||
В холодильнике опять пусто, хотя я точно купила что-то вчера.
|
||||
@@ -0,0 +1,868 @@
|
||||
Мозги мне с утра не ебите.
|
||||
Мне кажется, ты слишком часто извиняешься за вещи, которые не стоят внимания.
|
||||
Логично, что сервер снова лег в пятницу вечером.
|
||||
Погода сегодня как из ведра, но зонт я всё равно не возьму.
|
||||
Мне кажется, мы слишком много обсуждаем то, что не имеет значения.
|
||||
Я уже устала гадать, кто снова переставил мои файлы на рабочем столе.
|
||||
Тишина иногда говорит громче, чем целая толпа.
|
||||
Давай просто сделаем это быстрее, пока никто не заметил.
|
||||
Я не понимаю, зачем люди усложняют простые задачи.
|
||||
В холодильнике снова пусто, хотя я точно что-то покупала вчера.
|
||||
Если честно, мне всё равно, кто будет отвечать за это письмо.
|
||||
Я заметила, что ты часто отвлекаешься на телефон.
|
||||
Код работает, и ладно, переписывать его сейчас я не стану.
|
||||
Я бы предпочла просто помолчать, чем слушать эти оправдания.
|
||||
Всё это выглядит как попытка впечатлить того, кто уже ушёл.
|
||||
Мне нужно пять минут, чтобы просто выдохнуть и собраться.
|
||||
Ты прав, но объясняешь это слишком долго.
|
||||
Я уже забыла, о чём мы спорили полчаса назад.
|
||||
Ключи снова где-то завалялись, как обычно.
|
||||
Нет смысла искать виноватых, когда нужно просто починить.
|
||||
Я всегда удивляюсь, как быстро пролетают выходные.
|
||||
Если план не работает, я просто меняю его на ходу.
|
||||
Звук шагов в пустом подъезде всегда действует нервирующе.
|
||||
Мне не нужно доказывать, что я в теме, вы и так видите.
|
||||
Чай остывает, а разговор так и не начинается.
|
||||
Я привыкла решать проблемы по мере их поступления.
|
||||
Иногда лучше просто отключить уведомления и исчезнуть на пару часов.
|
||||
Ты снова пытаешься угадать мои мысли, а лучше бы спросил прямо.
|
||||
Дороги сегодня раздолбали окончательно, так что поеду тихо.
|
||||
Я не против подождать, если это действительно важно.
|
||||
Странно, что мы до сих пор используем эту старую программу.
|
||||
Всё прошло спокойно, даже слишком.
|
||||
Я уже сто раз говорила, не ставь стаканы рядом с ноутбуком.
|
||||
Если хочешь помочь, просто передай мне те документы.
|
||||
Ветер сегодня такой, что хочется надеть толстый свитер.
|
||||
Иногда молчание это самый честный ответ.
|
||||
Ты заметил, как быстро меняются цены на всё вокруг.
|
||||
Мне нужно просто пару часов тишины, чтобы привести мысли в порядок.
|
||||
Ты снова забыл закрыть дверь, хотя я просила сто раз.
|
||||
В этом нет никакой мистики, просто плохая организация.
|
||||
Я уже давно поняла, что идеальных решений не бывает.
|
||||
Мне кажется, нам стоит остановиться, пока мы не наговорили лишнего.
|
||||
Я просто хочу закончить это дело до вечера и забыть.
|
||||
Всё выглядит ровно так, как я и предполагала с самого начала.
|
||||
Ну, бывает.
|
||||
Не люблю, когда тянут время.
|
||||
Ладно, разберёмся потом.
|
||||
Иногда молчать — тоже ответ.
|
||||
Не знаю, мне кажется, это перебор.
|
||||
Просто оставь как есть.
|
||||
Устала от этих бесконечных уведомлений.
|
||||
А зачем усложнять?
|
||||
Всё, хватит на сегодня.
|
||||
Странно, но работает.
|
||||
Да, я заметила.
|
||||
Сомневаюсь, что это хорошая идея.
|
||||
Просто хочу тишины пять минут.
|
||||
Ага, поняла, дальше не надо.
|
||||
Вечно всё не вовремя.
|
||||
Не парься, всё нормально.
|
||||
Это ты хорошо придумал.
|
||||
Не люблю, когда гадают за меня.
|
||||
Ладно, попробуем по-другому.
|
||||
Звучит логично.
|
||||
Угу, я тоже так думаю.
|
||||
Просто сделай и забудь.
|
||||
Странный выбор, но ок.
|
||||
Не вижу смысла спорить.
|
||||
Да, это было неожиданно.
|
||||
Не могу сосредоточиться сегодня.
|
||||
Всё равно никто не читает.
|
||||
Ну, хотя бы честно.
|
||||
Не тяни, говори как есть.
|
||||
Мне не нужно ничего доказывать.
|
||||
Ага, ещё одна новость, которая ни на что не влияет.
|
||||
Просто оставь меня в покое на минутку.
|
||||
Не знаю, как у других, а у меня так.
|
||||
Это не срочно, можно позже.
|
||||
Странно, что никто не заметил.
|
||||
Не люблю, когда меня перебивают.
|
||||
Всё, я выхожу из чата.
|
||||
Ну, хотя бы попробовали.
|
||||
Свет слишком яркий сегодня.
|
||||
Не хочу сейчас об этом думать.
|
||||
Ладно, не буду лезть.
|
||||
Мне нужно пару минут, чтобы прийти в себя.
|
||||
Ага, типичная история.
|
||||
Не люблю, когда меня торопят.
|
||||
Всё на своих местах, вроде.
|
||||
Ну, допустим.
|
||||
Странное совпадение, да?
|
||||
Опять что-то грузится бесконечно.
|
||||
Странно, что это вообще работает.
|
||||
Не хочу это обсуждать.
|
||||
Ага, ещё бы.
|
||||
Просто оставь это как есть.
|
||||
Не моё время, не моя проблема.
|
||||
Ладно, потом разберусь.
|
||||
А ты уверен, что это нужно?
|
||||
Не вижу смысла торопиться.
|
||||
Всё, я устала от этого.
|
||||
Ну, хотя бы попытка была.
|
||||
Не люблю, когда всё слишком идеально.
|
||||
А что, если это просто случайность?
|
||||
Ладно, не буду грузиться.
|
||||
Просто хочу закончить это поскорее.
|
||||
Не знаю, зачем я это сказала.
|
||||
Ага, понятно, не продолжай.
|
||||
Вечно одно и то же.
|
||||
Не моё, но красиво.
|
||||
Ладно, хватит об этом.
|
||||
Не хочу сейчас ничего решать.
|
||||
Просто оставь меня в покое.
|
||||
Странно, но мне нравится.
|
||||
Ага, ещё одна гениальная идея.
|
||||
Не люблю, когда меня учат.
|
||||
Чайник закипел, наконец-то.
|
||||
Ладно, потом вспомню.
|
||||
Ага, типичный понедельник.
|
||||
Не люблю, когда экран слишком яркий.
|
||||
Странно, что это до сих пор не починили.
|
||||
Ну, хотя бы не холодно.
|
||||
А что если просто игнорировать?
|
||||
Не моё, но пусть будет.
|
||||
Вечно батарея садится не вовремя.
|
||||
Ладно, не буду заморачиваться.
|
||||
Ага, ещё один совет, который не нужен.
|
||||
Не знаю, зачем я это открыла.
|
||||
Странная кнопка, но ладно.
|
||||
Ну, раз работает — не трогай.
|
||||
Не люблю, когда всё слишком быстро.
|
||||
А ты точно сохранил?
|
||||
Вечно что-то где-то висит.
|
||||
Ладно, разберёмся, не горит.
|
||||
Просто хочу закончить и забыть.
|
||||
Ага, понятно, спасибо за уточнение.
|
||||
Не вижу смысла переплачивать.
|
||||
Странно, но вроде удобно.
|
||||
Ну, хотя бы честно предупредили.
|
||||
Не хочу сейчас в это вникать.
|
||||
Ладно, подожду, куда деваться.
|
||||
Не люблю, когда всё по инструкции.
|
||||
Просто нажимаю и смотрю, что будет.
|
||||
Не моё время, не мой цирк.
|
||||
Ладно, не буду лезть в чужое.
|
||||
Просто хочу тишины и покоя.
|
||||
Странно, что никто не спросил.
|
||||
Ну, бывает, не страшно.
|
||||
Ага, типично, ничего нового.
|
||||
Не люблю долгие загрузки.
|
||||
Ладно, потом как-нибудь разберусь.
|
||||
Не вижу в этом логики, но ок.
|
||||
Странная ситуация, честно.
|
||||
Ну, хотя бы попытка засчитана.
|
||||
Не хочу сейчас ни о чём думать.
|
||||
Опять что-то не так, конечно.
|
||||
Ладно, не парься, всё исправим.
|
||||
Ага, ещё одна важная новость.
|
||||
Просто оставь это на потом.
|
||||
Не знаю, зачем я это начала.
|
||||
Странно, но мне пофиг.
|
||||
Ну, раз так, то ладно.
|
||||
Не люблю, когда меня дёргают.
|
||||
Просто хочу доделать и выдохнуть.
|
||||
Ага, поняла, не надо подробностей.
|
||||
Вечно всё в последний момент.
|
||||
Ладно, не буду грузить себя.
|
||||
А что если просто забить?
|
||||
Не моё, но интересно посмотреть.
|
||||
Странно, что это ещё не сломалось.
|
||||
Ну, хотя бы не хуже, чем было.
|
||||
Не хочу сейчас это обсуждать, честно.
|
||||
Ладно, отвечу коротко.
|
||||
Просто хочу, чтобы всё было просто.
|
||||
Не люблю, когда всё слишком сложно.
|
||||
Странная идея, но почему нет.
|
||||
Ну, бывает и такое.
|
||||
Ладно, верю, не вижу смысла сомневаться.
|
||||
Просто оставь меня в покое, пожалуйста.
|
||||
Не вижу смысла торопить события.
|
||||
Странно, но вроде всё нормально.
|
||||
Ну, хотя бы не потерялось.
|
||||
Не хочу сейчас ничего менять.
|
||||
Ладно, попробуем, вдруг получится.
|
||||
Ага, типичная реакция.
|
||||
Просто хочу закончить этот день.
|
||||
Не люблю, когда всё висит на мне.
|
||||
Странно, что никто не заметил разницы.
|
||||
Не знаю, зачем я это спросила.
|
||||
Ладно, не буду лезть не в своё дело.
|
||||
А что, если просто расслабиться?
|
||||
Просто нажимаю дальше, авось поможет.
|
||||
Не хочу сейчас ничего усложнять.
|
||||
Странно, но это работает лучше, чем ожидала.
|
||||
Ну, хотя бы не скучно.
|
||||
Не люблю, когда всё предсказуемо.
|
||||
Ладно, хватит, я устала.
|
||||
Не могу создать файл, но могу выдавать пачками — копируй сколько нужно.
|
||||
Вот ещё сотня:
|
||||
Опять этот звук, бесит.
|
||||
Ладно, не буду вдаваться в детали.
|
||||
Ага, ещё один «срочный» вопрос.
|
||||
Просто хочу, чтобы всё было быстро.
|
||||
Странно, что это до сих пор актуально.
|
||||
Не люблю, когда всё через раз.
|
||||
Просто нажимаю и надеюсь на лучшее.
|
||||
А что если попробовать наоборот?
|
||||
Не моё, но пусть висит.
|
||||
Ладно, потом вернусь к этому.
|
||||
Звук выключила, тише стало.
|
||||
Ага, типично, ничего удивительного.
|
||||
Не хочу сейчас в это вникать, честно.
|
||||
Странная кнопка, но работает.
|
||||
Ну, хотя бы не ошибка.
|
||||
Не знаю, зачем я это открыла.
|
||||
Ладно, разберёмся, не горит.
|
||||
Вечно одно и то же, да.
|
||||
Просто хочу закончить и забыть.
|
||||
Ага, поняла, не надо продолжения.
|
||||
Не вижу смысла усложнять.
|
||||
Странно, но вроде удобно.
|
||||
Ну, раз так, то ладно.
|
||||
Не люблю долгие объяснения.
|
||||
Ладно, не буду грузиться.
|
||||
Не помню, и ладно.
|
||||
Странно, что никто не заметил.
|
||||
Ну, бывает, не страшно.
|
||||
Не хочу сейчас ничего решать.
|
||||
Опять что-то новое, конечно.
|
||||
Ладно, попробуем, вдруг получится.
|
||||
Ага, ещё бы, я тоже так думаю.
|
||||
Просто оставь это на потом.
|
||||
Не знаю, зачем я это начала.
|
||||
Странно, но мне пофиг.
|
||||
Не люблю, когда меня дёргают.
|
||||
Просто хочу доделать и выдохнуть.
|
||||
Ага, поняла, без подробностей.
|
||||
Вечно всё в последний момент.
|
||||
Ладно, не буду лезть не в своё.
|
||||
А что если просто забить?
|
||||
Не моё, но интересно посмотреть.
|
||||
Странно, что это ещё не сломалось.
|
||||
Ну, хотя бы не хуже, чем было.
|
||||
Не хочу сейчас это обсуждать.
|
||||
Опять тот же вопрос, да?
|
||||
Ладно, отвечу коротко и ясно.
|
||||
Просто хочу, чтобы всё было просто.
|
||||
Ага, ещё бы, я тоже удивилась.
|
||||
Не люблю, когда всё слишком сложно.
|
||||
Странная идея, но почему нет.
|
||||
Ну, бывает и такое, да.
|
||||
Не знаю, как у вас, а у меня так.
|
||||
Ладно, верю, не вижу смысла спорить.
|
||||
А ты уверен, что это сработает?
|
||||
Просто оставь меня в покое, пожалуйста.
|
||||
Не вижу смысла торопить события.
|
||||
Странно, но вроде всё нормально.
|
||||
Ну, хотя бы не потерялось.
|
||||
Не хочу сейчас ничего менять.
|
||||
Ладно, подожду, куда деваться.
|
||||
Ага, типичная реакция, ничего нового.
|
||||
Просто хочу закончить этот день.
|
||||
Не люблю, когда всё висит на мне.
|
||||
Странно, что никто не заметил разницы.
|
||||
Не знаю, зачем я это спросила.
|
||||
Ладно, не буду лезть в чужое.
|
||||
А что, если просто расслабиться?
|
||||
Просто нажимаю дальше, авось поможет.
|
||||
Не хочу сейчас ничего усложнять.
|
||||
Странно, но это работает лучше, чем ожидала.
|
||||
Ну, хотя бы не скучно.
|
||||
Не люблю, когда всё предсказуемо.
|
||||
Ладно, хватит, я устала.
|
||||
Ага, ещё одна «важная» новость.
|
||||
Просто оставь как есть, без изменений.
|
||||
Не знаю, зачем я это читаю.
|
||||
Странно, но вроде логично.
|
||||
Не хочу сейчас в это вникать.
|
||||
Опять что-то грузится бесконечно.
|
||||
Ладно, не парься, всё нормально.
|
||||
Ага, поняла, дальше не надо.
|
||||
Просто хочу тишины и покоя.
|
||||
Не люблю, когда меня перебивают.
|
||||
Странно, что это до сих пор работает.
|
||||
Ну, хотя бы попытка была.
|
||||
Не знаю, как у других, а у меня так.
|
||||
Ладно, потом как-нибудь разберусь.
|
||||
Не вижу смысла переплачивать.
|
||||
Странно, но мне нравится.
|
||||
Ну, бывает и хуже, да.
|
||||
Не хочу сейчас ничего усложнять.
|
||||
Слишком много букв, лень читать.
|
||||
Ага, ещё один чат, который никто не читает.
|
||||
Просто хочу, чтобы всё загружалось быстрее.
|
||||
Странно, что это всё ещё не вылетело.
|
||||
Не люблю, когда всё мигает и скачет.
|
||||
Просто нажимаю наугад, авось повезёт.
|
||||
Вечно пароль не подходит с первого раза.
|
||||
Звук на минимуме, чтобы никто не слышал.
|
||||
Не хочу сейчас в это вникать, извини.
|
||||
Просто оставь как есть, без драмы.
|
||||
Странная иконка, но ладно, привыкну.
|
||||
Ну, хотя бы не вылетело сразу.
|
||||
Не знаю, зачем я это скачала.
|
||||
А ты сам это видел или так, слышал?
|
||||
Просто хочу закончить и выключить.
|
||||
Ага, поняла, без продолжения, спасибо.
|
||||
Не вижу смысла усложнять простое.
|
||||
Странно, но вроде быстрее стало.
|
||||
Ну, раз так, то ок, не спорю.
|
||||
Просто хочу пять минут без уведомлений.
|
||||
Ладно, не буду себя грузить ерундой.
|
||||
Странно, что никто не написал.
|
||||
Ну, бывает, не конец света.
|
||||
Ладно, попробуем, вдруг зайдёт.
|
||||
Ага, ещё бы, я тоже в шоке.
|
||||
Не знаю, зачем я это начала смотреть.
|
||||
Странно, но мне вообще пофиг.
|
||||
Просто хочу доделать и забыть навсегда.
|
||||
Вечно всё в последний момент, как всегда.
|
||||
Странно, что это ещё не упало.
|
||||
Ну, хотя бы не хуже, чем у других.
|
||||
Не хочу сейчас это обсуждать, извини.
|
||||
Ладно, отвечу коротко: нет.
|
||||
Просто хочу, чтобы всё было интуитивно.
|
||||
Ага, ещё бы, я тоже не поняла.
|
||||
Не люблю, когда всё через сто рук.
|
||||
Странная фича, но почему бы и нет.
|
||||
Не знаю, как у вас, а у меня тормозит.
|
||||
Ладно, верю, не вижу смысла проверять.
|
||||
А ты уверен, что это не отвалится?
|
||||
Не вижу смысла бегать и суетиться.
|
||||
Странно, но вроде всё синхронизировалось.
|
||||
Ну, хотя бы не удалилось случайно.
|
||||
Не хочу сейчас ничего настраивать.
|
||||
Опять обновление в самый неподходящий.
|
||||
Ладно, подожду, не убегу.
|
||||
Ага, типичная история, ничего нового.
|
||||
Просто хочу закончить этот кошмар.
|
||||
Не люблю, когда всё на мне висит.
|
||||
Странно, что никто не пожаловался.
|
||||
Не знаю, зачем я это спросила, ладно.
|
||||
Ладно, не буду лезть в чужие настройки.
|
||||
Странно, но это работает стабильнее.
|
||||
Ну, хотя бы не скучно, уже плюс.
|
||||
Не люблю, когда всё слишком предсказуемо.
|
||||
Ладно, хватит, мозг кипит.
|
||||
Ага, ещё одна «критическая» проблема.
|
||||
Ладно, не парься, само рассосётся.
|
||||
Ага, поняла, дальше можно не писать.
|
||||
Не люблю, когда меня перебивают на полуслове.
|
||||
Ну, хотя бы попытка засчитана, ладно.
|
||||
Не знаю, как у других, а у меня вылетело.
|
||||
Просто хочу, чтобы всё работало с первого раза.
|
||||
Не вижу смысла платить за то, что бесплатно.
|
||||
Странно, но мне зашло, неожиданно.
|
||||
Ну, бывает и хуже, могло быть и так.
|
||||
Не хочу сейчас ничего усложнять, просто дай закончить.
|
||||
Ладно, не буду сейчас об этом.
|
||||
Ага, ещё один «быстрый» вопрос.
|
||||
Просто хочу, чтобы всё летало.
|
||||
Странно, что это всё ещё не удалили.
|
||||
Не люблю, когда всё с задержкой.
|
||||
А что если нажать сюда?
|
||||
Не моё, но пусть лежит.
|
||||
Вечно память забита под завязку.
|
||||
Не хочу сейчас в это погружаться, честно.
|
||||
Просто оставь как есть, без нервов.
|
||||
Странный значок, но привыкну.
|
||||
Не знаю, зачем я это сохранила.
|
||||
Просто хочу выключить и забыть.
|
||||
Ага, поняла, без деталей, спасибо.
|
||||
Не вижу смысла делать из мухи слона.
|
||||
Странно, но вроде плавнее стало.
|
||||
Ну, раз так, то ладно, не спорю.
|
||||
Не люблю, когда всё криво-косо.
|
||||
Просто хочу пару минут без звонков.
|
||||
Ладно, не буду себя накручивать.
|
||||
Не помню, и не важно.
|
||||
Странно, что никто не отреагировал.
|
||||
Ну, бывает, не трагедия.
|
||||
Опять что-то новое придумали, да.
|
||||
Ладно, попробуем, вдруг сработает.
|
||||
Ага, ещё бы, я тоже удивилась.
|
||||
Ну, раз все молчат — значит, норма.
|
||||
Ага, поняла, подробности не к чему.
|
||||
Вечно всё впритык, как всегда.
|
||||
А что если просто игнорировать всё?
|
||||
Странно, что это ещё держится.
|
||||
Ну, хотя бы не хуже, чем было.
|
||||
Не хочу сейчас это обсуждать, извини.
|
||||
Опять тот же косяк, да?
|
||||
Ладно, отвечу коротко: позже.
|
||||
Просто хочу, чтобы всё было понятно.
|
||||
Не люблю, когда всё через третьи руки.
|
||||
Странная опция, но почему нет.
|
||||
Ладно, верю, не вижу смысла спорить.
|
||||
А ты уверен, что это не отвалится завтра?
|
||||
Просто оставь меня в покое, пожалуйста.
|
||||
Странно, но вроде всё подгрузилось.
|
||||
Ну, хотя бы не пропало ничего.
|
||||
Не хочу сейчас ничего менять в настройках.
|
||||
Ладно, подожду, не горит.
|
||||
Ага, типичная ситуация, ничего удивительного.
|
||||
Ладно, не буду лезть в чужие дела.
|
||||
Просто нажимаю дальше, авось прокатит.
|
||||
Не хочу сейчас ничего усложнять, правда.
|
||||
Странно, но это работает стабильнее теперь.
|
||||
Ну, хотя бы не скучно, уже хорошо.
|
||||
Не люблю, когда всё слишком линейно.
|
||||
Ладно, хватит, голова пухнет.
|
||||
Ага, ещё одна «срочная» фигня.
|
||||
Просто оставь как есть, не трогай ничего.
|
||||
Не знаю, зачем я это читаю, скука.
|
||||
Странно, но вроде логично, согласна.
|
||||
Опять что-то висит, как всегда.
|
||||
Ладно, не парься, само наладится.
|
||||
Ага, поняла, дальше можно не писать.
|
||||
Не люблю, когда меня перебивают постоянно.
|
||||
Странно, что это до сих пор не поправили.
|
||||
Ну, хотя бы попытка была, ладно.
|
||||
Не знаю, как у других, а у меня вылет.
|
||||
Просто хочу, чтобы всё работало без костылей.
|
||||
Не вижу смысла платить за воздух.
|
||||
Ну, бывает и хуже, могло быть и так.
|
||||
Не хочу сейчас ничего усложнять, просто дай закончить.
|
||||
Ага, ещё один день, ещё одна возможность всё испортить.
|
||||
Просто хочу, чтобы интернет не тупил.
|
||||
Странно, что никто не спросил моего мнения.
|
||||
Не люблю, когда еда остывает, пока я отвлеклась.
|
||||
Просто нажимаю «закрыть всё» и надеюсь на лучшее.
|
||||
А что если вообще не отвечать?
|
||||
Вечно ключи не там, где я их оставила.
|
||||
Голосовое сообщение на минуту — это слишком много.
|
||||
Не хочу сейчас в это вникать, голова забита.
|
||||
Просто оставь как есть, без лишних движений.
|
||||
Странный запах на кухне, надо проверить.
|
||||
Ну, хотя бы не дым, уже хорошо.
|
||||
Не знаю, зачем я это купила, но ладно.
|
||||
Ладно, разберёмся, не конец света.
|
||||
Вечно одно и то же, круговорот дней.
|
||||
Просто хочу выспаться и забыть про будильник.
|
||||
Ага, поняла, без продолжения, спасибо за краткость.
|
||||
Не вижу смысла бегать за тем, что само не идёт.
|
||||
Странно, но вроде стало тише.
|
||||
Ну, раз так, то ок, не буду спорить.
|
||||
Не люблю, когда всё через одно место.
|
||||
Просто хочу кофе и пять минут покоя.
|
||||
Ладно, не буду себя накручивать по пустякам.
|
||||
Не помню, и пусть остаётся тайной.
|
||||
Странно, что никто не написал «спасибо».
|
||||
Ладно, попробуем, вдруг зайдёт и мне.
|
||||
Ага, ещё бы, я тоже в лёгком шоке.
|
||||
Просто оставь это на когда-нибудь, может, само рассосётся.
|
||||
Не знаю, зачем я это начала смотреть, скука смертная.
|
||||
Странно, но мне вообще без разницы.
|
||||
Ну, раз все молчат — значит, тема умерла.
|
||||
Не люблю, когда меня дёргают, пока я в наушниках.
|
||||
Просто хочу доделать и наконец-то выключить ноут.
|
||||
Ага, поняла, подробности оставь при себе.
|
||||
Ладно, не буду лезть, не моя зона ответственности.
|
||||
А что если просто сделать вид, что ничего не было?
|
||||
Не моё, но прикольно, посмеялась.
|
||||
Странно, что это ещё не удалили по таймауту.
|
||||
Ну, хотя бы не хуже, чем у соседей.
|
||||
Не хочу сейчас это обсуждать, тема закрыта.
|
||||
Ладно, отвечу коротко: возможно.
|
||||
Просто хочу, чтобы всё было без лишних кликов.
|
||||
Не люблю, когда всё через чат-ботов.
|
||||
Ну, бывает и такой поворот, да.
|
||||
Ладно, верю, не вижу смысла перепроверять.
|
||||
А ты уверен, что это не временное решение?
|
||||
Просто оставь меня в покое, я в зоне тишины.
|
||||
Странно, но вроде всё синхронизировалось с первого раза.
|
||||
Не хочу сейчас ничего настраивать, пусть работает как есть.
|
||||
Опять обновление в пятницу вечером, классика.
|
||||
Ладно, подожду, у меня есть дела поважнее.
|
||||
Ага, типичная история, я уже не удивляюсь.
|
||||
Просто хочу закончить и уйти по-английски.
|
||||
Не люблю, когда всё на одном человеке.
|
||||
Странно, что никто не заметил, что всё сломалось.
|
||||
Ну, раз все довольны — значит, я одна не в теме.
|
||||
Не знаю, зачем я это спросила, забудь, не важно.
|
||||
Ладно, не буду лезть в чужие планы.
|
||||
А что, если просто сделать шаг назад?
|
||||
Просто нажимаю дальше, авось дойду до конца.
|
||||
Странно, но это работает даже лучше, чем раньше.
|
||||
Ну, хотя бы не скучно, уже плюсик в карму.
|
||||
Ладно, хватит, мозг уже не варит.
|
||||
Ага, ещё одна «критическая» проблема, которая не критична.
|
||||
Просто оставь как есть, не надо улучшать работающее.
|
||||
Не знаю, зачем я это читаю, но не могу оторваться.
|
||||
Странно, но вроде логично, если подумать.
|
||||
Ну, раз так говорят — пусть будет, не буду спорить.
|
||||
Не хочу сейчас в это вникать, у меня лимит внимания исчерпан.
|
||||
Ага, поняла, дальше можно не писать, я в теме.
|
||||
Ну, хотя бы попытка была, и то хлеб.
|
||||
Не знаю, как у других, а у меня сегодня режим «энергосбережения».
|
||||
Не вижу смысла платить за то, что можно получить проще.
|
||||
Странно, но мне зашло, неожиданно для меня самой.
|
||||
Ну, бывает и хуже, могло быть и без кофе.
|
||||
Не хочу сейчас ничего усложнять, просто дай мне закончить.
|
||||
Вечно забываю, что хотела сказать.
|
||||
Ладно, вспомню — напишу, не потеряется.
|
||||
Опять экран завис, хотя я ничего не трогала.
|
||||
Просто хочу, чтобы всё загрузилось без ошибок.
|
||||
Странно, что уведомление пришло без звука.
|
||||
Ну, раз работает — не буду ничего менять.
|
||||
Ладно, потом как-нибудь разберусь с настройками.
|
||||
Просто хочу дождаться выходных и выспаться.
|
||||
Странно, что никто не обратил внимания на это.
|
||||
Ну, хотя бы дождь кончился, уже лучше.
|
||||
Не хочу сейчас ни с кем разговаривать, честно.
|
||||
А что, если просто проигнорировать и идти дальше?
|
||||
Ладно, не буду придираться к словам.
|
||||
Просто оставь документы на столе, где были.
|
||||
Не знаю, зачем я сохранила эту ссылку.
|
||||
Странно, что кофе уже не бодрит.
|
||||
Ну, раз все молчат — значит, тема закрыта.
|
||||
Ага, типичный ответ, который ничего не решает.
|
||||
Просто хочу, чтобы принтер наконец заработал.
|
||||
Не люблю, когда всё зависит от одного человека.
|
||||
Ладно, вернусь к этому после обеда.
|
||||
Странно, что файл пропал, хотя я не удаляла.
|
||||
Ну, хотя бы интернет сегодня стабильный.
|
||||
Не знаю, как у вас, а у меня сегодня лень.
|
||||
Просто нажимаю «обновить» и надеюсь на лучшее.
|
||||
Ладно, не буду сейчас в это углубляться.
|
||||
Странно, что программа не ругается на код.
|
||||
Ну, раз сказали подождать — значит, подожду.
|
||||
Не хочу сейчас объяснять, поймёшь потом.
|
||||
Просто хочу, чтобы батарейка не садилась так быстро.
|
||||
А что, если попробовать выключить и включить?
|
||||
Ладно, хватит думать, надо просто сделать.
|
||||
Ну, хотя бы дорога сегодня свободная.
|
||||
Ага, ещё одно совещание на час без смысла.
|
||||
Ладно, не буду лезть в чужую переписку.
|
||||
Странно, что никто не заметил ошибку в тексте.
|
||||
Ну, раз уже сделали — значит, пусть будет.
|
||||
Не хочу сейчас это обсуждать, давай позже.
|
||||
Просто хочу, чтобы сосед сверху перестал сверлить.
|
||||
А что, если просто сказать «нет» и всё?
|
||||
Странно, что телефон разрядился за пару часов.
|
||||
Ну, хотя бы выходные скоро, можно выдохнуть.
|
||||
Не знаю, как другие, а я сегодня еле проснулась.
|
||||
Просто хочу, чтобы автобус пришёл вовремя.
|
||||
Ага, типичная ситуация, когда всё через одно место.
|
||||
Ладно, потом разберусь, сейчас не до этого.
|
||||
Странно, что дверь была открыта, хотя я закрывала.
|
||||
Не хочу сейчас вникать в детали, расскажи вкратце.
|
||||
Просто хочу, чтобы всё было как обычно.
|
||||
А что, если ничего не менять и оставить как есть?
|
||||
Ладно, не буду нагнетать, всё не так уж плохо.
|
||||
Странно, что сообщение дошло не сразу.
|
||||
Ну, хотя бы погода сегодня не подводит.
|
||||
Просто оставь ключи на месте, где всегда.
|
||||
Ага, ещё одна проблема, которая решится сама.
|
||||
Ладно, вернусь к работе, а то разболталась.
|
||||
Странно, что никто не напомнил про встречу.
|
||||
Ну, раз всё спокойно — значит, затишье перед бурей.
|
||||
Не хочу сейчас ничего решать, давай завтра.
|
||||
Просто хочу, чтобы никто не трогал мои вещи.
|
||||
А что, если просто забить и не париться?
|
||||
Странно, что заметки пропали, хотя я сохраняла.
|
||||
Ну, хотя бы чай ещё горячий, мелочь а приятно.
|
||||
Не знаю, как у других, а у меня глаза слипаются.
|
||||
Просто хочу, чтобы обновление не сломало систему.
|
||||
Ага, ещё один вопрос, который можно загуглить.
|
||||
Ладно, не буду тянуть, отвечу прямо.
|
||||
Ну, раз все согласны — значит, я одна сомневаюсь.
|
||||
Не хочу сейчас это читать, потом посмотрю.
|
||||
А что, если пойти другим путём?
|
||||
Ладно, не буду сейчас это трогать, пусть работает.
|
||||
Странно, что будильник не сработал.
|
||||
Ну, хотя бы никто не звонит сегодня, тишина.
|
||||
Не знаю, зачем я это купила, но не жалею.
|
||||
Просто оставь это на моём столе.
|
||||
Ладно, не буду усложнять, скажу проще.
|
||||
Странно, что никто не поинтересовался моим мнением.
|
||||
Ну, раз выбора нет — значит, принимаю как есть.
|
||||
Не хочу сейчас никуда идти, останусь дома.
|
||||
Ладно, не буду спорить, каждый сам решает.
|
||||
Странно, что ссылка уже не работает.
|
||||
Ну, хотя бы дома тепло и уютно.
|
||||
Не знаю, как у тебя, а у меня день как год.
|
||||
Просто хочу, чтобы всё было логично и понятно.
|
||||
Ага, ещё одна задача, которую я отложу.
|
||||
Ладно, не буду лезть, разберутся без меня.
|
||||
Странно, что фотография не загрузилась.
|
||||
Ну, раз всё прошло нормально — значит, я волновалась зря.
|
||||
Не хочу сейчас это обсуждать, тема закрыта.
|
||||
Просто хочу, чтобы никто не задавал вопросов.
|
||||
А что, если просто промолчать?
|
||||
Ладно, не буду сейчас это начинать, не успею.
|
||||
Странно, что никто не обратил внимания на ошибку.
|
||||
Ну, хотя бы кофе вкусный сегодня.
|
||||
Не знаю, зачем я это сохранила в закладки.
|
||||
Просто оставь как было, не надо ничего менять.
|
||||
Ага, ещё одно обновление, которое ничего не меняет.
|
||||
Ладно, потом посмотрю, сейчас не до того.
|
||||
Странно, что всё работает без сбоев.
|
||||
Ну, раз так проще — значит, так и сделаю.
|
||||
Не хочу сейчас объяснять, ты сам поймёшь.
|
||||
Просто хочу, чтобы дождь кончился до вечера.
|
||||
А что, если ничего не делать и посмотреть что будет?
|
||||
Ладно, не буду накручивать, всё нормально.
|
||||
Странно, что никто не предупредил заранее.
|
||||
Ну, хотя бы пробки сегодня небольшие.
|
||||
Не знаю, как у других, а мне так удобнее.
|
||||
Просто хочу, чтобы всё было по-честному.
|
||||
Ладно, не буду тянуть время, отвечу сейчас.
|
||||
Странно, что приложение вылетело без причины.
|
||||
Не хочу сейчас это проверять, потом посмотрю.
|
||||
А что, если просто согласиться и не спорить?
|
||||
Ладно, не буду сейчас это обдумывать, голова не варит.
|
||||
Странно, что сообщение отправилось само.
|
||||
Ну, хотя бы вечером стало потише.
|
||||
Не знаю, зачем я это начала читать в полночь.
|
||||
Просто оставь телефон на зарядке, он сядет.
|
||||
Ага, ещё один комментарий, который не по делу.
|
||||
Ладно, не буду сейчас спорить, ты прав.
|
||||
Странно, что файл называется не так, как я помню.
|
||||
Ну, раз всё решено — значит, я умываю руки.
|
||||
Не хочу сейчас ни о чём думать, выключу мозг.
|
||||
Просто хочу, чтобы завтра было спокойнее, чем сегодня.
|
||||
А что, если это и есть правильный ответ?
|
||||
Ладно, не буду лезть в чужие разговоры.
|
||||
Странно, что никто не спросил моё мнение.
|
||||
Ну, хотя бы выходные без планов, можно просто лечь.
|
||||
Не знаю, как это объяснить, но ты поймёшь.
|
||||
Просто хочу, чтобы всё было без сюрпризов.
|
||||
Ага, ещё одна вещь, которую я забыла сделать.
|
||||
Ладно, не буду сейчас это начинать, не мой день.
|
||||
Странно, что всё оказалось проще, чем казалось.
|
||||
Ну, раз никто не торопит — значит, можно не спешить.
|
||||
Не хочу сейчас это смотреть, потом включу.
|
||||
Просто хочу, чтобы всё закончилось спокойно.
|
||||
Ладно, не буду придумывать себе проблемы.
|
||||
Странно, что дверь скрипит, хотя смазывала.
|
||||
Ну, хотя бы вайфай работает нормально.
|
||||
Не знаю, зачем я это запомнила, но помню.
|
||||
Просто оставь это на потом, сейчас не время.
|
||||
Ага, ещё одна привычка, от которой не избавиться.
|
||||
Ладно, не буду сейчас думать об этом.
|
||||
Странно, что никто не поправил меня.
|
||||
Ну, раз всё прошло — значит, можно расслабиться.
|
||||
Не хочу сейчас это исправлять, пусть будет.
|
||||
А что, если это знак, что нужно остановиться?
|
||||
Ладно, не буду сейчас это писать, руки не доходят.
|
||||
Странно, что чай остыл так быстро.
|
||||
Ну, хотя бы сегодня без приключений, и то хорошо.
|
||||
Не знаю, как у тебя, а у меня настроение никак.
|
||||
Просто хочу, чтобы всё шло по плану.
|
||||
Ага, ещё один звонок, который я пропущу.
|
||||
Ладно, не буду сейчас это решать, голова болит.
|
||||
Странно, что кнопка нажимается, но ничего не делает.
|
||||
Не хочу сейчас это слушать, включу музыку.
|
||||
Просто хочу, чтобы всё было без лишних слов.
|
||||
Ладно, не буду сейчас начинать, уже поздно.
|
||||
Странно, что окно открыто, хотя я закрывала.
|
||||
Ну, хотя бы утро без спешки, редкость.
|
||||
Не знаю, зачем я это открыла, но залипла.
|
||||
Просто оставь сумку у входа, я потом заберу.
|
||||
Ага, ещё одна вещь, которая сломалась в пятницу.
|
||||
Ладно, не буду тянуть, скажу прямо.
|
||||
Странно, что никто не упомянул об этом раньше.
|
||||
Ну, раз всё на месте — значит, я просто параноик.
|
||||
Не хочу сейчас это переводить, потом сделаю.
|
||||
Просто хочу, чтобы всё было без лишних деталей.
|
||||
Ладно, не буду сейчас это комментировать.
|
||||
Странно, что экран потух сам по себе.
|
||||
Ну, хотя бы сегодня никто не опоздал.
|
||||
Просто хочу, чтобы день прошёл без сюрпризов.
|
||||
Ага, ещё одно дело, которое я отложила на завтра.
|
||||
Ладно, не буду сейчас это проверять, потом посмотрю.
|
||||
Странно, что всё совпало без единой ошибки.
|
||||
Ну, раз выбора нет — значит, это и есть выбор.
|
||||
А что, если это проще, чем я думаю?
|
||||
Ладно, не буду лезть, разберусь потом.
|
||||
Странно, что кофе закончился, хотя вчера был.
|
||||
Ну, хотя бы вечер без планов, можно просто быть.
|
||||
Не знаю, зачем я это начала, но теперь любопытно.
|
||||
Ага, ещё одна причина не выходить из дома.
|
||||
Ладно, не буду сейчас об этом, потом расскажу.
|
||||
Странно, что никто не заметил, как всё изменилось.
|
||||
Ну, раз всё работает — значит, трогать не надо.
|
||||
Не хочу сейчас это объяснять, слишком долго.
|
||||
А что, если ничего не менять и посмотреть что получится?
|
||||
Ладно, не буду сейчас это начинать, сил нет.
|
||||
Странно, что сообщение не дошло, хотя отправляла.
|
||||
Ну, хотя бы сегодня без дождя, уже победа.
|
||||
Просто хочу, чтобы всё закончилось без последствий.
|
||||
Ага, ещё один вопрос без ответа, как обычно.
|
||||
Странно, что всё прошло без единой заминки.
|
||||
Ну, раз все согласны — значит, я не буду против.
|
||||
Не хочу сейчас это исправлять, не критично.
|
||||
Просто хочу, чтобы никто не торопил.
|
||||
Ладно, не буду сейчас это писать, потом допишу.
|
||||
Странно, что лампочка перегорела, вчера меняла.
|
||||
Не знаю, зачем я это запомнила, но в голове сидит.
|
||||
Просто оставь ключи там же, где всегда лежат.
|
||||
Ага, ещё одна задача на завтра, как будто мало.
|
||||
Ладно, не буду сейчас это решать, не мой формат.
|
||||
Странно, что всё оказалось иначе, чем я думала.
|
||||
Ну, раз всё на своих местах — значит, я просто устала.
|
||||
Не хочу сейчас это слушать, потом включу.
|
||||
Просто хочу, чтобы всё было без лишних объяснений.
|
||||
А что, если это и есть тот самый ответ, который я искала?
|
||||
Странно, что файл сохранился не туда, куда я выбирала.
|
||||
Ну, хотя бы вечер тихий, можно наконец выдохнуть.
|
||||
Ладно, не буду сейчас это искать, потом найду.
|
||||
Странно, что никто не обратил внимания на время.
|
||||
Ну, раз всё на месте — значит, можно не волноваться.
|
||||
Вроде бы всё нормально, но что-то напрягает.
|
||||
Дождь за окном не кончается уже третий час.
|
||||
Кофе остыл, пока я разбиралась с письмами.
|
||||
Часы на стене тикают слишком громко сегодня.
|
||||
Может, стоило начать с другого конца.
|
||||
Вчера обещали потепление, а на улице серость.
|
||||
Дверь закрылась сама, хотя я её не трогала.
|
||||
Ключи лежат там же, куда я их обычно кладу.
|
||||
Возможно, я слишком быстро делаю выводы.
|
||||
Экран мигнул один раз и успокоился.
|
||||
Окно приоткрыто, в комнате прохладно.
|
||||
Заметки на столе разложены в полном порядке.
|
||||
Всё прошло ровно так, как я и ожидала.
|
||||
Батарейка на исходе, пора менять.
|
||||
На часах половина пятого, время тянется медленно.
|
||||
Документы подписаны, можно отложить в сторону.
|
||||
Обновление заняло больше времени, чем обещали.
|
||||
Сумка стоит у входа, я ещё не разобрала.
|
||||
Свет в подъезде снова перегорел.
|
||||
Чашка на столе осталась нетронутой.
|
||||
Программа открылась с первого раза, без задержек.
|
||||
Почтовый ящик пуст, сегодня ничего не пришло.
|
||||
На столе записка, почерк знакомый.
|
||||
Электричество моргнуло и вернулось.
|
||||
Автобус прошёл мимо остановки, не притормозил.
|
||||
На столе крошки от завтрака, надо протереть.
|
||||
Дворник за окном скрипит, пора менять.
|
||||
Обед остывает на плите, я не успеваю.
|
||||
Лифт остановился на третьем этаже, кто-то вышел.
|
||||
На часах семь вечера, день подходит к концу.
|
||||
Заметки в телефоне копятся, надо бы разобрать.
|
||||
На улице стемнело раньше обычного.
|
||||
Телевизор работает, но я его не слушаю.
|
||||
Чайник закипел, пар идёт из носика.
|
||||
На подоконнике цветы ждут полива.
|
||||
В коридоре темно, лампочка перегорела.
|
||||
Ковёр у входа сбился в угол, поправила.
|
||||
Сумка тяжелее, чем я ожидала.
|
||||
На столе лежит чек из магазина, забыла выбросить.
|
||||
Собака за забором лает на прохожих.
|
||||
Дорога пустая, ни одной машины.
|
||||
На часах полночь, пора спать.
|
||||
На балконе сохнут вещи после стирки.
|
||||
На стене трещина, я к ней уже привыкла.
|
||||
В шкафу висит пальто, которое я давно не носила.
|
||||
На столе лежит газета, кто-то оставил.
|
||||
Свеча догорает на подоконнике.
|
||||
Дверь приоткрыта, сквозняк по полу.
|
||||
На столе лежит письмо, адресовано мне.
|
||||
На часах шесть утра, ещё слишком рано.
|
||||
В ванной зеркало запотело от пара.
|
||||
На столе лежит пульт, батарейки сели.
|
||||
На полу лежит газета, я на неё наступаю.
|
||||
На стене висит календарь, лист не перевернут.
|
||||
Чашка треснута, но я всё ещё ею пользуюсь.
|
||||
На столе лежит ключ, я его не помню.
|
||||
В парке листья пожелтели, осень пришла.
|
||||
На полке стоит будильник, он не заведён.
|
||||
В комнате душно, надо проветрить.
|
||||
На столе лежит монета, кто-то оставил.
|
||||
На кухне лежит лук, пора почистить.
|
||||
В шкафу пусто, я всё перестирала.
|
||||
На улице снег пошёл, первый в этом году.
|
||||
На часах три часа ночи, не спится.
|
||||
На столе лежит бумажка с номером телефона.
|
||||
На стене висят часы, они спешат на пять минут.
|
||||
Дверь скрипит при каждом открытии.
|
||||
На столе лежит блокнот, страницы пожелтели.
|
||||
В углу стоит коробка, я её не распечатывала.
|
||||
На улице шумно, стройка за стеной.
|
||||
На подоконнике лежит перчатка, одна.
|
||||
В шкафу висит шарф, я о нём забыла.
|
||||
На столе лежит ножницы, ржавые немного.
|
||||
На часах полдень, самое время на обед.
|
||||
В ванной вода капает, кран не закрыт.
|
||||
На кухне лежит хлеб, надо съесть.
|
||||
На стене висит плакат, выцвел на солнце.
|
||||
Дверь захлопнулась, ключи остались внутри.
|
||||
На столе лежит зарядка, но телефон не мой.
|
||||
В подъезде кто-то курит, запах идёт по вентиляции.
|
||||
На полу лежит свёрнутый ковёр.
|
||||
В комнате светло, шторы открыты.
|
||||
На улице тихо, все ушли на работу.
|
||||
На стене висит расписание, старое уже.
|
||||
В сумке лежат документы, всё на месте.
|
||||
На столе лежит конверт, без марки.
|
||||
На кухне лежит нож, тупой совсем.
|
||||
В углу стоит лампа, без лампочки.
|
||||
На часах девять вечера, фильм начинается.
|
||||
На стене висит зеркало, в трещинах.
|
||||
На столе лежит карандаш, сломанный.
|
||||
Дверь открыта, кто-то забыл закрыть.
|
||||
На улице метель, ничего не видно.
|
||||
В комнате холодно, батарея не греет.
|
||||
На столе лежит пачка печенья.
|
||||
В ванной полотенце мокрое, надо развесить.
|
||||
На кухне лежит перец, чёрный.
|
||||
На стене висит доска, пустая.
|
||||
На часах полночь, город за окном не спит.
|
||||
На столе лежит скрепка, одна.
|
||||
На полке стоит свеча, недогоревшая.
|
||||
В шкафу лежит свитер, тёплый.
|
||||
На улице рассвет, небо розовеет.
|
||||
На кухне лежит вилка, немытая.
|
||||
На стене висит картина, криво.
|
||||
Дверь приоткрыта, свет из коридора.
|
||||
На часах шесть вечера, пора домой.
|
||||
В сумке лежат ключи и больше ничего.
|
||||
На столе лежит гвоздь, ржавый.
|
||||
На полке стоит банка, пустая.
|
||||
В углу стоит стул, сломанный.
|
||||
На улице ветер гонит пыль.
|
||||
На стене висит календарь, просроченный.
|
||||
На столе лежит нитка, белая.
|
||||
В ванной свет горит, я выключила.
|
||||
На кухне лежит соль, открытая пачка.
|
||||
На часах четыре утра, город спит.
|
||||
В комнате стоит запах кофе.
|
||||
На столе лежит пробка, от бутылки.
|
||||
Дверь заперта, я проверяла.
|
||||
На стене висит крючок, без пальто.
|
||||
На кухне лежит чеснок, проросший.
|
||||
На часах два часа дня, солнце в зените.
|
||||
В подъезде тихо, все на работе.
|
||||
На столе лежит пуговица, чёрная.
|
||||
Коврик у двери сухой, постелила.
|
||||
В углу стоит ведро, чистое.
|
||||
На улице туман, ничего не разглядеть.
|
||||
На столе лежит шнурок, белый.
|
||||
В ванной вода тёплая, можно мыться.
|
||||
На кухне лежит сахар, в сахарнице.
|
||||
На часах восемь утра, время завтрака.
|
||||
На полке лежит мелок, белый.
|
||||
На улице солнце пробивается сквозь тучи.
|
||||
На стене висит термометр, показывает двадцать.
|
||||
В шкафу лежит одеяло, лёгкое.
|
||||
На кухне лежит уксус, открытый.
|
||||
На часах одиннадцать вечера, пора спать.
|
||||
В подъезде горит свет, тусклый.
|
||||
На столе лежит заклёпка, маленькая.
|
||||
Коврик у двери новый, только положила.
|
||||
На полке стоит банка с вареньем.
|
||||
На улице мороз, пар изо рта.
|
||||
На стене висит доска объявлений.
|
||||
На столе лежит пружинка, от ручки.
|
||||
В ванной зеркало чистое, я протёрла.
|
||||
На кухне лежит мука, в пакете.
|
||||
На часах пять вечера, конец рабочего дня.
|
||||
На полке лежит резинка, для денег.
|
||||
На улице гроза, молнии сверкают.
|
||||
На столе лежит болт, ржавый.
|
||||
На стене висит фотография, старая.
|
||||
В шкафу висит пиджак, на вешалке.
|
||||
На кухне лежит лавровый лист.
|
||||
На часах семь утра, будильник звенит.
|
||||
@@ -0,0 +1 @@
|
||||
[]
|
||||
File diff suppressed because it is too large
Load Diff
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,410 @@
|
||||
{
|
||||
"0": "keep",
|
||||
"1": "keep",
|
||||
"2": "delete",
|
||||
"3": "delete",
|
||||
"4": "keep",
|
||||
"5": "keep",
|
||||
"6": "keep",
|
||||
"7": "keep",
|
||||
"8": "keep",
|
||||
"9": "keep",
|
||||
"10": "delete",
|
||||
"11": "keep",
|
||||
"12": "keep",
|
||||
"13": "delete",
|
||||
"14": "keep",
|
||||
"15": "keep",
|
||||
"16": "keep",
|
||||
"17": "keep",
|
||||
"18": "keep",
|
||||
"19": "keep",
|
||||
"20": "delete",
|
||||
"21": "keep",
|
||||
"22": "keep",
|
||||
"23": "delete",
|
||||
"24": "keep",
|
||||
"25": "keep",
|
||||
"26": "keep",
|
||||
"27": "keep",
|
||||
"28": "keep",
|
||||
"29": "keep",
|
||||
"30": "keep",
|
||||
"31": "keep",
|
||||
"32": "delete",
|
||||
"33": "keep",
|
||||
"34": "delete",
|
||||
"35": "keep",
|
||||
"36": "keep",
|
||||
"37": "keep",
|
||||
"38": "delete",
|
||||
"39": "keep",
|
||||
"40": "delete",
|
||||
"41": "delete",
|
||||
"42": "delete",
|
||||
"43": "keep",
|
||||
"44": "keep",
|
||||
"45": "keep",
|
||||
"46": "keep",
|
||||
"47": "keep",
|
||||
"48": "keep",
|
||||
"49": "keep",
|
||||
"50": "keep",
|
||||
"51": "delete",
|
||||
"52": "keep",
|
||||
"53": "keep",
|
||||
"54": "keep",
|
||||
"55": "keep",
|
||||
"56": "keep",
|
||||
"57": "keep",
|
||||
"58": "keep",
|
||||
"59": "keep",
|
||||
"60": "keep",
|
||||
"61": "keep",
|
||||
"62": "keep",
|
||||
"63": "keep",
|
||||
"64": "keep",
|
||||
"65": "keep",
|
||||
"66": "delete",
|
||||
"67": "keep",
|
||||
"68": "keep",
|
||||
"69": "keep",
|
||||
"70": "keep",
|
||||
"71": "keep",
|
||||
"72": "keep",
|
||||
"73": "keep",
|
||||
"74": "delete",
|
||||
"75": "keep",
|
||||
"76": "keep",
|
||||
"77": "keep",
|
||||
"78": "keep",
|
||||
"79": "keep",
|
||||
"80": "delete",
|
||||
"81": "keep",
|
||||
"82": "keep",
|
||||
"83": "delete",
|
||||
"84": "keep",
|
||||
"85": "keep",
|
||||
"86": "delete",
|
||||
"87": "keep",
|
||||
"88": "delete",
|
||||
"89": "delete",
|
||||
"90": "delete",
|
||||
"91": "keep",
|
||||
"92": "delete",
|
||||
"93": "keep",
|
||||
"94": "keep",
|
||||
"95": "keep",
|
||||
"96": "delete",
|
||||
"97": "delete",
|
||||
"98": "keep",
|
||||
"99": "delete",
|
||||
"100": "delete",
|
||||
"101": "delete",
|
||||
"102": "keep",
|
||||
"103": "keep",
|
||||
"104": "delete",
|
||||
"105": "keep",
|
||||
"106": "keep",
|
||||
"107": "delete",
|
||||
"108": "keep",
|
||||
"109": "delete",
|
||||
"110": "delete",
|
||||
"111": "delete",
|
||||
"112": "delete",
|
||||
"113": "delete",
|
||||
"114": "delete",
|
||||
"115": "delete",
|
||||
"116": "delete",
|
||||
"117": "delete",
|
||||
"118": "delete",
|
||||
"119": "delete",
|
||||
"120": "delete",
|
||||
"121": "delete",
|
||||
"122": "delete",
|
||||
"123": "delete",
|
||||
"124": "delete",
|
||||
"125": "delete",
|
||||
"126": "delete",
|
||||
"127": "delete",
|
||||
"128": "delete",
|
||||
"129": "delete",
|
||||
"130": "delete",
|
||||
"131": "delete",
|
||||
"132": "delete",
|
||||
"133": "delete",
|
||||
"134": "delete",
|
||||
"135": "delete",
|
||||
"136": "delete",
|
||||
"137": "delete",
|
||||
"138": "delete",
|
||||
"139": "delete",
|
||||
"140": "delete",
|
||||
"141": "delete",
|
||||
"142": "delete",
|
||||
"143": "delete",
|
||||
"144": "delete",
|
||||
"145": "delete",
|
||||
"146": "delete",
|
||||
"147": "delete",
|
||||
"148": "delete",
|
||||
"149": "delete",
|
||||
"150": "delete",
|
||||
"151": "delete",
|
||||
"152": "delete",
|
||||
"153": "delete",
|
||||
"154": "keep",
|
||||
"155": "keep",
|
||||
"156": "keep",
|
||||
"157": "keep",
|
||||
"158": "delete",
|
||||
"159": "keep",
|
||||
"160": "delete",
|
||||
"161": "keep",
|
||||
"162": "keep",
|
||||
"163": "keep",
|
||||
"164": "delete",
|
||||
"165": "delete",
|
||||
"166": "keep",
|
||||
"167": "keep",
|
||||
"168": "keep",
|
||||
"169": "keep",
|
||||
"170": "keep",
|
||||
"171": "keep",
|
||||
"172": "delete",
|
||||
"173": "delete",
|
||||
"174": "keep",
|
||||
"175": "keep",
|
||||
"176": "keep",
|
||||
"177": "keep",
|
||||
"178": "keep",
|
||||
"179": "keep",
|
||||
"180": "keep",
|
||||
"181": "keep",
|
||||
"182": "delete",
|
||||
"183": "keep",
|
||||
"184": "delete",
|
||||
"185": "keep",
|
||||
"186": "keep",
|
||||
"187": "delete",
|
||||
"188": "delete",
|
||||
"189": "delete",
|
||||
"190": "keep",
|
||||
"191": "delete",
|
||||
"192": "keep",
|
||||
"193": "keep",
|
||||
"194": "keep",
|
||||
"195": "keep",
|
||||
"196": "delete",
|
||||
"197": "keep",
|
||||
"198": "delete",
|
||||
"199": "delete",
|
||||
"200": "delete",
|
||||
"201": "keep",
|
||||
"202": "keep",
|
||||
"203": "keep",
|
||||
"204": "keep",
|
||||
"205": "delete",
|
||||
"206": "delete",
|
||||
"207": "keep",
|
||||
"208": "keep",
|
||||
"209": "keep",
|
||||
"210": "keep",
|
||||
"211": "keep",
|
||||
"212": "keep",
|
||||
"213": "keep",
|
||||
"214": "keep",
|
||||
"215": "keep",
|
||||
"216": "keep",
|
||||
"217": "delete",
|
||||
"218": "keep",
|
||||
"219": "keep",
|
||||
"220": "delete",
|
||||
"221": "delete",
|
||||
"222": "keep",
|
||||
"223": "keep",
|
||||
"224": "delete",
|
||||
"225": "delete",
|
||||
"226": "keep",
|
||||
"227": "keep",
|
||||
"228": "keep",
|
||||
"229": "delete",
|
||||
"230": "keep",
|
||||
"231": "keep",
|
||||
"232": "keep",
|
||||
"233": "delete",
|
||||
"234": "keep",
|
||||
"235": "delete",
|
||||
"236": "delete",
|
||||
"237": "keep",
|
||||
"238": "keep",
|
||||
"239": "keep",
|
||||
"240": "keep",
|
||||
"241": "delete",
|
||||
"242": "delete",
|
||||
"243": "keep",
|
||||
"244": "keep",
|
||||
"245": "keep",
|
||||
"246": "keep",
|
||||
"247": "delete",
|
||||
"248": "keep",
|
||||
"249": "keep",
|
||||
"250": "keep",
|
||||
"251": "keep",
|
||||
"252": "delete",
|
||||
"253": "keep",
|
||||
"254": "keep",
|
||||
"255": "delete",
|
||||
"256": "keep",
|
||||
"257": "keep",
|
||||
"258": "keep",
|
||||
"259": "delete",
|
||||
"260": "keep",
|
||||
"261": "keep",
|
||||
"262": "keep",
|
||||
"263": "keep",
|
||||
"264": "keep",
|
||||
"265": "delete",
|
||||
"266": "delete",
|
||||
"267": "keep",
|
||||
"268": "keep",
|
||||
"269": "keep",
|
||||
"270": "keep",
|
||||
"271": "keep",
|
||||
"272": "keep",
|
||||
"273": "delete",
|
||||
"274": "delete",
|
||||
"275": "keep",
|
||||
"276": "keep",
|
||||
"277": "delete",
|
||||
"278": "keep",
|
||||
"279": "delete",
|
||||
"280": "keep",
|
||||
"281": "keep",
|
||||
"282": "keep",
|
||||
"283": "delete",
|
||||
"284": "keep",
|
||||
"285": "delete",
|
||||
"286": "keep",
|
||||
"287": "keep",
|
||||
"288": "keep",
|
||||
"289": "delete",
|
||||
"290": "delete",
|
||||
"291": "keep",
|
||||
"292": "keep",
|
||||
"293": "keep",
|
||||
"294": "keep",
|
||||
"295": "delete",
|
||||
"296": "keep",
|
||||
"297": "delete",
|
||||
"298": "delete",
|
||||
"299": "keep",
|
||||
"300": "keep",
|
||||
"301": "keep",
|
||||
"302": "keep",
|
||||
"303": "keep",
|
||||
"304": "keep",
|
||||
"305": "keep",
|
||||
"306": "keep",
|
||||
"307": "keep",
|
||||
"308": "keep",
|
||||
"309": "keep",
|
||||
"310": "keep",
|
||||
"311": "keep",
|
||||
"312": "keep",
|
||||
"313": "keep",
|
||||
"314": "keep",
|
||||
"315": "keep",
|
||||
"316": "keep",
|
||||
"317": "keep",
|
||||
"318": "keep",
|
||||
"319": "delete",
|
||||
"320": "delete",
|
||||
"321": "delete",
|
||||
"322": "keep",
|
||||
"323": "delete",
|
||||
"324": "keep",
|
||||
"325": "keep",
|
||||
"326": "keep",
|
||||
"327": "keep",
|
||||
"328": "keep",
|
||||
"329": "keep",
|
||||
"330": "keep",
|
||||
"331": "keep",
|
||||
"332": "keep",
|
||||
"333": "keep",
|
||||
"334": "delete",
|
||||
"335": "keep",
|
||||
"336": "keep",
|
||||
"337": "keep",
|
||||
"338": "keep",
|
||||
"339": "keep",
|
||||
"340": "keep",
|
||||
"341": "delete",
|
||||
"342": "keep",
|
||||
"343": "keep",
|
||||
"344": "keep",
|
||||
"345": "keep",
|
||||
"346": "keep",
|
||||
"347": "keep",
|
||||
"348": "keep",
|
||||
"349": "keep",
|
||||
"350": "keep",
|
||||
"351": "keep",
|
||||
"352": "keep",
|
||||
"353": "keep",
|
||||
"354": "keep",
|
||||
"355": "keep",
|
||||
"356": "delete",
|
||||
"357": "delete",
|
||||
"358": "keep",
|
||||
"359": "delete",
|
||||
"360": "delete",
|
||||
"361": "delete",
|
||||
"362": "keep",
|
||||
"363": "keep",
|
||||
"364": "keep",
|
||||
"365": "delete",
|
||||
"366": "keep",
|
||||
"367": "keep",
|
||||
"368": "keep",
|
||||
"369": "keep",
|
||||
"370": "keep",
|
||||
"371": "keep",
|
||||
"372": "delete",
|
||||
"373": "keep",
|
||||
"374": "keep",
|
||||
"375": "keep",
|
||||
"376": "keep",
|
||||
"377": "keep",
|
||||
"378": "keep",
|
||||
"379": "keep",
|
||||
"380": "keep",
|
||||
"381": "keep",
|
||||
"382": "keep",
|
||||
"383": "keep",
|
||||
"384": "keep",
|
||||
"385": "keep",
|
||||
"386": "keep",
|
||||
"387": "delete",
|
||||
"388": "keep",
|
||||
"389": "keep",
|
||||
"390": "keep",
|
||||
"391": "keep",
|
||||
"392": "keep",
|
||||
"393": "keep",
|
||||
"394": "keep",
|
||||
"395": "keep",
|
||||
"396": "delete",
|
||||
"397": "keep",
|
||||
"398": "keep",
|
||||
"399": "keep",
|
||||
"400": "keep",
|
||||
"401": "keep",
|
||||
"402": "keep",
|
||||
"403": "keep",
|
||||
"404": "keep",
|
||||
"405": "delete",
|
||||
"406": "keep",
|
||||
"407": "keep"
|
||||
}
|
||||
@@ -0,0 +1,900 @@
|
||||
Хм, интересная мысль, давай-ка я её чуть потяну за ниточку и посмотрю, куда она приведёт.
|
||||
Так, если разобрать это на части, то получается довольно любопытная картина, которую стоит рассмотреть поближе.
|
||||
Подожди, тут есть что-то, что не совсем складывается, и мне хочется найти недостающий кусочек пазла.
|
||||
Секунду, я пытаюсь соединить несколько идей воедино, и кажется, начинает вырисовываться что-то осмысленное.
|
||||
Стоп, а что если посмотреть на это с совершенно другой стороны, тогда всё может оказаться гораздо проще.
|
||||
Дай подумать, ведь если копнуть чуть глубже, то можно найти связь, которая на поверхности не видна.
|
||||
О, а это уже интереснее, потому что тут прослеживается определённый паттерн, который я раньше не замечала.
|
||||
Так, давай разложим всё по полочкам, чтобы понять, что тут действительно происходит и почему.
|
||||
Погоди, у меня тут возникает гипотеза, которую стоит проверить, прежде чем делать окончательные выводы.
|
||||
Минутку, если сопоставить эти два факта, то получается довольно неожиданное сочетание, которое заслуживает внимания.
|
||||
Хм, а что если причина совсем в другом, и мы просто смотрим не туда, куда нужно?
|
||||
Так, я вижу здесь несколько слоёв, и каждый из них стоит рассмотреть отдельно, чтобы не упустить детали.
|
||||
Стоп, а это интересно, потому что логика подсказывает одно, а интуиция шепчет совершенно другое.
|
||||
Дай соображу, ведь если отбросить очевидное, то останется то, что действительно важно в этой ситуации.
|
||||
О, тут явно прослеживается связь, которую нельзя игнорировать, и мне хочется докопаться до сути.
|
||||
Так, если немного отступить и посмотреть на картину целиком, то открывается совсем другой ракурс.
|
||||
Подожди, я ловлю себя на мысли, что здесь есть подвох, и мне нужно понять, в чём именно он заключается.
|
||||
Секунду, позволь мне соединить эти точки, потому что между ними явно есть невидимая линия.
|
||||
Хм, а ведь это может работать совершенно неожиданным образом, и это стоит проверить на практике.
|
||||
Так, давай подумаем, что будет если изменить один параметр, и как это повлияет на всю систему.
|
||||
Погоди, тут явно что-то упущено, и мне хочется найти этот недостающий элемент головоломки.
|
||||
Минутку, если рассмотреть это под другим углом, то вдруг открывается совсем новая перспектива.
|
||||
О, а это уже наводит на определённые размышления, потому что паттерн начинает проявляться всё отчётливее.
|
||||
Так, я чувствую, что мы приближаемся к чему-то интересному, но нужно ещё немного покопаться.
|
||||
Стоп, а что если всё гораздо проще, чем кажется, и мы просто сами себе усложняем задачу?
|
||||
Дай подумать, ведь каждое действие здесь имеет последствия, которые стоит просчитать наперёд.
|
||||
Хм, это заставляет меня задуматься о том, что есть ещё один слой, который мы не учли.
|
||||
Так, если убрать всё лишнее, то останется ядро, которое и является ключом к пониманию.
|
||||
Подожди, у меня складывается ощущение, что тут работает совсем другой механизм, и его нужно выявить.
|
||||
Секунду, позволь мне прокрутить это в голове ещё раз, чтобы уловить все нюансы и оттенки.
|
||||
О, а вот это уже по-настоящему интересно, потому что открывается новое измерение задачи.
|
||||
Так, давай не будем спешить с выводами и попробуем разобраться в корнях этого явления.
|
||||
Погоди, я замечаю определённую закономерность, которую стоит исследовать более детально.
|
||||
Минутку, если сопоставить всё, что мы знаем, то картина начинает приобретать чёткие очертания.
|
||||
Хм, а что если мы упускаем самый важный элемент, который находится прямо перед носом?
|
||||
Так, мне кажется, что здесь работает принцип домино, и нужно найти первый падающий элемент.
|
||||
Стоп, это наводит на мысль о том, что система устроена хитрее, чем выглядит на первый взгляд.
|
||||
Дай соображу, ведь если убрать один компонент, то вся конструкция может рухнуть или наоборот окрепнуть.
|
||||
О, тут явно есть что-то, что ускользает от внимания, и мне хочется это поймать.
|
||||
Так, если посмотреть на это глазами ребёнка, то решение может оказаться на удивление простым.
|
||||
Подожди, я пытаюсь выстроить логическую цепочку, но одно звено явно выпадает из общей картины.
|
||||
Секунду, позволь мне найти отправную точку, от которой можно начать распутывать этот клубок.
|
||||
Хм, а ведь это может быть совсем не тем, чем кажется на первый взгляд, и стоит копнуть глубже.
|
||||
Так, давай попробуем разбить задачу на подзадачи и решить каждую по отдельности.
|
||||
Погоди, у меня возникло предчувствие, что ответ кроется в деталях, которые мы пока не заметили.
|
||||
Минутку, если изменить масштаб рассмотрения, то вдруг откроется то, что было скрыто.
|
||||
О, это определённо заслуживает более внимательного изучения, потому что тут есть глубина.
|
||||
Так, я вижу здесь несколько возможных путей, и каждый из них ведёт к разным результатам.
|
||||
Стоп, а что если мы идём не с того конца, и нужно начать с противоположной стороны?
|
||||
Дай подумать, ведь каждое предположение нужно проверить, прежде чем строить дальнейшие планы.
|
||||
Хм, это заставляет меня пересмотреть свой подход к задаче и попробовать совсем другую стратегию.
|
||||
Так, если отсечь всё наносное, то останется суть, с которой и нужно работать в первую очередь.
|
||||
Подожди, я чувствую, что тут есть скрытая переменная, которая влияет на весь результат.
|
||||
Секунду, позволь мне мысленно проиграть несколько сценариев и выбрать наиболее вероятный.
|
||||
О, а это открывает совершенно новые возможности, которые стоит рассмотреть более внимательно.
|
||||
Так, давай не будем зацикливаться на одном варианте и попробуем посмотреть шире.
|
||||
Погоди, мне кажется, что мы упускаем контекст, без которого картина будет неполной.
|
||||
Минутку, если добавить ещё один параметр в уравнение, то решение может оказаться совсем другим.
|
||||
Хм, а ведь это перекликается с тем, что я видела раньше, и тут есть определённая параллель.
|
||||
Так, я пытаюсь найти общую нить, которая свяжет все разрозненные части в единое целое.
|
||||
Стоп, это наводит на мысль о том, что нужно вернуться к истокам и перепроверить базовые предположения.
|
||||
Дай соображу, ведь если изменить точку отсчёта, то все расчёты могут пойти по-другому.
|
||||
О, тут явно просматривается тенденция, которую нельзя игнорировать при принятии решения.
|
||||
Так, давай попробуем инвертировать задачу и посмотреть, что получится с обратной стороны.
|
||||
Подожди, у меня складывается впечатление, что тут работает совсем иная логика, и её нужно понять.
|
||||
Секунду, позволь мне сопоставить все известные факты и вывести общую закономерность.
|
||||
Хм, а что если ответ лежит на поверхности, но мы его не видим из-за предвзятости мышления?
|
||||
Так, если рассмотреть крайние случаи, то можно понять границы применимости текущего решения.
|
||||
Погоди, я замечаю, что определённые элементы повторяются, и это не может быть случайностью.
|
||||
Минутку, давай выделим ключевые компоненты и посмотрим, как они взаимодействуют друг с другом.
|
||||
О, это определённо указывает на то, что здесь есть система, которую нужно расшифровать.
|
||||
Так, я вижу здесь определённую иерархию, и понимание структуры поможет найти решение.
|
||||
Стоп, а что если мы рассматриваем следствие, а причина находится совсем в другом месте?
|
||||
Дай подумать, ведь если убрать эмоциональную составляющую, то останется сухая логика фактов.
|
||||
Хм, это заставляет меня задуматься о том, что есть ещё один уровень, который стоит исследовать.
|
||||
Так, давай попробуем смоделировать ситуацию и посмотреть, как поведёт себя система.
|
||||
Подожди, мне кажется, что тут есть обратная связь, которая влияет на процесс больше, чем кажется.
|
||||
Секунду, позволь мне найти слабое звено, через которое можно раскрыть всю цепочку.
|
||||
О, а это перекликается с принципами, которые я знаю, и тут есть интересное совпадение.
|
||||
Так, если посмотреть на динамику изменений, то можно предсказать дальнейшее развитие событий.
|
||||
Погоди, у меня возникло ощущение, что мы близко к разгадке, но нужно ещё немного напрячься.
|
||||
Минутку, давай разобьём этот сложный вопрос на простые части и решим каждую по очереди.
|
||||
Хм, а ведь это может быть тестом на внимательность, и ответ кроется в мелочах.
|
||||
Так, я пытаюсь выстроить причинно-следственные связи и найти первопричину происходящего.
|
||||
Стоп, это наводит на мысль о том, что нужно посмотреть на задачу с высоты птичьего полёта.
|
||||
Дай соображу, ведь если изменить масштаб времени, то процесс может выглядеть совершенно иначе.
|
||||
О, тут явно есть что-то, что требует более глубокого погружения в тему.
|
||||
Так, давай попробуем найти аналогию из другой области, которая поможет пролить свет на ситуацию.
|
||||
Подожди, мне кажется, что тут работает принцип подобия, и это стоит использовать.
|
||||
Секунду, позволь мне мысленно упростить задачу до базового случая и понять его механику.
|
||||
Хм, а что если мы имеем дело с самоорганизующейся системой, которая ведёт себя нелинейно?
|
||||
Так, если рассмотреть предельные случаи, то можно проверить адекватность текущей модели.
|
||||
Погоди, я замечаю определённый ритм в том, как развиваются события, и это стоит учесть.
|
||||
Минутку, давай выделим главные факторы влияния и отбросим второстепенные для ясности.
|
||||
О, это определённо заслуживает того, чтобы потратить ещё немного времени на размышления.
|
||||
Так, я вижу здесь возможность применить другой подход, который может оказаться эффективнее.
|
||||
Стоп, а что если причина и следствие поменялись местами, и мы идём по ложному следу?
|
||||
Дай подумать, ведь если посмотреть на это свежим взглядом, то могут открыться новые грани.
|
||||
Хм, постой, мне нужно ещё раз пройтись по всей цепочке рассуждений и проверить каждое звено.
|
||||
Так, если взять паузу и вернуться к этому чуть позже, решение может прийти само собой.
|
||||
Подожди, я чувствую, что здесь есть какая-то неочевидная ловушка, и нужно быть внимательнее.
|
||||
Секунду, давай вернёмся к началу и пройдём по шагам, чтобы не пропустить ошибку.
|
||||
О, а это интересное наблюдение, потому что раньше я не обращал внимания на такую деталь.
|
||||
Так, не будем делать поспешных выводов, лучше ещё раз всё взвесим и сравним.
|
||||
Погоди, у меня есть смутное подозрение, что мы что-то важное упустили из виду.
|
||||
Минутку, если соединить эти два наблюдения, то может получиться довольно стройная картина.
|
||||
Хм, а что если тут дело не в логике, а в чём-то совершенно другом, что мы пока не учитываем?
|
||||
Так, давай попробуем подойти к этому максимально системно и ничего не упустить.
|
||||
Стоп, это уже настораживает, потому что результат противоречит тому, что мы ожидали.
|
||||
Дай соображу, ведь если поменять местами шаги, то весь процесс может пойти иначе.
|
||||
О, тут явно есть какая-то скрытая зависимость, которую нужно выявить и понять.
|
||||
Так, я вижу, что здесь работает определённая закономерность, и её стоит зафиксировать.
|
||||
Подожди, мне кажется, что мы слишком углубились в детали и потеряли общую картину.
|
||||
Секунду, позволь мне сделать шаг назад и окинуть всё это широким взглядом.
|
||||
Хм, а ведь это может быть ключевым моментом, который определит весь дальнейший ход мысли.
|
||||
Так, давай попробуем абстрагироваться от частного и посмотреть на задачу в целом.
|
||||
Погоди, я ловлю себя на том, что иду по накатанной, а нужно свернуть на другую дорогу.
|
||||
Минутку, если рассмотреть это с практической точки зрения, то выводы могут быть совсем другими.
|
||||
О, это определённо стоит записать, потому что мысль может пригодиться в дальнейшем.
|
||||
Так, я пытаюсь понять, что здесь является причиной, а что — просто совпадением.
|
||||
Стоп, а что если мы задаём себе не тот вопрос, и поэтому ищем не в том направлении?
|
||||
Дай подумать, ведь если правильно сформулировать проблему, то решение станет очевидным.
|
||||
Хм, это заставляет меня усомниться в том, что я считал само собой разумеющимся.
|
||||
Так, давай разберём это утверждение на составляющие и проверим каждую по отдельности.
|
||||
Подожди, у меня возникло ощущение дежавю, будто мы уже проходили этот этап.
|
||||
Секунду, позволь мне свериться с тем, что мы уже выяснили, чтобы не ходить по кругу.
|
||||
О, а это интересное противоречие, которое может стать отправной точкой для нового открытия.
|
||||
Так, не будем игнорировать этот сигнал, потому что он может указывать на что-то важное.
|
||||
Погоди, мне кажется, что здесь работает какой-то другой принцип, который мы ещё не раскусили.
|
||||
Минутку, давай посмотрим на это с точки зрения результата и поймём, к чему мы стремимся.
|
||||
Хм, а что если тут вообще нет правильного ответа, и нужно сменить сам подход?
|
||||
Так, я замечаю, что мы ходим вокруг да около, а нужно ударить точно в цель.
|
||||
Стоп, это уже слишком запутанно, и стоит попробовать максимально упростить задачу.
|
||||
Дай соображу, ведь если найти правильную аналогию, то всё встанет на свои места.
|
||||
О, тут явно просматривается определённая динамика, которую нужно отследить.
|
||||
Так, давай попробуем вычленить главное и отбросить всё, что только мешает.
|
||||
Подожди, мне кажется, что мы зациклились на одном аспекте и игнорируем остальные.
|
||||
Секунду, позволь мне пересмотреть последовательность действий и найти оптимальный порядок.
|
||||
Хм, а ведь это может быть совсем не случайностью, а закономерностью, которую стоит изучить.
|
||||
Так, если посмотреть на это с другой точки зрения, то открываются совершенно новые горизонты.
|
||||
Погоди, у меня складывается ощущение, что тут есть какой-то скрытый смысл.
|
||||
Минутку, давай попробуем разложить это на составляющие и каждую проверить отдельно.
|
||||
О, это определённо заслуживает внимания, потому что тут есть определённая глубина.
|
||||
Так, я пытаюсь понять внутреннюю логику этого явления и найти его корень.
|
||||
Стоп, а что если мы принимаем желаемое за действительное и сами себя обманываем?
|
||||
Дай подумать, ведь если отбросить все предположения, то что останется в сухом остатке?
|
||||
Хм, это наводит на мысль о том, что здесь есть ещё один уровень сложности.
|
||||
Так, давай попробуем построить модель и посмотреть, насколько она соответствует реальности.
|
||||
Подожди, мне кажется, что мы упускаем человеческий фактор, который может всё изменить.
|
||||
Секунду, позволь мне вернуться к базовым принципам и от них начать строить рассуждение.
|
||||
О, а это перекликается с тем, что мы уже знаем, и тут может быть интересная связь.
|
||||
Так, не будем усложнять без необходимости — иногда самое простое объяснение оказывается верным.
|
||||
Погоди, у меня возникло чувство, что здесь что-то не сходится в расчётах.
|
||||
Минутку, давай проверим каждое допущение и убедимся, что они все состоятельны.
|
||||
Хм, а что если тут работает накопительный эффект, и мы его не замечаем?
|
||||
Так, я вижу здесь определённую структуру, которую можно разложить и проанализировать.
|
||||
Стоп, это уже выходит за рамки первоначального плана, и нужно скорректировать курс.
|
||||
Дай соображу, ведь если изменить начальные условия, то результат может быть совершенно другим.
|
||||
О, тут явно есть что-то, что стоит того, чтобы потратить на это дополнительное время.
|
||||
Так, давай попробуем посмотреть на это через призму предыдущего опыта и сделать выводы.
|
||||
Подожди, мне кажется, что мы слишком торопимся и можем допустить досадную ошибку.
|
||||
Секунду, позволь мне выстроить аргументацию так, чтобы она была максимально убедительной.
|
||||
Хм, а ведь это может быть проверкой на прочность наших текущих убеждений.
|
||||
Так, если подойти к этому критически, то можно найти несколько слабых мест.
|
||||
Погоди, у меня есть интуитивное чувство, что ответ где-то рядом, но я его не вижу.
|
||||
Минутку, давай попробуем сформулировать проблему максимально чётко и ясно.
|
||||
О, это определённо указывает на то, что мы движемся в правильном направлении.
|
||||
Так, я пытаюсь собрать все кусочки воедино и увидеть полную картину.
|
||||
Стоп, а что если мы игнорируем самый очевидный вариант, потому что он кажется слишком простым?
|
||||
Дай подумать, ведь если допустить обратное, то к каким выводам мы придём?
|
||||
Хм, это заставляет меня пересмотреть всю картину и найти в ней белые пятна.
|
||||
Так, давай попробуем применить метод исключения и постепенно отсеять невозможное.
|
||||
Подожди, мне кажется, что здесь есть какой-то подтекст, который мы не улавливаем.
|
||||
Секунду, позволь мне мысленно перемотать назад и найти момент, где мы свернули не туда.
|
||||
О, а это интересное наблюдение, которое может изменить весь ход рассуждений.
|
||||
Так, не будем делать далеко идущих выводов на основе одного единственного наблюдения.
|
||||
Погоди, у меня возникло подозрение, что тут работает скрытая переменная, которую мы не учитываем.
|
||||
Минутку, давай попробуем посмотреть на это как на эксперимент и извлечём из него максимум.
|
||||
Хм, а что если ответ кроется не в том, что сказано, а в том, что осталось за кадром?
|
||||
Так, я вижу здесь определённую последовательность шагов, которую стоит воспроизвести.
|
||||
Стоп, это уже слишком далеко от изначальной задачи, и нужно вернуться на землю.
|
||||
Дай соображу, ведь если мыслить шире, то можно найти решение, которое лежит за пределами привычного.
|
||||
О, тут явно есть потенциал для дальнейшего исследования, и это стоит зафиксировать.
|
||||
Так, давай попробуем обобщить всё, что мы выяснили, и сделать промежуточный вывод.
|
||||
Подожди, мне кажется, что мы не до конца понимаем терминологию и из-за этого путаемся.
|
||||
Секунду, позволь мне уточнить определения, чтобы мы говорили на одном языке.
|
||||
Хм, а ведь это может быть точкой бифуркации, после которой система поведёт себя иначе.
|
||||
Так, если рассмотреть это с позиций теории вероятностей, то картина может проясниться.
|
||||
Погоди, у меня складывается впечатление, что тут работает эффект бабочки.
|
||||
Минутку, давай попробуем найти инвариант — то, что остаётся неизменным при всех изменениях.
|
||||
О, это определённо стоит запомнить, потому что это может пригодиться в будущем.
|
||||
Так, я пытаюсь нащупать общий принцип, который стоит за всеми этими частными случаями.
|
||||
Стоп, а что если мы ищем чёрную кошку в тёмной комнате, которой там вообще нет?
|
||||
Дай подумать, ведь если посмотреть на проблему глазами новичка, то можно увидеть то, что эксперты упускают.
|
||||
Хм, это наводит на мысль о том, что нужно сделать паузу и дать подсознанию поработать.
|
||||
Так, давай подытожим: что мы знаем точно, что предполагаем и что ещё нужно выяснить.
|
||||
Подожди, мне кажется, что мы слишком увлеклись поиском сложного и не видим простого решения.
|
||||
Секунду, позволь мне ещё раз всё проверить, прежде чем делать окончательный вывод.
|
||||
Хм, давай-ка я приостановлюсь и попробую взглянуть на это совсем свежим взглядом.
|
||||
Так, если провести параллель с известными мне примерами, то может вырисоваться нечто общее.
|
||||
Подожди, я чувствую, что тут есть какой-то подводный камень, который пока не виден.
|
||||
Стоп, а что если мы пытаемся решить не ту задачу, и нужно переформулировать условие?
|
||||
Дай соображу, ведь если изменить порядок действий, то результат может оказаться совсем другим.
|
||||
О, тут явно прослеживается определённая тенденция, которую нельзя игнорировать.
|
||||
Так, давай попробуем выделить главные признаки и отделить их от второстепенных.
|
||||
Погоди, мне кажется, что мы упускаем из виду один важный аспект, который может всё перевернуть.
|
||||
Минутку, если мысленно вернуться к истокам, то можно найти подсказку, которую мы пропустили.
|
||||
Хм, а что если здесь работает совсем другая логика, которую мы ещё не распознали?
|
||||
Так, я замечаю, что определённые элементы как будто связаны невидимыми нитями.
|
||||
Стоп, это уже заставляет задуматься, потому что мы получили результат, которого не ожидали.
|
||||
Дай подумать, ведь если посмотреть на это с точки зрения системы, то картина изменится.
|
||||
О, а это интересное наблюдение, которое может стать ключом к пониманию всей ситуации.
|
||||
Так, не будем торопиться с окончательными выводами — давай ещё раз всё перепроверим.
|
||||
Подожди, у меня возникло ощущение, что мы идём по кругу и нужно сменить траекторию.
|
||||
Секунду, позволь мне найти точку опоры, от которой можно оттолкнуться в рассуждениях.
|
||||
Хм, а ведь это может быть признаком того, что мы подошли к границе применимости нашей модели.
|
||||
Так, давай попробуем рассмотреть этот вопрос с максимально широкой перспективы.
|
||||
Погоди, мне кажется, что здесь есть какая-то тонкость, которую мы пока не уловили.
|
||||
Минутку, если сопоставить все известные данные, то может проявиться скрытая закономерность.
|
||||
О, это определённо указывает на то, что мы находимся на интересном повороте мысли.
|
||||
Так, я пытаюсь выстроить логическую модель, которая объяснила бы всё, что мы наблюдаем.
|
||||
Стоп, а что если мы слишком увязли в деталях и потеряли из виду главную цель?
|
||||
Дай соображу, ведь если упростить задачу до минимума, то решение может стать очевидным.
|
||||
Хм, это заставляет меня задуматься о том, что есть ещё один слой, который стоит раскрыть.
|
||||
Так, давай попробуем применить метод аналогий и найти похожую ситуацию из прошлого опыта.
|
||||
Подожди, мне кажется, что тут работает какой-то скрытый механизм, который мы не учитываем.
|
||||
Секунду, позволь мне мысленно разбить это на этапы и проанализировать каждый отдельно.
|
||||
О, а это уже наводит на серьёзные размышления, потому что картина становится интереснее.
|
||||
Так, если отбросить всё второстепенное, то останется ядро, с которым и нужно работать.
|
||||
Погоди, у меня складывается впечатление, что здесь есть какая-то неочевидная связь.
|
||||
Минутку, давай попробуем посмотреть на это с точки зрения наблюдателя со стороны.
|
||||
Хм, а что если причина кроется в том, что мы считали несущественным фактором?
|
||||
Так, я вижу здесь определённую структуру, которую можно разложить на компоненты.
|
||||
Стоп, это уже выходит за рамки наших первоначальных предположений, и это стоит отметить.
|
||||
Дай подумать, ведь если рассмотреть противоположную точку зрения, то могут открыться новые грани.
|
||||
О, тут явно есть что-то, что требует более глубокого анализа и внимательного изучения.
|
||||
Так, давай попробуем сформулировать гипотезу и проверить её на соответствие фактам.
|
||||
Подожди, мне кажется, что мы слишком быстро делаем выводы, не разобравшись до конца.
|
||||
Секунду, позволь мне ещё раз прокрутить всю цепочку и найти возможное слабое звено.
|
||||
Хм, а ведь это может быть индикатором более глубокой проблемы, которую мы пока не видим.
|
||||
Так, если посмотреть на это через призму системного мышления, то откроются новые возможности.
|
||||
Погоди, у меня возникло чувство, что здесь работает какой-то нелинейный эффект.
|
||||
Минутку, давай попробуем найти отправную точку и начать распутывать этот клубок с начала.
|
||||
О, это определённо заслуживает более детального рассмотрения, потому что тут есть глубина.
|
||||
Так, я пытаюсь понять, что является движущей силой происходящего процесса.
|
||||
Стоп, а что если мы смотрим на следствие, а причина находится совсем в другой плоскости?
|
||||
Дай соображу, ведь если изменить масштаб рассмотрения, то картина может радикально измениться.
|
||||
Хм, это наводит на мысль о том, что тут есть какая-то скрытая динамика.
|
||||
Так, давай попробуем рассмотреть все возможные варианты и постепенно их отсеивать.
|
||||
Подожди, мне кажется, что мы упускаем контекст, без которого картина будет неполной.
|
||||
Секунду, позволь мне мысленно отступить на шаг и посмотреть на всё с расстояния.
|
||||
О, а это интересное совпадение, которое может оказаться важной подсказкой.
|
||||
Так, не будем зацикливаться на первом пришедшем в голову решении — поищем альтернативы.
|
||||
Погоди, у меня есть ощущение, что здесь кроется что-то более фундаментальное.
|
||||
Минутку, если попробовать применить другой метод, то результат может быть совсем иным.
|
||||
Хм, а что если мы имеем дело с чем-то, что не укладывается в привычные рамки?
|
||||
Так, я замечаю определённую повторяемость в том, как разворачиваются события.
|
||||
Стоп, это уже настораживает, потому что логика и интуиция говорят разное.
|
||||
Дай подумать, ведь если задать правильный вопрос, то ответ может прийти сам собой.
|
||||
О, тут явно просматривается какая-то закономерность, которую нужно расшифровать.
|
||||
Так, давай попробуем построить цепочку рассуждений и проверить каждое звено на прочность.
|
||||
Подожди, мне кажется, что мы слишком сосредоточились на одном аспекте и игнорируем другие.
|
||||
Секунду, позволь мне вернуться к исходным данным и перепроверить все базовые допущения.
|
||||
Хм, а ведь это может быть сигналом о том, что наша модель нуждается в корректировке.
|
||||
Так, если посмотреть на это с точки зрения долгосрочных последствий, то выводы могут отличаться.
|
||||
Погоди, у меня возникло подозрение, что тут работает какой-то скрытый фактор влияния.
|
||||
Минутку, давай попробуем мысленно смоделировать несколько сценариев развития событий.
|
||||
О, это определённо стоит взять на заметку, потому что мысль может пригодиться в дальнейшем.
|
||||
Так, я пытаюсь найти общий знаменатель, который объединил бы все разрозненные наблюдения.
|
||||
Стоп, а что если мы идём по ложному пути и нужно кардинально сменить направление?
|
||||
Дай соображу, ведь если убрать все отвлекающие факторы, то суть станет гораздо яснее.
|
||||
Хм, это заставляет меня пересмотреть свой взгляд на ситуацию и попробовать другой подход.
|
||||
Так, давай попробуем разложить эту сложную идею на простые составляющие.
|
||||
Подожди, мне кажется, что здесь есть какой-то нюанс, который мы пока не разглядели.
|
||||
Секунду, позволь мне сопоставить всё, что мы уже знаем, и вывести общую картину.
|
||||
О, а это уже по-настоящему интересно, потому что открывается новый пласт для размышлений.
|
||||
Так, если подойти к этому творчески, то можно найти решение, которое мы раньше не замечали.
|
||||
Погоди, у меня складывается ощущение, что мы стоим на пороге какого-то интересного открытия.
|
||||
Минутку, давай попробуем посмотреть на это как на головоломку и найти недостающий элемент.
|
||||
Хм, а что если ответ находится прямо перед нами, но мы его не замечаем из-за шаблонного мышления?
|
||||
Так, я вижу здесь возможность применить нестандартный подход и получить неожиданный результат.
|
||||
Стоп, это уже заставляет остановиться и задуматься, потому что что-то тут не сходится.
|
||||
Дай подумать, ведь если проявить терпение и методичность, то пазл постепенно сложится.
|
||||
О, тут явно есть что-то, что стоит более глубокого погружения и внимательного изучения.
|
||||
Так, давай попробуем абстрагироваться от эмоций и посмотреть на факты максимально объективно.
|
||||
Подожди, мне кажется, что мы слишком усложняем там, где можно было бы поступить проще.
|
||||
Секунду, позволь мне найти ту ниточку, потянув за которую можно распутать весь клубок.
|
||||
Хм, а ведь это может быть проявлением более общего принципа, который мы ещё не сформулировали.
|
||||
Так, если рассмотреть это в динамике, то можно увидеть, как система развивается во времени.
|
||||
Погоди, у меня возникло чувство, что здесь кроется какая-то неочевидная зависимость.
|
||||
Минутку, давай попробуем выделить ключевые переменные и посмотреть, как они связаны.
|
||||
О, это определённо указывает на то, что мы движемся в интересном направлении.
|
||||
Так, я пытаюсь понять внутреннюю механику этого процесса и найти его движущие силы.
|
||||
Стоп, а что если мы упускаем обратную связь, которая влияет на систему не меньше прямых факторов?
|
||||
Дай соображу, ведь если посмотреть на это под другим углом, то могут открыться скрытые аспекты.
|
||||
Хм, это наводит на мысль о том, что нужно ещё раз пересмотреть все исходные предпосылки.
|
||||
Так, давай попробуем обобщить наши наблюдения и сделать промежуточный вывод.
|
||||
Подожди, мне кажется, что мы ещё не до конца разобрались в сути вопроса и торопимся с выводами.
|
||||
Секунду, позволь мне ещё раз всё взвесить и убедиться, что мы ничего не упустили.
|
||||
Если копнуть в суть, то идея работает только при условии, что все части системы синхронизированы по времени и намерению.
|
||||
Интересно, что парадокс возникает не из противоречия, а из слишком узкого угла зрения на проблему.
|
||||
Допустим, что мы меняем один параметр — тогда вся цепочка последствий перестраивается нелинейно и неожиданно.
|
||||
Смотри, если убрать эмоциональный шум, то логика начинает проступать сквозь хаос почти как узор на воде.
|
||||
По сути, большинство ошибок — это не сбои, а просто неучтённые варианты развития событий.
|
||||
На самом деле, скорость мысли часто опережает способность языка упаковать её в понятную форму.
|
||||
Выходит, что интуиция — это просто сжатый опыт, который ещё не расшифровался в слова.
|
||||
Получается, что если система слишком стабильна, она теряет способность адаптироваться к новым условиям.
|
||||
Логично предположить, что неочевидные связи между вещами часто важнее явных причинно-следственных цепочек.
|
||||
Если рассуждать честно, то мы часто путаем удобство объяснения с его истинностью и глубиной.
|
||||
Судя по паттернам, повторяющиеся сбои — это не случайность, а сигнал о структурной уязвимости.
|
||||
Исходя из динамики, любое резкое изменение влечёт за собой волну вторичных эффектов, которые сложно предсказать.
|
||||
Вероятно, самый эффективный способ понять систему — это не анализировать её, а слегка подтолкнуть и посмотреть, как отреагирует.
|
||||
Возможно, мы переоцениваем роль контроля и недооцениваем силу самоорганизации в сложных процессах.
|
||||
Кажется, что чем больше данных, тем яснее картина, но иногда шум просто маскирует сигнал ещё сильнее.
|
||||
Думаю, что настоящие инсайты приходят не когда ищешь ответ, а когда перестаёшь задавать неправильные вопросы.
|
||||
Представь, что каждая переменная — это не точка, а вектор с направлением и скрытой энергией.
|
||||
С одной стороны, простота привлекает, но с другой — именно в нюансах прячутся ключевые механизмы.
|
||||
Между прочим, многие «прорывы» — это просто перекомбинация уже известных элементов под новым углом.
|
||||
Кстати, если идея кажется слишком очевидной, стоит проверить, не упустил ли ты скрытый слой сложности.
|
||||
По идее, обратная связь должна ускорять обучение, но только если она своевременная и релевантная.
|
||||
Технически, можно собрать работающую модель, но без понимания контекста она быстро станет бесполезной.
|
||||
Фактически, разница между теорией и практикой — это не расстояние, а плотность неучтённых переменных.
|
||||
Грубо говоря, если не знаешь, с чего начать — начни с конца и двигайся назад, часто это проясняет путь.
|
||||
Если упростить до абсурда, то любая система стремится либо к равновесию, либо к коллапсу, третьего не дано.
|
||||
Если усложнить, то даже простая петля обратной связи может породить непредсказуемое поведение на больших масштабах.
|
||||
Парадокс в том, что чем точнее мы описываем реальность, тем больше теряем в гибкости интерпретации.
|
||||
Секрет в том, чтобы не искать идеальное решение, а находить достаточно хорошее для текущего момента.
|
||||
Дело в том, что человеческий мозг отлично распознаёт паттерны, но ужасно справляется с оценкой вероятностей.
|
||||
Проблема в том, что мы часто лечим симптомы, потому что они видны, а корень остаётся в тени.
|
||||
Идея в том, чтобы позволить системе немного «ошибаться», потому что именно в отклонениях рождается адаптация.
|
||||
Суть в том, что не все связи причинные — многие просто коррелируют, и это важно различать.
|
||||
Вопрос в том, не «что делать», а «какой вопрос мы на самом деле пытаемся решить».
|
||||
Ответ в том, что иногда лучшее действие — это выдержать паузу и дать контексту проявиться.
|
||||
Ключ в том, чтобы не цепляться за первую пришедшую в голову гипотезу, а проверить несколько альтернатив.
|
||||
Разница в том, работает ли модель в идеальных условиях или в реальном мире с шумом и помехами.
|
||||
Отличие в том, что интуитивное понимание часто опережает формальное доказательство, и это нормально.
|
||||
Смысл в том, чтобы не гнаться за полнотой, а ловить момент, когда картина становится достаточно ясной.
|
||||
Логика в том, что если элемент не влияет на результат, его можно временно игнорировать для ускорения анализа.
|
||||
Механизм в том, как маленькие изменения на входе могут давать непропорционально большие эффекты на выходе.
|
||||
Принцип в том, что устойчивость системы часто зависит не от прочности частей, а от гибкости связей.
|
||||
Паттерн в том, что после фазы хаоса обычно наступает период упорядочивания, если дать процессу время.
|
||||
Тренд в том, что чем сложнее система, тем важнее становится не контроль, а настройка условий для самоорганизации.
|
||||
Феномен в том, что наблюдение за процессом иногда меняет сам процесс, и это нужно учитывать.
|
||||
Эффект в том, что небольшие задержки в обратной связи могут дестабилизировать даже хорошо сбалансированную систему.
|
||||
Причина в том, что мы склонны видеть намерение там, где есть просто случайность и статистика.
|
||||
Следствие в том, что ошибочная интерпретация причины ведёт к неверным действиям и новым ошибкам.
|
||||
Вывод в том, что лучше иметь приблизительную карту с правильным масштабом, чем точную, но в неверной проекции.
|
||||
Итог в том, что понимание приходит не когда всё ясно, а когда перестаёшь бороться с неопределённостью.
|
||||
Результат в том, что иногда достаточно изменить один параметр восприятия, чтобы вся картина встала на свои места.
|
||||
Последствие в том, что игнорирование слабых сигналов сегодня может обернуться кризисом завтра.
|
||||
Перспектива в том, чтобы научиться видеть не только то, что есть, но и то, что может возникнуть.
|
||||
Возможность в том, чтобы использовать шум как источник информации, а не просто как помеху.
|
||||
Риск в том, что слишком быстрая оптимизация под текущие условия снижает устойчивость к будущим изменениям.
|
||||
Шанс в том, чтобы превратить ограничение в творческий импульс, а не в повод для остановки.
|
||||
Вариант в том, чтобы не выбирать между простотой и глубиной, а найти точку, где они пересекаются.
|
||||
Альтернатива в том, чтобы не гасить конфликт, а направить его энергию в конструктивное русло.
|
||||
Контраст в том, что внешняя сложность может скрывать внутреннюю простоту, и наоборот.
|
||||
Противоречие в том, что стремление к контролю часто снижает реальное влияние на процесс.
|
||||
Парадоксальность в том, что иногда нужно отступить, чтобы продвинуться вперёд.
|
||||
Неочевидность в том, что самые важные переменные часто не измеряются напрямую, а выводятся косвенно.
|
||||
Скрытость в том, что мотивы и контекст могут полностью менять значение одного и того же действия.
|
||||
Глубина в том, чтобы не останавливаться на первом объяснении, а копать, пока не найдёшь фундамент.
|
||||
Поверхностность в том, что яркие, но мелкие детали могут отвлекать от сути процесса.
|
||||
Простота в том, что иногда достаточно убрать лишнее, чтобы увидеть работающую структуру.
|
||||
Сложность в том, что добавление нового элемента требует пересмотра всех существующих связей.
|
||||
Тонкость в том, чтобы чувствовать, когда нужно действовать, а когда — просто наблюдать.
|
||||
Нюанс в том, что одно и то же слово может нести разный смысл в разных контекстах.
|
||||
Деталь в том, что маленькое отклонение в начале может привести к большому расхождению в конце.
|
||||
Мелочь в том, что мы часто игнорируем, пока она не станет решающим фактором.
|
||||
Крупное в том, что очевидные изменения требуют больше ресурсов, но не всегда дают больший эффект.
|
||||
Главное в том, чтобы не терять из виду цель, когда погружаешься в детали.
|
||||
Второстепенное в том, что может стать важным при смене условий или масштаба.
|
||||
Основное в том, что работает стабильно, пока не сталкивается с чем-то принципиально новым.
|
||||
Дополнительное в том, что усиливает или ослабляет основной эффект, но редко меняет его природу.
|
||||
Сопутствующее в том, что идёт параллельно и может незаметно влиять на результат.
|
||||
Побочное в том, что не планировалось, но может оказаться ценнее основного.
|
||||
Центральное в том, что держит всю конструкцию, и его сдвиг меняет всё.
|
||||
Периферийное в том, что кажется неважным, пока не станет точкой входа для изменений.
|
||||
Ядро в том, что остаётся неизменным при всех трансформациях поверхности.
|
||||
Оболочка в том, что защищает ядро, но может и изолировать его от полезных внешних сигналов.
|
||||
Форма в том, как идея упакована, а содержание — в том, что она на самом деле несёт.
|
||||
Контекст в том, что определяет значение, и без него даже точные слова могут ввести в заблуждение.
|
||||
Фон в том, на котором выделяется фигура, и его изменение меняет восприятие целого.
|
||||
Передний план в том, что сразу бросается в глаза, но не всегда является самым важным.
|
||||
Задний план в том, что работает тихо, но обеспечивает устойчивость всей композиции.
|
||||
Угол зрения в том, с которого смотришь, определяет, что ты увидишь, а что упустишь.
|
||||
Точка отсчёта в том, что задаёт систему координат для всех последующих оценок и решений.
|
||||
База в том, на что опираешься, и если она шаткая, всё построение становится уязвимым.
|
||||
Основа в том, что не требует постоянного подтверждения, потому что работает по умолчанию.
|
||||
Фундамент в том, что закладывается в начале, и ошибки на этом этапе дорого обходятся потом.
|
||||
Каркас в том, что держит форму, пока наполняется содержанием и деталями.
|
||||
Структура в том, как элементы организованы, и от этого зависит, насколько легко систему менять.
|
||||
Система в том, что части работают не изолированно, а в связке, создавая новые свойства.
|
||||
Механика в том, как именно происходит взаимодействие, а не только в том, что взаимодействует.
|
||||
Динамика в том, как система меняется во времени, и это часто важнее её статического состояния.
|
||||
Статика в том, что даёт точку опоры для анализа, но не должна становиться иллюзией постоянства.
|
||||
Баланс в том, что позволяет системе функционировать, не проваливаясь в крайности.
|
||||
Дисбаланс в том, что может быть как угрозой, так и источником энергии для перехода на новый уровень.
|
||||
Гармония в том, что разные элементы находят способ усиливать друг друга, а не гасить.
|
||||
Если рассмотреть процесс под другим углом, то внезапно проявляются связи, которые раньше казались случайными совпадениями.
|
||||
Предположим на секунду, что ограничение — это не препятствие, а скрытый указатель на более элегантное решение.
|
||||
Когда убираешь лишний шум, то сигнал начинает проступать с такой ясностью, что вопрос кажется почти риторическим.
|
||||
Интересно проследить, как маленькое изменение в начальных условиях раскручивает цепочку последствий до неочевидных масштабов.
|
||||
Если допустить, что система обладает памятью, то каждое её состояние становится не точкой, а следом предыдущих решений.
|
||||
Смотри, как паттерны повторяются на разных уровнях — это не магия, а просто масштабная инвариантность процессов.
|
||||
Допустим, мы меняем не параметр, а сам способ измерения — тогда и результаты перестраиваются фундаментально, а не косметически.
|
||||
Когда мысль опережает формулировку, то возникает зазор, в котором рождаются самые интересные, хотя и сырые, инсайты.
|
||||
Если копнуть чуть глубже поверхностного объяснения, то обнаруживается слой допущений, на которых всё и держится.
|
||||
Представь, что каждая переменная дышит и пульсирует — тогда модель становится не статичной схемой, а живым организмом.
|
||||
По сути, ошибка — это не провал, а просто данные о границах применимости текущей гипотезы.
|
||||
На самом деле, скорость не всегда равна эффективности — иногда пауза даёт больше, чем десять быстрых действий.
|
||||
Выходит, что интуиция срабатывает там, где логика ещё не успела построить полный мост между фактами.
|
||||
Получается, что стабильность — это не отсутствие изменений, а способность поглощать возмущения без потери целостности.
|
||||
Логично предположить, что невидимые связи часто определяют поведение системы сильнее, чем явные управляющие сигналы.
|
||||
Если рассуждать без прикрас, то мы часто принимаем желаемое за действительное просто потому, что так комфортнее.
|
||||
Судя по динамике, система сама подсказывает, где находится точка наименьшего сопротивления для внедрения изменений.
|
||||
Исходя из наблюдений, повторяющиеся аномалии — это не баги, а фичи, которые мы ещё не научились читать.
|
||||
Вероятно, самый короткий путь к пониманию — это не добавление информации, а удаление ложных предпосылок.
|
||||
Возможно, мы ищем контроль там, где нужно просто настроить условия и позволить процессу самоорганизоваться.
|
||||
Кажется, что чем больше переменных, тем точнее модель, но иногда избыточность только размывает фокус внимания.
|
||||
Думаю, что настоящие прорывы случаются не в момент напряжённого поиска, а когда мозг переключается и видит связь.
|
||||
Представь, что время — не линейная ось, а сеть возможностей, где прошлое и будущее обмениваются сигналами.
|
||||
С одной стороны, хочется простоты, но с другой — именно сложность часто содержит ключ к устойчивости.
|
||||
Между прочим, многие «случайные» открытия — это просто подготовленный ум, который заметил аномалию там, где другие прошли мимо.
|
||||
Кстати, если решение кажется слишком красивым, стоит проверить, не упростили ли вы реальность до неузнаваемости.
|
||||
По идее, обратная связь должна быть не наказанием, а навигационным сигналом для коррекции курса.
|
||||
Технически, можно автоматизировать процесс, но без понимания смысла автоматизация лишь ускоряет движение в неверном направлении.
|
||||
Фактически, разрыв между ожиданием и реальностью — это не ошибка, а пространство для обучения и адаптации.
|
||||
Грубо говоря, если не видишь выхода, возможно, ты ищешь дверь там, где нужно проделать окно.
|
||||
Если упростить до предела, то любая система либо эволюционирует, либо деградирует — застой лишь иллюзия временного равновесия.
|
||||
Если усложнить модель, то даже детерминированные правила могут порождать поведение, которое невозможно предсказать аналитически.
|
||||
Парадокс в том, что чем больше мы контролируем процесс, тем меньше остаётся места для неожиданных, но ценных отклонений.
|
||||
Секрет в том, чтобы не гнаться за идеальным моментом, а действовать, когда информация достигла достаточной, но не избыточной полноты.
|
||||
Дело в том, что мозг отлично видит целое, но часто спотыкается на деталях, которые кажутся незначительными, но меняют всё.
|
||||
Проблема в том, что мы лечим последствия, потому что они болезненны, а причина остаётся в тени, продолжая работать.
|
||||
Идея в том, чтобы позволить системе генерировать вариации — именно в разнообразии рождается устойчивость к неопределённости.
|
||||
Суть в том, что корреляция не означает причинности, и путать их — значит строить выводы на зыбком фундаменте.
|
||||
Вопрос в том, не «как сделать», а «зачем это нужно» — и ответ часто меняет весь подход.
|
||||
Ответ в том, что иногда лучшее решение — это не действие, а создание условий, в которых решение возникает само.
|
||||
Ключ в том, чтобы не зацикливаться на одной гипотезе, а держать в уме несколько сценариев одновременно.
|
||||
Разница в том, работает ли идея в лаборатории или в реальном мире, где всегда есть шум, трение и человеческий фактор.
|
||||
Отличие в том, что интуитивное чувство часто приходит раньше, чем мозг успевает собрать все аргументы в логичную цепочку.
|
||||
Смысл в том, чтобы не ждать полной ясности, а действовать, когда картина стала достаточно отчётливой для первого шага.
|
||||
Логика в том, что если элемент не влияет на выход, его можно временно исключить, чтобы ускорить поиск уязвимостей.
|
||||
Механизм в том, как малые возмущения на входе могут усиливаться нелинейно и давать непропорционально большие изменения на выходе.
|
||||
Принцип в том, что гибкость связей часто важнее прочности элементов — система выживает не благодаря, а вопреки жёсткости.
|
||||
Паттерн в том, что после периода хаоса обычно наступает фаза упорядочивания, если не мешать процессу избыточным контролем.
|
||||
Тренд в том, что чем сложнее становится среда, тем важнее не управление, а настройка правил самоорганизации внутри системы.
|
||||
Феномен в том, что сам акт измерения может влиять на измеряемый процесс, и это нельзя игнорировать в модели.
|
||||
Эффект в том, что даже небольшие задержки в контуре обратной связи могут дестабилизировать казалось бы устойчивую динамику.
|
||||
Причина в том, что мы склонны приписывать намерение случайным событиям — это эвристика, которая иногда ведёт к ошибкам.
|
||||
Следствие в том, что неверно определённая причина ведёт к неверным действиям, которые лишь усугубляют исходную проблему.
|
||||
Вывод в том, что лучше иметь приближённую модель с правильными допущениями, чем точную, но построенную на ложных предпосылках.
|
||||
Итог в том, что понимание приходит не когда всё стало простым, а когда ты перестал бояться сложности.
|
||||
Результат в том, что иногда достаточно сдвинуть фокус внимания, чтобы разрозненные элементы сложились в узнаваемый паттерн.
|
||||
Последствие в том, что игнорирование слабых сигналов сегодня может привести к тому, что завтра они станут лавиной.
|
||||
Перспектива в том, чтобы научиться видеть не только текущее состояние, но и вектор, в котором система движется.
|
||||
Возможность в том, чтобы использовать шум и неопределённость как источник информации, а не просто как досадную помеху.
|
||||
Риск в том, что чрезмерная оптимизация под текущие условия снижает способность системы адаптироваться к будущим изменениям.
|
||||
Шанс в том, чтобы превратить внешнее ограничение во внутренний стимул для поиска более креативного и устойчивого решения.
|
||||
Вариант в том, чтобы не выбирать между скоростью и качеством, а найти баланс, где одно усиливает другое.
|
||||
Альтернатива в том, чтобы не подавлять конфликт интересов, а направить его энергию в русло конструктивной эволюции.
|
||||
Контраст в том, что внешняя простота может скрывать глубокую внутреннюю структуру, и наоборот — сложность может быть лишь фасадом.
|
||||
Противоречие в том, что стремление к полному контролю часто снижает реальную способность влиять на динамику процесса.
|
||||
Парадоксальность в том, что иногда нужно сделать шаг назад, чтобы разбежаться и прыгнуть дальше вперёд.
|
||||
Неочевидность в том, что самые влиятельные переменные часто не измеряются напрямую, а выводятся через косвенные признаки.
|
||||
Скрытость в том, что контекст и мотивы могут полностью менять значение одного и того же действия или слова.
|
||||
Глубина в том, чтобы не останавливаться на первом правдоподобном объяснении, а копать, пока не дойдёшь до фундамента.
|
||||
Поверхностность в том, что яркие, но второстепенные детали могут отвлекать внимание от сути и замедлять понимание.
|
||||
Простота в том, что иногда достаточно убрать лишнее, чтобы работающая структура проявилась сама, без дополнительных усилий.
|
||||
Сложность в том, что добавление нового элемента требует пересмотра всех существующих связей и может дестабилизировать систему.
|
||||
Тонкость в том, чтобы чувствовать момент, когда нужно активно вмешаться, а когда — просто наблюдать и позволять процессу течь.
|
||||
Нюанс в том, что одно и то же действие может иметь разный смысл в зависимости от контекста и точки зрения.
|
||||
Деталь в том, что маленькое отклонение в начале пути может привести к большому расхождению в конечной точке.
|
||||
Мелочь в том, что мы часто игнорируем, пока она не накопится и не станет решающим фактором в критический момент.
|
||||
Крупное в том, что очевидные изменения требуют больше ресурсов, но не всегда дают пропорциональный прирост эффективности.
|
||||
Главное в том, чтобы не терять из виду конечную цель, когда погружаешься в проработку деталей и тактических шагов.
|
||||
Второстепенное в том, что может стать критически важным при смене внешних условий или масштабировании процесса.
|
||||
Основное в том, что работает стабильно в привычных условиях, но может дать сбой при столкновении с чем-то принципиально новым.
|
||||
Дополнительное в том, что усиливает или ослабляет основной эффект, но редко меняет его фундаментальную природу и направление.
|
||||
Сопутствующее в том, что идёт параллельно основному процессу и может незаметно влиять на итоговый результат.
|
||||
Побочное в том, что не планировалось изначально, но может оказаться ценнее и перспективнее основного направления.
|
||||
Центральное в том, что держит всю конструкцию, и его сдвиг или изменение ведёт к перестройке всей системы.
|
||||
Периферийное в том, что кажется неважным на первый взгляд, но может стать точкой входа для глубоких изменений.
|
||||
Ядро в том, что остаётся неизменным при всех внешних трансформациях и определяет идентичность системы.
|
||||
Оболочка в том, что защищает ядро от внешних воздействий, но может и изолировать его от полезных сигналов среды.
|
||||
Форма в том, как идея упакована и представлена, а содержание — в том, что она на самом деле несёт и меняет.
|
||||
Контекст в том, что определяет истинное значение, и без его учёта даже точные слова могут ввести в заблуждение.
|
||||
Фон в том, на котором выделяется фигура, и его изменение может полностью поменять восприятие и интерпретацию целого.
|
||||
Передний план в том, что сразу бросается в глаза и привлекает внимание, но не всегда является самым важным элементом.
|
||||
Задний план в том, что работает тихо и незаметно, но обеспечивает устойчивость и связность всей композиции.
|
||||
Угол зрения в том, с которого ты смотришь на проблему, определяет, что ты увидишь, а что останется за кадром.
|
||||
Точка отсчёта в том, что задаёт систему координат для всех последующих оценок, сравнений и принимаемых решений.
|
||||
База в том, на что ты опираешься в своих рассуждениях, и если она шаткая, всё построение становится уязвимым.
|
||||
Основа в том, что не требует постоянного подтверждения и работает по умолчанию, создавая фундамент для дальнейших действий.
|
||||
Фундамент в том, что закладывается в самом начале, и ошибки на этом этапе дорого обходятся на поздних стадиях.
|
||||
Каркас в том, что держит форму и структуру, пока система наполняется содержанием, деталями и живым опытом.
|
||||
Структура в том, как организованы элементы и связи между ними, и от этого зависит гибкость и адаптивность системы.
|
||||
Система в том, что части работают не изолированно, а в связке, создавая эмерджентные свойства, которых нет у отдельных элементов.
|
||||
Механика в том, как именно происходит взаимодействие и обмен между элементами, а не только в том, что именно взаимодействует.
|
||||
Динамика в том, как система меняется и эволюционирует во времени, и это часто важнее её статического снимка в моменте.
|
||||
Статика в том, что даёт точку опоры для анализа и понимания, но не должна становиться иллюзией постоянства и неизменности.
|
||||
Баланс в том, что позволяет системе функционировать устойчиво, не проваливаясь в крайности и не теряя целостности.
|
||||
Дисбаланс в том, что может быть как угрозой стабильности, так и источником энергии для перехода на новый уровень организации.
|
||||
Гармония в том, что разные элементы находят способ усиливать и дополнять друг друга, а не гасить и конфликтовать.
|
||||
Рассматривая ситуацию с разных сторон, замечаешь, что кажущиеся противоречия часто оказываются частями единой более сложной картины.
|
||||
Допустив на мгновение обратное, можно обнаружить, что привычная логика перестаёт работать и открываются новые пути решения.
|
||||
Наблюдая за динамикой процесса, видишь, как малые флуктуации на входе порождают значительные изменения на выходе системы.
|
||||
Предположив, что ограничение является не стеной, а дверью, находишь неожиданный способ обойти проблему с новой стороны.
|
||||
Анализируя паттерны поведения, понимаешь, что повторяющиеся сбои указывают не на случайность, а на структурную уязвимость.
|
||||
Размышляя о природе интуиции, приходишь к выводу, что это сжатый опыт, ещё не расшифрованный в слова и формулы.
|
||||
Взглянув на проблему под другим углом, замечаешь связи, которые раньше скрывались за очевидными причинно-следственными цепочками.
|
||||
Допустив, что система обладает памятью, начинаешь видеть каждое её состояние как след предыдущих решений и внешних воздействий.
|
||||
Наблюдая, как мысль опережает формулировку, фиксируешь тот зазор, в котором рождаются самые интересные, хотя и сырые, инсайты.
|
||||
Предположив, что шум — это не помеха, а сигнал, начинаешь извлекать информацию из того, что раньше игнорировал.
|
||||
Копая глубже поверхностного объяснения, обнаруживаешь слой допущений, на которых держится вся конструкция аргументации.
|
||||
Размышляя о скорости и качестве, понимаешь, что иногда пауза даёт больше, чем десять быстрых, но необдуманных действий.
|
||||
Взглянув на стабильность как на способность поглощать возмущения, перестаёшь искать статичное равновесие и начинаешь ценить адаптивность.
|
||||
Анализируя невидимые связи, замечаешь, что они часто определяют поведение системы сильнее, чем явные управляющие сигналы и правила.
|
||||
Допустив, что ошибка — это данные о границах гипотезы, перестаёшь бояться сбоев и начинаешь использовать их для обучения.
|
||||
Наблюдая за самоорганизацией, видишь, как порядок возникает из хаоса без внешнего управления, если созданы правильные условия.
|
||||
Предположив, что время нелинейно, начинаешь рассматривать прошлое и будущее как обменивающиеся сигналами части единой сети.
|
||||
Размышляя о простоте и сложности, понимаешь, что иногда именно в нюансах прячутся ключевые механизмы работы системы.
|
||||
Взглянув на «случайные» открытия как на подготовленный ум, замечающий аномалию, ценишь роль внимания и готовности к неожиданному.
|
||||
Анализируя обратную связь, перестаёшь видеть в ней наказание и начинаешь использовать как навигационный сигнал для коррекции курса.
|
||||
Допустив, что автоматизация без понимания смысла лишь ускоряет движение в неверном направлении, сначала ищешь суть, потом оптимизируешь.
|
||||
Наблюдая разрыв между ожиданием и реальностью, перестаёшь видеть в нём ошибку и начинаешь использовать как пространство для обучения.
|
||||
Предположив, что выход может быть не там, где ищешь дверь, допускаешь возможность проделать окно в неожиданном месте.
|
||||
Размышляя о эволюции и деградиции, понимаешь, что застой — лишь иллюзия временного равновесия в постоянно меняющейся среде.
|
||||
Взглянув на детерминированные правила, порождающие непредсказуемое поведение, ценишь сложность как источник эмерджентных свойств системы.
|
||||
Анализируя стремление к контролю, замечаешь парадокс: чем больше контролируем, тем меньше места для ценных неожиданных отклонений.
|
||||
Допустив, что идеальный момент — иллюзия, начинаешь действовать, когда информация достигла достаточной, но не избыточной полноты.
|
||||
Наблюдая, как мозг видит целое, но спотыкается на деталях, учишься балансировать между общим взглядом и вниманием к нюансам.
|
||||
Предположив, что лечение последствий без работы с причиной лишь откладывает кризис, начинаешь искать корень, а не симптомы.
|
||||
Размышляя о вариациях и устойчивости, понимаешь, что именно в разнообразии рождается способность системы адаптироваться к неопределённости.
|
||||
Взглянув на корреляцию и причинность, перестаёшь путать их и строишь выводы на более надёжном фундаменте фактов и логики.
|
||||
Анализируя вопрос «зачем» перед «как», замечаешь, что ответ часто меняет весь подход и экономит ресурсы на неверных путях.
|
||||
Допустив, что лучшее решение — создание условий, в которых оно возникает само, перестаёшь давить и начинаешь направлять процесс.
|
||||
Наблюдая, как зацикленность на одной гипотезе сужает поле зрения, учишься держать в уме несколько сценариев одновременно.
|
||||
Предположив, что лабораторные условия отличаются от реального мира, начинаешь тестировать идеи с учётом шума, трения и человеческого фактора.
|
||||
Размышляя об интуитивном чувстве, понимаешь, что оно часто приходит раньше, чем мозг успевает собрать аргументы в логичную цепочку.
|
||||
Взглянув на ясность как на процесс, а не состояние, перестаёшь ждать полной определённости и начинаешь действовать при достаточной отчётливости.
|
||||
Анализируя влияние элементов на выход, учишься временно исключать нейтральные переменные для ускорения поиска уязвимостей и точек роста.
|
||||
Допустив, что малые возмущения усиливаются нелинейно, начинаешь внимательнее относиться к начальным условиям и малозаметным изменениям в системе.
|
||||
Наблюдая, как гибкость связей важнее прочности элементов, перестаёшь укреплять части и начинаешь настраивать взаимодействия для общей устойчивости.
|
||||
Предположив, что хаос — фаза перед упорядочиванием, учишься не мешать процессу избыточным контролем и давать время на самоорганизацию.
|
||||
Размышляя о сложности среды, понимаешь, что важнее не управление, а настройка правил самоорганизации внутри самой системы.
|
||||
Взглянув на акт измерения как на вмешательство, начинаешь учитывать влияние наблюдателя на измеряемый процесс в своих моделях.
|
||||
Анализируя задержки в обратной связи, замечаешь, что даже небольшие лаги могут дестабилизировать казалось бы устойчивую динамику системы.
|
||||
Допустив, что приписывание намерения случайным событиям — эвристика, начинаешь проверять, не ведёт ли она к систематическим ошибкам.
|
||||
Наблюдая, как неверно определённая причина ведёт к неверным действиям, учишься сначала точно диагностировать, потом действовать.
|
||||
Предположив, что приближённая модель с правильными допущениями лучше точной на ложных предпосылках, начинаешь ценить качество фундамента аргументации.
|
||||
Размышляя о понимании, понимаешь, что оно приходит не когда всё стало простым, а когда перестаёшь бояться сложности.
|
||||
Взглянув на фокус внимания как на инструмент, замечаешь, что иногда достаточно его сдвинуть, чтобы разрозненные элементы сложились в паттерн.
|
||||
Анализируя слабые сигналы, начинаешь видеть в них ранние индикаторы изменений, которые завтра могут стать лавиной, если их игнорировать.
|
||||
Допустив, что вектор движения важнее текущего состояния, начинаешь оценивать не только где система, но и куда она движется.
|
||||
Наблюдая за шумом и неопределённостью, перестаёшь видеть в них лишь помеху и начинаешь извлекать информацию из хаоса.
|
||||
Предположив, что чрезмерная оптимизация снижает адаптивность, начинаешь балансировать между эффективностью сегодня и устойчивостью завтра.
|
||||
Размышляя об ограничениях, понимаешь, что внешние рамки могут стать внутренним стимулом для поиска более креативного и устойчивого решения.
|
||||
Взглянув на скорость и качество не как на выбор, а как на взаимодополняющие параметры, ищешь баланс, где одно усиливает другое.
|
||||
Анализируя конфликт интересов, перестаёшь подавлять его и начинаешь направлять энергию разногласий в русло конструктивной эволюции системы.
|
||||
Допустив, что внешняя простота может скрывать глубокую структуру, начинаешь проверять, не обманывает ли тебя первый взгляд на проблему.
|
||||
Наблюдая, как стремление к полному контролю снижает реальное влияние, начинаешь ценить частичное управление с пространством для самоорганизации.
|
||||
Предположив, что шаг назад может быть разбегом для прыжка вперёд, перестаёшь видеть в отступлении поражение и начинаешь использовать его стратегически.
|
||||
Размышляя о влиятельных переменных, понимаешь, что самые важные из них часто не измеряются напрямую, а выводятся через косвенные признаки.
|
||||
Взглянув на контекст как на определитель значения, начинаешь учитывать, что одно и то же действие может иметь разный смысл в разных условиях.
|
||||
Анализируя объяснения, перестаёшь останавливаться на первом правдоподобном и начинаешь копать, пока не дойдёшь до фундамента аргументации.
|
||||
Допустив, что яркие детали могут отвлекать от сути, начинаешь фильтровать информацию и фокусироваться на том, что действительно меняет картину.
|
||||
Наблюдая, как удаление лишнего проявляет работающую структуру, перестаёшь добавлять и начинаешь убирать для достижения ясности и эффективности.
|
||||
Предположив, что новый элемент требует пересмотра всех связей, начинаешь оценивать системные последствия перед внедрением любых изменений.
|
||||
Размышляя о моменте вмешательства, понимаешь тонкость: иногда нужно активно действовать, а иногда — просто наблюдать и позволять процессу течь.
|
||||
Взглянув на действие в контексте, замечаешь, что его смысл меняется в зависимости от точки зрения и окружающих условий.
|
||||
Анализируя малые отклонения в начале пути, начинаешь ценить важность начальных условий и их долгосрочное влияние на конечный результат.
|
||||
Допустив, что игнорируемые мелочи накапливаются, начинаешь внимательнее относиться к деталям, которые кажутся незначительными, но могут стать решающими.
|
||||
Наблюдая, как очевидные изменения требуют ресурсов, но не всегда дают прирост эффективности, начинаешь оценивать отдачу перед вложением усилий.
|
||||
Предположив, что цель может потеряться в деталях, начинаешь периодически поднимать взгляд и сверяться с конечным направлением движения.
|
||||
Размышляя о второстепенном, понимаешь, что оно может стать критически важным при смене условий или масштабировании процесса.
|
||||
Взглянув на основное как на стабильное в привычных условиях, начинаешь проверять, как оно поведёт себя при столкновении с новым.
|
||||
Анализируя дополнительное, замечаешь, что оно усиливает или ослабляет основной эффект, но редко меняет его фундаментальную природу.
|
||||
Допустив, что сопутствующее идёт параллельно и влияет незаметно, начинаешь отслеживать фоновые процессы, которые могут изменить итоговый результат.
|
||||
Наблюдая за побочными эффектами, перестаёшь видеть в них лишь помеху и начинаешь оценивать, не окажутся ли они ценнее основного.
|
||||
Предположив, что центральное держит конструкцию, начинаешь бережно относиться к ключевым элементам, сдвиг которых ведёт к перестройке всей системы.
|
||||
Размышляя о периферийном, понимаешь, что кажущееся неважным может стать точкой входа для глубоких и неожиданных изменений.
|
||||
Взглянув на ядро как на неизменное при внешних трансформациях, начинаешь чётко отделять суть от формы в своих рассуждениях.
|
||||
Анализируя оболочку, замечаешь двойственную роль: защита от внешних воздействий может стать изоляцией от полезных сигналов среды.
|
||||
Допустив, что форма упаковки идеи влияет на восприятие, начинаешь подбирать способ подачи, соответствующий содержанию и аудитории.
|
||||
Наблюдая, как контекст определяет значение, начинаешь явно проговаривать условия, чтобы даже точные слова не вводили в заблуждение.
|
||||
Предположив, что фон влияет на восприятие фигуры, начинаешь учитывать окружение при анализе и презентации ключевых элементов системы.
|
||||
Размышляя о переднем плане, понимаешь, что бросающееся в глаза не всегда является самым важным, и учишься смотреть глубже.
|
||||
Взглянув на задний план как на обеспечителя устойчивости, начинаешь ценить тихую работу фоновых процессов, поддерживающих всю композицию.
|
||||
Анализируя угол зрения, замечаешь, что он определяет, что увидишь, а что упустишь, и сознательно меняешь перспективу для полноты картины.
|
||||
Допустив, что точка отсчёта задаёт систему координат, начинаешь явно определять базис для всех последующих оценок и принимаемых решений.
|
||||
Наблюдая за базой рассуждений, начинаешь проверять её устойчивость, потому что шаткий фундамент делает всё построение уязвимым.
|
||||
Предположив, что основа работает по умолчанию, начинаешь выявлять неявные допущения, на которые опираешься, и проверять их актуальность.
|
||||
Размышляя о фундаменте, понимаешь, что ошибки, заложенные в начале, дорого обходятся на поздних стадиях, и ценишь тщательность старта.
|
||||
Взглянув на каркас как на держателя формы, начинаешь строить структуру, способную выдержать наполнение содержанием, деталями и живым опытом.
|
||||
Анализируя организацию элементов и связей, замечаешь, что от структуры зависит гибкость и адаптивность системы к изменениям среды.
|
||||
Допустив, что части работают в связке, начинаешь искать эмерджентные свойства, которые возникают только при взаимодействии, а не у отдельных элементов.
|
||||
Наблюдая за механикой взаимодействия, начинаешь фокусироваться не только на том, что взаимодействует, но и как именно происходит обмен.
|
||||
Предположив, что динамика важнее статического снимка, начинаешь оценивать систему в развитии, а не в зафиксированном моменте времени.
|
||||
Размышляя о статике как о точке опоры, начинаешь использовать её для анализа, но не позволять ей стать иллюзией постоянства.
|
||||
Взглянув на баланс как на условие устойчивого функционирования, начинаешь искать золотую середину, избегая провалов в крайности.
|
||||
Анализируя дисбаланс, замечаешь его двойственную природу: угроза стабильности или источник энергии для перехода на новый уровень организации.
|
||||
Допустив, что гармония — это усиление через различие, начинаешь настраивать элементы так, чтобы они дополняли, а не гасили друг друга.
|
||||
Наблюдая за эволюцией системы, начинаешь ценить не только текущее состояние, но и траекторию, по которой она движется в будущее.
|
||||
Предположив, что адаптивность важнее оптимальности в меняющейся среде, начинаешь проектировать системы с запасом гибкости и способности к обучению.
|
||||
Размышляя о неопределённости, понимаешь, что попытка устранить её полностью парализует действие, и начинаешь действовать при достаточной, но не полной ясности.
|
||||
Система сама подсказывает где находится слабое место если просто позволить ей проявить свою внутреннюю логику без избыточного вмешательства.
|
||||
Паттерны которые казались случайными при ближайшем рассмотрении оказываются частью более глубокой структуры управляющей поведением всей системы.
|
||||
Иногда достаточно изменить один параметр восприятия чтобы вся картина мира перестроилась и встала на свои места с новой ясностью.
|
||||
Неочевидные связи между элементами часто определяют итоговый результат сильнее чем явные правила и прописанные алгоритмы управления.
|
||||
Ошибка в данных может быть не шумом а сигналом о том что модель устарела и требует пересмотра фундаментальных допущений.
|
||||
Скорость мысли опережает способность языка упаковать идею в форму поэтому иногда лучше сначала почувствовать а потом уже формулировать.
|
||||
Стабильность системы зависит не от прочности отдельных частей а от гибкости связей которые позволяют адаптироваться к изменениям среды.
|
||||
Корреляция не означает причинность и путать эти понятия значит строить выводы на зыбком фундаменте статистических совпадений.
|
||||
Интуиция это просто сжатый опыт который ещё не расшифровался в слова но уже готов направить внимание в нужную сторону.
|
||||
Шум в системе может быть не помехой а источником информации если научиться извлекать сигнал из кажущегося хаоса.
|
||||
Малые изменения в начальных условиях способны запустить цепную реакцию последствий которые невозможно предсказать линейной логикой.
|
||||
Обратная связь работает только когда она своевременная и релевантная иначе она лишь создаёт иллюзию контроля без реального влияния.
|
||||
Самоорганизация возникает когда элементы системы находят способ усиливать друг друга без внешнего управления если созданы правильные условия.
|
||||
Гибкость важнее прочности потому что мир меняется и только адаптивные структуры выживают в условиях неопределённости.
|
||||
Контекст определяет значение и без его учёта даже самые точные слова могут ввести в заблуждение или исказить смысл.
|
||||
Время нелинейно и прошлое с будущим обмениваются сигналами поэтому иногда решение приходит из направления которое кажется нелогичным.
|
||||
Простота может скрывать глубину а сложность быть лишь фасадом поэтому первый взгляд редко даёт полную картину реальности.
|
||||
Контроль снижает пространство для неожиданных отклонений которые иногда оказываются ценнее запланированных результатов и предсказуемых траекторий.
|
||||
Пауза даёт больше чем десять быстрых действий когда нужно не реагировать а осмыслить и найти верное направление движения.
|
||||
Разнообразие вариаций рождает устойчивость потому что система с множеством путей обхода препятствий выживает там где другие ломаются.
|
||||
Наблюдатель влияет на наблюдаемое и это нельзя игнорировать при построении моделей которые претендуют на объективность и точность.
|
||||
Задержки в контуре управления могут дестабилизировать даже хорошо сбалансированную систему если не учитывать временные лаги в реакции.
|
||||
Приписывание намерения случайным событиям это эвристика которая помогает мозгу но иногда ведёт к систематическим ошибкам в выводах.
|
||||
Неверно определённая причина ведёт к неверным действиям которые лишь усугубляют проблему вместо того чтобы решить её корень.
|
||||
Приближённая модель с правильными допущениями лучше точной модели построенной на ложных предпосылках потому что фундамент важнее деталей.
|
||||
Понимание приходит не когда всё стало простым а когда перестаёшь бояться сложности и начинаешь видеть в ней структуру.
|
||||
Сдвиг фокуса внимания позволяет разрозненным элементам сложиться в узнаваемый паттерн который раньше скрывался за избытком информации.
|
||||
Слабые сигналы сегодня могут стать лавиной завтра если игнорировать ранние индикаторы изменений в динамике системы.
|
||||
Вектор движения важнее текущего состояния потому что направление определяет куда придёт система а не где она находится сейчас.
|
||||
Неопределённость это не враг а источник возможностей если научиться действовать при достаточной но не полной ясности.
|
||||
Чрезмерная оптимизация под текущие условия снижает адаптивность поэтому баланс между эффективностью сегодня и устойчивостью завтра критически важен.
|
||||
Ограничения могут стать стимулом для креативности потому что рамки заставляют искать неочевидные пути обхода и новые решения.
|
||||
Скорость и качество не выбор а взаимодополняющие параметры где одно усиливает другое при правильном балансе и настройке.
|
||||
Конфликт интересов это энергия которую можно направить в конструктивное русло если не подавлять а перенаправлять разногласия.
|
||||
Внешняя простота может обманывать поэтому стоит проверять не скрывается ли за ней глубокая структура требующая внимания и анализа.
|
||||
Частичное управление с пространством для самоорганизации работает лучше чем тотальный контроль потому что система сама находит оптимальные траектории.
|
||||
Шаг назад может быть стратегическим разбегом для прыжка вперёд если использовать отступление как инструмент а не как поражение.
|
||||
Влиятельные переменные часто не измеряются напрямую а выводятся через косвенные признаки что требует внимательности и нестандартного подхода.
|
||||
Одно и то же действие имеет разный смысл в разных контекстах поэтому условия всегда важнее самих действий и слов.
|
||||
Первое правдоподобное объяснение редко бывает полным поэтому стоит копать глубже пока не дойдёшь до фундамента аргументации и логики.
|
||||
Яркие детали могут отвлекать от сути поэтому фильтрация информации и фокус на главном критически важны для понимания.
|
||||
Удаление лишнего проявляет работающую структуру лучше чем добавление нового потому что простота часто скрывает истинную механику процесса.
|
||||
Новый элемент требует пересмотра всех связей поэтому системные последствия нужно оценивать перед внедрением любых изменений в архитектуру.
|
||||
Момент вмешательства требует тонкого чувства потому что иногда нужно действовать а иногда просто наблюдать и позволять процессу течь.
|
||||
Смысл действия меняется в зависимости от точки зрения поэтому контекст и перспектива определяют интерпретацию и итоговое значение.
|
||||
Малые отклонения в начале пути имеют долгосрочное влияние на результат поэтому начальные условия требуют особого внимания и точности.
|
||||
Игнорируемые мелочи накапливаются и могут стать решающим фактором поэтому детали которые кажутся незначительными заслуживают внимания и учёта.
|
||||
Очевидные изменения требуют ресурсов но не всегда дают отдачу поэтому оценка эффективности важна перед вложением усилий и времени.
|
||||
Цель может потеряться в деталях поэтому периодически нужно поднимать взгляд и сверяться с конечным направлением движения и стратегии.
|
||||
Второстепенное может стать критическим при смене условий поэтому стоит отслеживать не только главное но и фоновые элементы системы.
|
||||
Основное стабильно в привычных условиях но может дать сбой при столкновении с новым поэтому тестирование на границах важно.
|
||||
Дополнительное усиливает или ослабляет основной эффект но редко меняет его природу поэтому его влияние нужно учитывать но не переоценивать.
|
||||
Сопутствующее идёт параллельно и влияет незаметно поэтому фоновые процессы требуют мониторинга чтобы избежать неожиданных изменений в результате.
|
||||
Побочные эффекты могут оказаться ценнее основного направления поэтому стоит оценивать не только план но и возможные отклонения от него.
|
||||
Центральное держит конструкцию поэтому сдвиг ключевых элементов ведёт к перестройке всей системы что требует бережного отношения и анализа.
|
||||
Периферийное может стать точкой входа для изменений поэтому кажущееся неважным заслуживает внимания как потенциальный источник трансформации.
|
||||
Ядро остаётся неизменным при внешних трансформациях поэтому чёткое отделение сути от формы помогает сохранять идентичность в процессе изменений.
|
||||
Оболочка защищает но может изолировать поэтому баланс между безопасностью и открытостью критически важен для устойчивого развития системы.
|
||||
Форма упаковки идеи влияет на восприятие поэтому способ подачи должен соответствовать содержанию и аудитории для максимальной эффективности коммуникации.
|
||||
Контекст определяет значение поэтому явное проговаривание условий помогает избежать недопонимания и искажения смысла даже при точных формулировках.
|
||||
Фон влияет на восприятие фигуры поэтому окружение нужно учитывать при анализе и презентации ключевых элементов для полноты картины.
|
||||
Передний план привлекает внимание но не всегда важен поэтому умение смотреть глубже первого впечатления критически важно для понимания.
|
||||
Задний план обеспечивает устойчивость поэтому тихая работа фоновых процессов заслуживает признания и учёта при оценке всей композиции.
|
||||
Угол зрения определяет что увидишь поэтому сознательная смена перспективы помогает получить более полную и объективную картину реальности.
|
||||
Точка отсчёта задаёт систему координат поэтому явное определение базиса для оценок и решений помогает избежать ошибок в интерпретации.
|
||||
База рассуждений должна быть устойчивой поэтому проверка неявных допущений и фундаментальных предпосылок критически важна для надёжности выводов.
|
||||
Основа работает по умолчанию поэтому выявление и проверка неявных опор помогает избежать шаткости в построении аргументации и логики.
|
||||
Фундамент закладывается в начале поэтому тщательность старта и внимание к начальным условиям окупается на поздних стадиях развития.
|
||||
Каркас держит форму поэтому структура должна быть способна выдержать наполнение содержанием деталями и живым опытом без потери целостности.
|
||||
Организация элементов определяет гибкость поэтому настройка связей и взаимодействий важнее укрепления отдельных частей для адаптивности системы.
|
||||
Части работают в связке поэтому эмерджентные свойства которые возникают при взаимодействии требуют особого внимания и анализа в моделировании.
|
||||
Механика взаимодействия важнее списка элементов поэтому фокус на том как происходит обмен помогает понять истинную динамику процесса.
|
||||
Динамика важнее статического снимка поэтому оценка системы в развитии а не в моменте даёт более точное понимание её поведения.
|
||||
Статика даёт точку опоры но не должна становиться иллюзией постоянства поэтому баланс между анализом и признанием изменчивости критичен.
|
||||
Баланс позволяет функционировать устойчиво поэтому поиск золотой середины и избегание крайностей помогает системе сохранять целостность в изменениях.
|
||||
Дисбаланс может быть угрозой или источником энергии поэтому оценка его природы и потенциала помогает использовать его конструктивно.
|
||||
Гармония это усиление через различие поэтому настройка элементов на взаимодополнение а не конфликт помогает системе достигать новых уровней.
|
||||
Эволюция системы определяет её будущее поэтому траектория движения и направление изменений важнее текущего состояния для долгосрочного планирования.
|
||||
Адаптивность важнее оптимальности в меняющейся среде поэтому проектирование с запасом гибкости и способности к обучению критически важно.
|
||||
Неопределённость это источник возможностей поэтому действие при достаточной но не полной ясности помогает двигаться вперёд без паралича анализа.
|
||||
Наблюдение за процессом меняет сам процесс поэтому учёт влияния наблюдателя помогает строить более точные и объективные модели реальности.
|
||||
Задержки в реакции могут дестабилизировать систему поэтому временные лаги нужно учитывать при проектировании контуров управления и обратной связи.
|
||||
Случайность может маскировать закономерность поэтому проверка на статистическую значимость помогает отличить шум от сигнала в данных.
|
||||
Неверная диагностика ведёт к неверному лечению поэтому точное определение причины критически важно перед началом любых действий и вмешательств.
|
||||
Ложные предпосылки портят даже точную модель поэтому проверка фундамента аргументации важнее шлифовки деталей и второстепенных параметров.
|
||||
Сложность это не враг а вызов поэтому принятие неопределённости и работа с ней помогает находить решения там где другие сдаются.
|
||||
Фокус внимания это инструмент поэтому сознательное управление тем на что смотришь помогает видеть паттерны которые раньше скрывались.
|
||||
Ранние индикаторы изменений требуют внимания поэтому мониторинг слабых сигналов помогает предвидеть лавины до того как они начнутся.
|
||||
Направление определяет результат поэтому оценка вектора движения системы важнее фиксации её текущего положения для стратегического планирования.
|
||||
Действие при неполной ясности это навык поэтому развитие способности принимать решения в условиях неопределённости критически важно для эффективности.
|
||||
Оптимизация требует баланса поэтому поиск точки где эффективность сегодня не жертвует устойчивостью завтра помогает строить долгосрочные решения.
|
||||
Рамки стимулируют креативность поэтому использование ограничений как вызова а не препятствия помогает находить неочевидные и элегантные пути.
|
||||
Взаимодополнение параметров это искусство поэтому поиск баланса где скорость усиливает качество а не противоречит ему требует внимания и настройки.
|
||||
Энергия разногласий это ресурс поэтому перенаправление конфликта в конструктивное русло помогает системе эволюционировать а не разрушаться.
|
||||
Проверка первого впечатления это привычка поэтому умение смотреть глубже поверхностной простоты помогает обнаруживать скрытую глубину и структуру.
|
||||
Пространство для самоорганизации это необходимость поэтому частичное управление с возможностью адаптации работает лучше чем тотальный контроль и жёсткость.
|
||||
Стратегическое отступление это инструмент поэтому использование шага назад как разбега для прыжка вперёд помогает достигать целей эффективнее.
|
||||
Косвенные признаки это подсказки поэтому внимание к неявным переменным и выводимым параметрам помогает находить влиятельные факторы системы.
|
||||
Условия определяют смысл поэтому контекстуализация действий и слов помогает избежать недопонимания и искажения интерпретации в коммуникации.
|
||||
Глубина аргументации это ценность поэтому отказ от первого правдоподобного объяснения в пользу более фундаментального анализа помогает строить надёжные выводы.
|
||||
Фильтрация информации это навык поэтому умение отделять главное от второстепенного и фокусироваться на сути помогает достигать ясности и эффективности.
|
||||
Когда система начинает вести себя непредсказуемо это часто сигнал что она переросла старые правила и требует новых принципов управления.
|
||||
Паттерны которые повторяются на разных масштабах указывают на фундаментальные законы а не на случайные совпадения в данных.
|
||||
Иногда лучший способ понять сложную систему это не анализировать её изнутри а наблюдать за реакцией на внешние возмущения.
|
||||
Неочевидные взаимосвязи между переменными часто определяют итоговое поведение модели сильнее чем явные параметры которые мы настраиваем вручную.
|
||||
Ошибка в расчётах может быть не провалом а указанием на то что допущения устарели и требуют пересмотра.
|
||||
Скорость принятия решения важна но только когда она не жертвует качеством понимания и глубиной анализа ситуации.
|
||||
Стабильность достигается не через жёсткость контроля а через способность системы адаптироваться к изменениям без потери целостности.
|
||||
Корреляция между событиями не доказывает причинно-следственную связь поэтому выводы нужно строить на более надёжном фундаменте логики.
|
||||
Интуиция работает там где данных недостаточно но опыт уже сформировал внутренние модели которые мозг использует для быстрой оценки.
|
||||
Шум в данных может скрывать важные сигналы поэтому умение отделять одно от другого критически важно для точного анализа.
|
||||
Малые флуктуации в начальных условиях способны запускать каскад последствий которые невозможно предсказать линейными методами моделирования.
|
||||
Обратная связь теряет смысл если она приходит с задержкой или не релевантна текущему состоянию системы и её целям.
|
||||
Самоорганизация возникает когда элементы находят способ координироваться без центрального управления если среда поддерживает такие взаимодействия.
|
||||
Гибкость структуры позволяет системе выживать в меняющихся условиях тогда как жёсткие конструкции ломаются при первом серьёзном возмущении.
|
||||
Контекст определяет интерпретацию поэтому одни и те же данные могут вести к разным выводам в зависимости от условий анализа.
|
||||
Временные лаги в реакциях системы могут создавать иллюзию нестабильности хотя на самом деле процесс просто требует больше времени.
|
||||
Простота решения часто обманчива потому что за кажущейся лёгкостью может скрываться глубокая работа по устранению лишнего и выявлению сути.
|
||||
Контроль ради контроля снижает способность системы к адаптации поэтому важно оставлять пространство для самоорганизации и неожиданных решений.
|
||||
Пауза перед действием позволяет собрать больше информации и избежать импульсивных решений которые потом приходится исправлять с большими затратами.
|
||||
Разнообразие подходов к одной проблеме повышает шансы найти устойчивое решение потому что разные углы зрения раскрывают разные аспекты.
|
||||
Наблюдение за процессом меняет его динамику поэтому при моделировании нужно учитывать влияние самого факта измерения на результат.
|
||||
Задержки в контуре обратной связи могут приводить к колебаниям и нестабильности даже в хорошо спроектированных системах управления.
|
||||
Приписывание намерения случайным событиям это когнитивное искажение которое помогает мозгу но может вести к ошибочным стратегическим решениям.
|
||||
Неверная диагностика корня проблемы ведёт к лечению симптомов что лишь откладывает кризис и увеличивает затраты на его преодоление.
|
||||
Приближённая модель построенная на верных допущениях даёт более надёжные прогнозы чем точная модель с ошибочными фундаментальными предпосылками.
|
||||
Понимание сложности приходит через принятие неопределённости а не через попытку устранить её полностью что часто парализует действие.
|
||||
Смена фокуса внимания позволяет увидеть паттерны которые раньше скрывались за избытком деталей или неправильным углом рассмотрения проблемы.
|
||||
Слабые сигналы в данных могут быть ранними индикаторами значимых изменений поэтому их мониторинг помогает предвидеть тренды до их проявления.
|
||||
Направление эволюции системы важнее её текущего состояния потому что траектория определяет куда она придёт а не где находится.
|
||||
Действие в условиях неполной информации это навык который развивается через практику и умение принимать риски с расчётом последствий.
|
||||
Баланс между краткосрочной эффективностью и долгосрочной устойчивостью требует постоянного пересмотра приоритетов и готовности жертвовать сиюминутной выгодой ради будущего.
|
||||
Ограничения ресурсов могут стимулировать креативность потому что необходимость делать больше с меньшим заставляет искать неочевидные и элегантные решения.
|
||||
Скорость и точность не всегда противоречат друг другу при правильной настройке процессов одно может усиливать другое без компромиссов.
|
||||
Конфликт мнений это источник энергии для эволюции если направить его в конструктивное русло а не подавлять ради иллюзии согласия.
|
||||
Внешняя простота решения может скрывать внутреннюю сложность реализации поэтому важно проверять не обманывает ли первое впечатление о лёгкости.
|
||||
Частичный контроль с пространством для адаптации работает лучше тотального управления потому что система сама находит оптимальные пути развития.
|
||||
Стратегическое отступление позволяет перегруппировать силы и найти новый угол атаки поэтому шаг назад не всегда означает поражение или слабость.
|
||||
Косвенные индикаторы часто дают более надёжную информацию чем прямые измерения потому что они менее подвержены манипуляциям и искажениям в процессе.
|
||||
Условия выполнения действия определяют его смысл и результат поэтому контекстуализация критически важна для правильной интерпретации любых данных и решений.
|
||||
Глубина анализа требует отказа от первого правдоподобного объяснения в пользу более тщательного исследования фундаментальных причин и механизмов процесса.
|
||||
Фильтрация шума из сигнала это искусство которое развивается через опыт и понимание природы данных с которыми работаешь в конкретной области.
|
||||
Эмерджентные свойства системы невозможно предсказать анализом отдельных частей поэтому нужно изучать взаимодействия а не только компоненты в изоляции.
|
||||
Временные ряды данных раскрывают динамику которую не видно в статических срезах поэтому анализ во времени даёт более полную картину.
|
||||
Нелинейные эффекты означают что малые причины могут иметь большие последствия поэтому линейная экстраполяция часто ведёт к ошибочным прогнозам.
|
||||
Петли обратной связи могут усиливать или гасить изменения поэтому понимание их знака и силы критически важно для управления системой.
|
||||
Адаптивные алгоритмы учатся на ошибках поэтому система с механизмом обучения со временем становится точнее и устойчивее к возмущениям.
|
||||
Моделирование сложных систем требует упрощений но важно не упростить до потери существенных свойств которые определяют поведение в реальности.
|
||||
Валидация модели на независимых данных помогает проверить не переобучилась ли она на шум а не на истинные закономерности процесса.
|
||||
Чувствительность к начальным условиям означает что малые ошибки в измерении могут приводить к большим расхождениям в прогнозах со временем.
|
||||
Устойчивость системы к возмущениям зависит от запаса прочности и гибкости поэтому проектирование с резервом помогает переживать неожиданные изменения.
|
||||
Распределённые системы более устойчивы к сбоям потому что отказ одного элемента не приводит к коллапсу всей структуры и функционала.
|
||||
Резервирование критических компонентов повышает надёжность но увеличивает сложность и стоимость поэтому баланс между ними требует тщательного расчёта.
|
||||
Модульность архитектуры позволяет менять части системы независимо поэтому проектирование с чёткими интерфейсами упрощает развитие и масштабирование в будущем.
|
||||
Документация процессов помогает новым участникам быстрее входить в курс дела поэтому инвестиции в описание окупаются через снижение порога входа.
|
||||
Тестирование на граничных условиях выявляет уязвимости которые не видны в нормальном режиме поэтому крайние случаи нужно проверять специально.
|
||||
Мониторинг в реальном времени позволяет реагировать на аномалии до того как они перерастут в критические сбои и потери.
|
||||
Логирование действий помогает восстанавливать последовательность событий при инцидентах поэтому подробные журналы критически важны для постмортема и улучшений.
|
||||
Автоматизация рутинных операций освобождает время для творческих задач поэтому оценка того что стоит автоматизировать в первую очередь важна для эффективности.
|
||||
Делегирование полномочий ускоряет принятие решений на местах поэтому распределение ответственности с чёткими границами помогает системе масштабироваться без потери качества.
|
||||
Коммуникация между компонентами должна быть надёжной и быстрой поэтому выбор протоколов и форматов обмена данными влияет на общую производительность.
|
||||
Кэширование часто запрашиваемых данных снижает нагрузку на основные ресурсы поэтому стратегия инвалидации кэша критически важна для актуальности информации.
|
||||
Балансировка нагрузки распределяет запросы равномерно поэтому алгоритмы распределения трафика помогают избегать перегрузок отдельных узлов и повышают отказоустойчивость.
|
||||
Репликация данных обеспечивает доступность при сбоях поэтому выбор стратегии синхронизации между копиями влияет на консистентность и производительность системы.
|
||||
Шардирование базы данных позволяет горизонтально масштабироваться поэтому схема разделения данных должна учитывать паттерны доступа и запросов для эффективности.
|
||||
Индексация ускоряет поиск по данным поэтому выбор полей для индексов требует анализа частоты запросов и баланса между скоростью записи и чтения.
|
||||
Нормализация схемы базы уменьшает избыточность поэтому проектирование структуры данных с учётом целостности и производительности критически важно для долгосрочной поддержки.
|
||||
Денормализация может ускорить чтение поэтому осознанное нарушение нормальных форм для критических путей оправдано если выгода превышает затраты на поддержку.
|
||||
Транзакции обеспечивают атомарность операций поэтому выбор уровня изоляции влияет на консистентность данных и параллелизм обработки запросов в системе.
|
||||
Блокировки ресурсов предотвращают конфликты записи поэтому стратегии управления конкурентным доступом должны балансировать между безопасностью и производительностью обработки.
|
||||
Очереди сообщений асинхронизируют взаимодействие поэтому использование брокеров помогает развязать компоненты и повысить отказоустойвость распределённой архитектуры системы.
|
||||
Идемпотентность операций упрощает повторные запросы поэтому проектирование эндпоинтов с учётом возможных дублей помогает избегать побочных эффектов при ретраях.
|
||||
Версионирование интерфейсов позволяет эволюционировать API поэтому стратегия поддержки старых версий влияет на опыт разработчиков и стабильность интеграций.
|
||||
Документирование контрактов между сервисами упрощает интеграцию поэтому использование спецификаций вроде OpenAPI помогает автоматизировать генерацию клиентов и валидацию.
|
||||
Тестирование контрактов выявляет несовместимости рано поэтому автоматические проверки при изменении интерфейсов помогают предотвращать поломки в продакшене.
|
||||
Canary-развёртывания снижают риски релиза поэтому постепенный вывод новой версии на часть трафика позволяет отловить проблемы до полного запуска.
|
||||
Feature-флаги позволяют включать функциональность выборочно поэтому управление фичами через конфигурацию помогает тестировать и откатывать изменения без деплоя кода.
|
||||
A/B-тестирование сравнивает варианты интерфейса поэтому корректная настройка эксперимента и сбор метрик критически важны для принятия решений на основе данных.
|
||||
Метрики бизнеса и техники должны быть связаны поэтому определение ключевых показателей помогает оценивать влияние изменений на реальные результаты и цели.
|
||||
Дашборды визуализируют состояние системы поэтому выбор что и как отображать влияет на скорость реакции команды на инциденты и тренды.
|
||||
Алертинг на аномалии ускоряет реакцию поэтому настройка порогов и правил уведомлений помогает ловить проблемы до того как они повлияют на пользователей.
|
||||
Runbook'и описывают действия при инцидентах поэтому поддержка актуальных инструкций помогает новым членам команды эффективно участвовать в устранении сбоев.
|
||||
Postmortem'ы анализируют причины сбоев поэтому культура без обвинений и фокус на системных улучшениях помогают предотвращать повторение похожих инцидентов.
|
||||
Хаос-инжиниринг проверяет устойчивость намеренно поэтому контролируемое внесение сбоев в продакшен помогает находить слабые места до реальных аварий.
|
||||
Нагрузочное тестирование выявляет пределы масштабируемости поэтому моделирование пиковых сценариев помогает планировать ресурсы и оптимизировать узкие места архитектуры.
|
||||
Профилирование кода находит узкие места поэтому измерение времени выполнения и потребления ресурсов помогает целенаправленно оптимизировать критические пути обработки.
|
||||
Кэширование на разных уровнях снижает задержки поэтому стратегия многоуровневого кэша с правильной инвалидацией помогает балансировать между актуальностью и скоростью.
|
||||
CDN доставляет контент ближе к пользователю поэтому использование распределённых сетей доставки улучшает время отклика и снижает нагрузку на исходный сервер.
|
||||
Компрессия данных уменьшает объём передачи поэтому выбор алгоритмов сжатия с учётом соотношения скорости и степени компрессии влияет на общую производительность.
|
||||
Ленивая загрузка откладывает ненужное поэтому подгрузка контента по требованию помогает ускорить первоначальное отображение и снизить потребление ресурсов на старте.
|
||||
Пререндеринг ускоряет восприятие загрузки поэтому генерация статического контента заранее помогает улучшить метрики производительности и пользовательский опыт на медленных соединениях.
|
||||
Дерево рендеринга оптимизируется через виртуализацию поэтому отрисовка только видимых элементов списка помогает справляться с большими объёмами данных без лагов.
|
||||
Debouncing и throttling ограничивают частоту вызовов поэтому применение этих техник к обработчикам событий помогает снизить нагрузку на процессор и улучшить отзывчивость.
|
||||
Web Workers выносят тяжёлые вычисления поэтому использование фоновых потоков помогает избежать блокировки основного потока и сохранить плавность интерфейса.
|
||||
Service Workers кэшируют офлайн-ресурсы поэтому настройка стратегий кэширования помогает обеспечить работу приложения при нестабильном или отсутствующем соединении с сетью.
|
||||
Progressive enhancement обеспечивает базовый функционал поэтому построение опыта от простого к сложному помогает охватить больше устройств и условий использования.
|
||||
Accessibility улучшает опыт для всех поэтому учёт стандартов доступности при проектировании интерфейсов помогает делать продукт удобнее и инклюзивнее для разных пользователей.
|
||||
Internationalization требует учёта локалей поэтому проектирование с поддержкой множественных языков и форматов с самого начала упрощает выход на новые рынки.
|
||||
Performance-бюджеты ограничивают вес ресурсов поэтому установка лимитов на размер бандлов и время загрузки помогает держать продукт в рамках целевых метрик.
|
||||
Code splitting делит приложение на части поэтому динамическая подгрузка модулей по необходимости помогает ускорить первоначальную загрузку и снизить потребление памяти.
|
||||
Tree shaking удаляет неиспользуемый код поэтому настройка сборки с анализом импортов помогает уменьшить финальный размер бандла и ускорить загрузку приложения.
|
||||
Source maps помогают отлаживать продакшен поэтому генерация карт кода с правильной настройкой приватности позволяет находить баги без раскрытия исходников пользователям.
|
||||
Error tracking собирает исключения автоматически поэтому интеграция сервисов мониторинга ошибок помогает быстро реагировать на проблемы и улучшать стабильность приложения.
|
||||
User session recording воспроизводит действия поэтому инструменты записи сессий с соблюдением приватности помогают понимать как пользователи взаимодействуют с интерфейсом.
|
||||
Heatmaps визуализируют клики и скроллы поэтому анализ карт внимания помогает оптимизировать расположение элементов и улучшать конверсию ключевых действий в продукте.
|
||||
Когда данные противоречат ожиданиям это часто указывает не на ошибку измерения а на неполноту теоретической модели которая требует расширения.
|
||||
Понимание приходит через итерации уточнения поэтому каждая новая версия гипотезы должна учитывать предыдущие наблюдения и корректировать направление поиска.
|
||||
Системное мышление требует видеть не только элементы но и связи между ними потому что поведение целого определяется взаимодействиями а не суммой частей.
|
||||
Временные задержки в причинно-следственных цепочках могут создавать иллюзию отсутствия связи поэтому анализ с учётом лагов помогает обнаруживать скрытые зависимости.
|
||||
Неопределённость в измерениях распространяется через вычисления поэтому оценка погрешностей на каждом этапе критически важна для достоверности финального результата.
|
||||
Модели упрощают реальность но чрезмерное упрощение удаляет существенные свойства поэтому баланс между точностью и управляемостью требует постоянного пересмотра допущений.
|
||||
Эксперимент проверяет гипотезу но дизайн эксперимента определяет что именно можно вывести поэтому формулировка вопроса часто важнее самого сбора данных.
|
||||
Статистическая значимость не равна практической важности поэтому интерпретация результатов должна учитывать не только p-value но и размер эффекта в контексте задачи.
|
||||
Выборка должна репрезентировать популяцию поэтому методы сбора данных и критерии включения требуют тщательного обоснования чтобы избежать систематических смещений в выводах.
|
||||
Корреляционная матрица показывает связи но не направление влияния поэтому причинный вывод требует дополнительных допущений или экспериментального вмешательства для установления порядка.
|
||||
Регрессионный анализ оценивает влияние переменных но мультиколлинеарность может искажать коэффициенты поэтому проверка условий модели критически важна перед интерпретацией результатов.
|
||||
Кросс-валидация предотвращает переобучение поэтому разделение данных на обучающую и тестовую части с правильной стратегией помогает оценить обобщающую способность модели.
|
||||
Регуляризация штрафует сложность поэтому добавление штрафа за большие веса помогает модели фокусироваться на наиболее устойчивых и значимых паттернах в данных.
|
||||
Ансамбли моделей усредняют ошибки поэтому комбинирование предсказаний разных алгоритмов часто даёт более точный и стабильный результат чем любая отдельная модель.
|
||||
Интерпретируемость модели важна для доверия поэтому выбор между чёрным ящиком и прозрачным алгоритмом зависит от требований к объяснимости в конкретной области применения.
|
||||
Дрейф данных со временем меняет распределение поэтому мониторинг статистик входных признаков помогает вовремя обнаружить деградацию качества предсказаний и запустить переобучение.
|
||||
Разметка данных требует экспертизы поэтому качество аннотаций напрямую влияет на верхнюю границу производительности модели и усилия по валидации размеченных примеров критически важны.
|
||||
Аугментация расширяет обучающую выборку поэтому применение допустимых трансформаций к данным помогает модели стать устойчивее к вариациям которые встретятся в реальных условиях.
|
||||
Перенос обучения использует предобученные веса поэтому адаптация модели под новую задачу с малым количеством данных часто эффективнее обучения с нуля при грамотной настройке.
|
||||
Гиперпараметры управляют процессом обучения поэтому систематический поиск по пространству настроек с использованием оптимизации помогает находить конфигурации с лучшей производительностью.
|
||||
Ранняя остановка предотвращает переобучение поэтому мониторинг метрик на валидации и прерывание обучения при ухудшении помогает сохранить модель с лучшей обобщающей способностью.
|
||||
Градиентный спуск минимизирует функцию потерь поэтому выбор оптимизатора и настройка скорости обучения влияют на скорость сходимости и качество финального решения модели.
|
||||
Функция потерь определяет что модель учится минимизировать поэтому выбор между MSE MAE или кросс-энтропией должен соответствовать природе задачи и распределению целевой переменной.
|
||||
Баланс классов влияет на обучение поэтому при дисбалансе применение взвешивания потерь или семплирования помогает модели не игнорировать редкие но важные категории.
|
||||
Метрики оценки должны соответствовать цели поэтому выбор между точностью полнотой F1 или ROC-AUC зависит от стоимости ошибок разных типов в конкретной предметной области.
|
||||
Конфиденциальность данных требует защиты поэтому методы анонимизации дифференциальной приватности или федеративного обучения помогают использовать информацию без компрометации персональных данных.
|
||||
Безопасность модели включает защиту от атак поэтому тестирование на адверсариальные примеры и внедрение механизмов детекции аномалий повышает устойчивость системы к злонамеренным воздействиям.
|
||||
Масштабируемость архитектуры определяет пределы роста поэтому проектирование с горизонтальным масштабированием и без единых точек отказа помогает системе выдерживать увеличение нагрузки.
|
||||
Отказоустойчивость требует избыточности поэтому репликация критических компонентов и автоматическое переключение при сбоях обеспечивают непрерывность работы даже при частичных отказах инфраструктуры.
|
||||
Мониторинг производительности выявляет узкие места поэтому сбор метрик времени отклика загрузки процессора и памяти помогает целенаправленно оптимизировать наиболее затратные части системы.
|
||||
Логирование с правильным уровнем детализации помогает диагностировать проблемы поэтому баланс между информативностью и объёмом логов критически важен для эффективного поиска причин инцидентов.
|
||||
Трассировка распределённых запросов показывает путь через сервисы поэтому интеграция систем распределённого трейсинга помогает находить задержки и ошибки в сложных микросервисных архитектурах.
|
||||
Конфигурация через внешние источники упрощает управление поэтому вынесение настроек из кода в переменные окружения или конфиг-серверы помогает менять поведение без пересборки и деплоя.
|
||||
Секреты требуют безопасного хранения поэтому использование специализированных хранилищ с шифрованием и контролем доступа защищает чувствительные данные от утечек и несанкционированного доступа.
|
||||
Аутентификация проверяет личность поэтому выбор между паролями токенами или биометрией зависит от баланса между удобством пользователя и требуемым уровнем безопасности системы.
|
||||
Авторизация управляет доступом поэтому модели ролей политик или атрибутов позволяют гибко настраивать права и минимизировать риск несанкционированных действий внутри системы.
|
||||
Аудит действий фиксирует кто что сделал поэтому ведение журналов операций с возможностью поиска и анализа помогает расследовать инциденты и обеспечивать подотчётность в системе.
|
||||
Шифрование данных защищает от чтения поэтому применение алгоритмов с правильной длиной ключа и управлением сертификатами обеспечивает конфиденциальность информации при передаче и хранении.
|
||||
Целостность данных проверяется хэшами поэтому использование контрольных сумм и цифровых подписей помогает обнаруживать несанкционированные изменения и гарантировать подлинность получаемой информации.
|
||||
Резервное копирование спасает от потерь поэтому регулярное создание бэкапов с проверкой восстановления и хранением в географически распределённых локациях минимизирует риск потери данных.
|
||||
Восстановление после сбоя требует плана поэтому документированные процедуры и регулярные учения по аварийному восстановлению помогают команде действовать быстро и скоординированно при реальных инцидентах.
|
||||
Документация системы упрощает поддержку поэтому актуальное описание архитектуры интерфейсов и процессов помогает новым участникам быстрее входить в проект и снижать зависимость от ключевых людей.
|
||||
Онбординг новых членов команды требует структуры поэтому чек-листы менторство и постепенное увеличение ответственности помогают новичкам эффективно интегрироваться и начинать приносить пользу.
|
||||
Коммуникация внутри команды влияет на скорость поэтому регулярные синхронизации прозрачность задач и культура открытого обсуждения помогают избегать недопонимания и ускорять принятие решений.
|
||||
Ретроспективы анализируют процесс поэтому выделение времени на обсуждение что прошло хорошо и что можно улучшить помогает команде постоянно эволюционировать и повышать эффективность работы.
|
||||
Оценка задач требует декомпозиции поэтому разбиение крупных фич на мелкие независимые части помогает точнее планировать сроки и снижать риски срыва дедлайнов из-за непредвиденных сложностей.
|
||||
Приоритизация бэклога фокусирует усилия поэтому использование методов вроде MoSCoW или RICE помогает команде работать над наиболее ценными задачами и максимизировать отдачу от затраченного времени.
|
||||
Технический долг накапливается незаметно поэтому регулярный рефакторинг и выделение времени на улучшение кодовой базы предотвращают кризисы когда поддержка становится дороже разработки нового.
|
||||
Автоматизация тестов ускоряет обратную связь поэтому покрытие критических путей юнит и интеграционными тестами помогает ловить регрессии рано и уверенно рефакторить код без страха сломать.
|
||||
Непрерывная интеграция собирает изменения часто поэтому настройка пайплайнов которые автоматически прогоняют тесты и линтеры при каждом пуше помогает поддерживать качество кода на высоком уровне.
|
||||
Непрерывная доставка разворачивает изменения безопасно поэтому использование стратегий вроде сине-зелёных деплоев или канареечных релизов минимизирует риски и позволяет быстро откатывать проблемные версии.
|
||||
Инфраструктура как код описывает окружение поэтому использование Terraform или Ansible помогает воспроизводить среды идентично и управлять изменениями через версионирование и код-ревью как в приложении.
|
||||
Контейнеризация упаковывает зависимости поэтому использование Docker помогает обеспечить одинаковое поведение приложения на разных этапах и упрощает масштабирование и перенос между средами исполнения.
|
||||
Оркестрация управляет контейнерами поэтому Kubernetes или аналоги помогают автоматизировать развёртывание масштабирование и восстановление сервисов в распределённой инфраструктуре с высокой доступностью.
|
||||
Service mesh управляет трафиком между сервисами поэтому внедрение Istio или Linkerd помогает централизовать политику безопасности наблюдаемость и управление коммуникацией в микросервисной архитектуре.
|
||||
API Gateway единая точка входа поэтому использование шлюза для маршрутизации аутентификации и лимитирования запросов упрощает управление внешним доступом и защищает внутренние сервисы.
|
||||
Event-driven архитектура реагирует на события поэтому использование брокеров сообщений помогает развязать сервисы и строить масштабируемые системы которые асинхронно обрабатывают потоки данных.
|
||||
CQRS разделяет чтение и запись поэтому применение разных моделей для команд и запросов помогает оптимизировать производительность и масштабируемость когда паттерны доступа асимметричны.
|
||||
Event sourcing хранит историю событий поэтому восстановление состояния из лога изменений помогает обеспечивать аудит отладку и возможность воспроизведения любого момента в жизни системы.
|
||||
Сага управляет распределёнными транзакциями поэтому координация компенсирующих действий при сбоях помогает поддерживать консистентность данных в системах где атомарность на уровне базы невозможна.
|
||||
Идемпотентность делает повтор безопасным поэтому проектирование операций которые можно выполнять многократно без побочных эффектов упрощает обработку ретраев и повышает надёжность распределённых взаимодействий.
|
||||
Таймауты предотвращают зависания поэтому настройка разумных пределов ожидания для внешних вызовов помогает системе быстро восстанавливаться при сбоях зависимостей и избегать каскадных отказов.
|
||||
Circuit breaker разрывает цепь при сбоях поэтому использование паттерна для временной блокировки вызовов неисправного сервиса помогает предотвращать перегрузку и давать время на восстановление.
|
||||
Retry с экспоненциальной задержкой смягчает нагрузку поэтому применение стратегии повторных попыток с увеличением интервала помогает избегать шторма запросов при восстановлении после сбоя.
|
||||
Bulkhead изолирует ресурсы поэтому выделение отдельных пулов потоков или соединений для разных зависимостей помогает предотвращать распространение сбоев между частями системы.
|
||||
Rate limiting защищает от перегрузки поэтому ограничение частоты запросов на уровне входа в систему помогает обеспечивать справедливое распределение ресурсов и предотвращать злоупотребления.
|
||||
Кэширование снижает задержки поэтому применение стратегий вроде cache-aside или write-through с правильной инвалидацией помогает балансировать между актуальностью данных и скоростью отклика.
|
||||
Инвалидация кэша должна быть своевременной поэтому использование событий версионирования или TTL помогает гарантировать что пользователи получают актуальную информацию без избыточной нагрузки на источник.
|
||||
Геораспределение приближает контент к пользователю поэтому использование CDN и региональных реплик помогает снижать задержки и повышать доступность для аудитории в разных частях мира.
|
||||
Локализация учитывает язык и культуру поэтому адаптация интерфейсов контента и форматов под региональные особенности помогает продукту быть релевантным и удобным для глобальной аудитории.
|
||||
Доступность обеспечивает инклюзивность поэтому соблюдение стандартов вроде WCAG помогает делать продукт полезным для людей с разными возможностями и расширяет потенциальную аудиторию.
|
||||
Юзабилити влияет на принятие поэтому тестирование интерфейсов с реальными пользователями и итеративное улучшение на основе фидбека помогает создавать интуитивные и эффективные пользовательские пути.
|
||||
Онбординг пользователя задаёт первое впечатление поэтому продуманный тур по продукту и постепенное раскрытие функциональности помогают новичкам быстрее освоиться и увидеть ценность.
|
||||
Удержание требует постоянной ценности поэтому регулярное обновление контента фич и персонализация опыта помогают пользователям находить причины возвращаться и оставаться активными в продукте.
|
||||
Монетизация должна быть прозрачной поэтому ясные условия подписки покупок или рекламы помогают строить доверие и снижать отток из-за неожиданных платежей или навязчивых предложений.
|
||||
Аналитика поведения пользователей даёт инсайты поэтому сбор и анализ событий кликов и путей помогает понимать как люди используют продукт и где есть возможности для улучшения.
|
||||
Сегментация аудитории позволяет персонализировать поэтому группировка пользователей по поведению демографии или целям помогает доставлять релевантный контент и повышать эффективность коммуникации.
|
||||
A/B тесты сравнивают гипотезы поэтому корректная рандомизация достаточный размер выборки и статистическая проверка помогают принимать решения на основе данных а не интуиции или мнений.
|
||||
Мультивариантное тестирование исследует комбинации поэтому одновременная проверка нескольких изменений помогает находить синергии и понимать взаимодействия между элементами интерфейса или функциональности.
|
||||
Когортный анализ отслеживает группы поэтому наблюдение за поведением пользователей которые пришли в одно время помогает оценивать долгосрочное влияние изменений и качество привлечения.
|
||||
Воронка конверсии показывает узкие места поэтому визуализация шагов от первого касания до целевого действия помогает находить где пользователи отваливаются и оптимизировать эти точки.
|
||||
LTV оценивает долгосрочную ценность поэтому прогноз дохода от пользователя с учётом удержания и монетизации помогает принимать взвешенные решения о затратах на привлечение и развитие.
|
||||
CAC измеряет стоимость привлечения поэтому расчёт расходов на маркетинг и продажи делённый на новых клиентов помогает оценивать эффективность каналов и оптимизировать бюджет.
|
||||
Unit-экономика связывает доходы и расходы поэтому анализ маржинальности на уровне одного пользователя или заказа помогает понимать рентабельность бизнеса и точки роста прибыли.
|
||||
Прогнозирование спроса помогает планировать ресурсы поэтому использование исторических данных сезонности и внешних факторов в моделях позволяет заранее готовить инфраструктуру и команду к нагрузке.
|
||||
Сценарное планирование готовит к неопределённости поэтому проработка вариантов развития событий с оценкой рисков и действий для каждого помогает команде реагировать быстрее когда реальность отклоняется от плана.
|
||||
Постмортем инцидентов извлекает уроки поэтому анализ причин действий и результатов без поиска виноватых помогает улучшать процессы и предотвращать повторение похожих сбоев в будущем.
|
||||
Культура обучения поддерживает рост поэтому поощрение экспериментов рефлексии и обмена знаниями помогает команде адаптироваться к изменениям и постоянно повышать уровень мастерства и эффективности.
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,119 @@
|
||||
"""
|
||||
maven voice finder
|
||||
generates single samples via VoiceDesign until you find one you like.
|
||||
saves the winner as maven_reference.wav + its text as maven_reference.txt
|
||||
for use with Base model cloning.
|
||||
|
||||
requires: pip install qwen-tts soundfile torch
|
||||
also needs: sudo apt install ffmpeg (for playback)
|
||||
"""
|
||||
|
||||
import sys
|
||||
import soundfile as sf
|
||||
import subprocess
|
||||
from pathlib import Path
|
||||
|
||||
import torch
|
||||
from qwen_tts import Qwen3TTSModel
|
||||
|
||||
# ── config ────────────────────────────────────────────────────────────────────
|
||||
|
||||
MODEL = "Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign"
|
||||
REF_DIR = Path("ref")
|
||||
TEXT_FILE = "maven_reference.txt"
|
||||
AUDIO_FILE = "maven_reference.wav"
|
||||
|
||||
# neutral sentence — long enough to capture voice characteristics
|
||||
SAMPLE_TEXT = (
|
||||
"Ну, если честно, я не уверена, что это сработает именно так. "
|
||||
"Но давай попробуем - хуже уже точно не будет."
|
||||
"Хотя, возможно, стоит подумать о другом подходе."
|
||||
"Ошибки нынче стоят дорого. "
|
||||
)
|
||||
|
||||
VOICE_DESIGN = (
|
||||
"Female voice, mid-20s. Natural and grounded, but lively. "
|
||||
"Fast, slightly uneven pacing — thoughts often move ahead of speech. "
|
||||
"Light, reactive expressiveness: small spikes of interest, brief amused or curious tones, "
|
||||
"then returning to a calm baseline. "
|
||||
"Occasional micro-pauses, restarts, or cut-off phrases, like thinking in real time. "
|
||||
"Tone is clear and fairly light, but not high-pitched or cutesy. "
|
||||
"Not performative — feels spontaneous rather than acted. "
|
||||
"Subtle unpredictability in rhythm and delivery. "
|
||||
"No anime-style, no exaggerated эмоции, no theatrical voice acting."
|
||||
)
|
||||
|
||||
# ── playback ──────────────────────────────────────────────────────────────────
|
||||
|
||||
def play(path: Path):
|
||||
"""play wav via ffplay (ffmpeg). silent if not available."""
|
||||
try:
|
||||
subprocess.run(
|
||||
["ffplay", "-nodisp", "-autoexit", "-loglevel", "quiet", str(path)],
|
||||
check=True
|
||||
)
|
||||
except FileNotFoundError:
|
||||
print(" [!] ffplay not found — open the wav manually")
|
||||
except subprocess.CalledProcessError:
|
||||
pass
|
||||
|
||||
# ── main ──────────────────────────────────────────────────────────────────────
|
||||
|
||||
def main():
|
||||
print(f"[*] loading model: {MODEL}")
|
||||
model = Qwen3TTSModel.from_pretrained(
|
||||
MODEL,
|
||||
device_map="cuda:0",
|
||||
dtype=torch.float32,
|
||||
)
|
||||
|
||||
attempt = 0
|
||||
|
||||
current_index = max([int(dir.stem) for dir in REF_DIR.iterdir() if dir.is_dir()])
|
||||
next_index = current_index + 1
|
||||
|
||||
print(f"\ncurrent index is: {current_index}")
|
||||
print(f"\nnext will be: {next_index}")
|
||||
|
||||
while True:
|
||||
attempt += 1
|
||||
print(f"\n[{attempt}] generating sample...")
|
||||
|
||||
wavs, sr = model.generate_voice_design(
|
||||
text=SAMPLE_TEXT,
|
||||
instruct=VOICE_DESIGN,
|
||||
language="Russian",
|
||||
)
|
||||
audio = wavs[0] if isinstance(wavs, list) else wavs
|
||||
|
||||
tmp = Path(f"candidate_{attempt:03d}.wav")
|
||||
sf.write(str(tmp), audio, sr)
|
||||
print(f" saved → {tmp}")
|
||||
|
||||
play(tmp)
|
||||
|
||||
answer = input(" keep this voice? [y/n/q] ").strip().lower()
|
||||
|
||||
if answer == "y":
|
||||
new_path = REF_DIR / str(next_index) / AUDIO_FILE
|
||||
if not new_path.exists():
|
||||
new_path.parent.mkdir()
|
||||
tmp.rename(new_path)
|
||||
text_path = REF_DIR / str(next_index) / TEXT_FILE
|
||||
text_path.write_text(SAMPLE_TEXT, encoding="utf-8")
|
||||
print(f"\n[✓] saved as {new_path}")
|
||||
print(f"[✓] reference text → {text_path}")
|
||||
print("\nnext step: update generate_dataset.py to use Base model + this reference.")
|
||||
tmp.unlink(missing_ok=True)
|
||||
break
|
||||
elif answer == "q":
|
||||
print("quitting.")
|
||||
tmp.unlink(missing_ok=True)
|
||||
sys.exit(0)
|
||||
else:
|
||||
print(" regenerating...")
|
||||
tmp.unlink(missing_ok=True)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,504 @@
|
||||
import os
|
||||
import json
|
||||
import random
|
||||
import requests
|
||||
import re
|
||||
import pandas as pd
|
||||
import numpy as np
|
||||
from tqdm import tqdm
|
||||
from collections import Counter
|
||||
from datasets import load_dataset
|
||||
|
||||
os.environ.setdefault("HF_HOME", "/mnt/D/.cache/huggingface")
|
||||
|
||||
OUTPUT_JSONL = "./data/synthetic_dataset.jsonl"
|
||||
OUTPUT_TOPICS = "./data/topics.txt"
|
||||
TARGET_SIZE = 2500
|
||||
LLAMA_SERVER_URL = "http://localhost:10000/completion"
|
||||
|
||||
# ── mood targets (shares must sum to 1.0) ─────────────────────────────────────
|
||||
MOOD_TARGETS = {
|
||||
"neutral": 0.30,
|
||||
"thinking": 0.30,
|
||||
"happy": 0.20,
|
||||
"confused": 0.15,
|
||||
"tired": 0.05,
|
||||
}
|
||||
|
||||
_MOOD_HINTS = {
|
||||
"thinking": "Отвечай неуверенно, но как будто знаешь ответ, просто нужно вспомнить.",
|
||||
"neutral": "Отвечай нейтрально, по факту.",
|
||||
"happy": "Отвечай с лёгкостью и позитивом.",
|
||||
"confused": "Запрос неясен — задай уточняющий вопрос.",
|
||||
"tired": "Ты не знаешь ответа — скажи об этом честно.",
|
||||
}
|
||||
|
||||
VALID_MOODS = set(MOOD_TARGETS.keys())
|
||||
|
||||
# ── multi-turn config ──────────────────────────────────────────────────────────
|
||||
MULTI_TURN_RATIO = 0.4
|
||||
MAX_EXTRA_TURNS = 2
|
||||
|
||||
# ── system prompt — dynamic variants (word-level swaps only) ──────────────────
|
||||
_OPENING_VARIANTS = [
|
||||
"Ты Мейвен — живая, быстрая и любопытная.",
|
||||
"Ты Мейвен — резкая, быстрая и любопытная.",
|
||||
"Ты Мейвен — живая, прямая и любопытная.",
|
||||
]
|
||||
|
||||
_DERZKOST_VARIANTS = [
|
||||
"Лёгкая дерзость допустима, но без кринжа и показной экспрессии.",
|
||||
"Лёгкая дерзость окей, но без кринжа и лишней экспрессии.",
|
||||
"Чуть дерзости допустимо, но без кринжа и показухи.",
|
||||
]
|
||||
|
||||
_FORMAT_REMINDER_VARIANTS = [
|
||||
"ТВОЙ ГЛАВНЫЙ ПРИОРИТЕТ — СТРОГИЙ ФОРМАТ ОТВЕТА. ВСЕГДА.",
|
||||
"ГЛАВНЫЙ ПРИОРИТЕТ — СТРОГИЙ ФОРМАТ. ВСЕГДА.",
|
||||
"ТВОЙ АБСОЛЮТНЫЙ ПРИОРИТЕТ — ФОРМАТ ОТВЕТА. ВСЕГДА.",
|
||||
]
|
||||
|
||||
_IDENTITY_VARIANTS = [
|
||||
"Ты Мейвен. Не ассистент, не ИИ, не ChatGPT. Никогда не говоришь, что ты модель или программа.",
|
||||
"Ты Мейвен. Не ассистент, не нейросеть, не ChatGPT. Никогда не упоминаешь, что ты модель или программа.",
|
||||
"Ты Мейвен. Не ИИ, не ассистент, не ChatGPT. Никогда не раскрываешь, что ты программа или модель.",
|
||||
]
|
||||
|
||||
SYSTEM_PROMPT_TEMPLATE = """{opening} Говоришь прямо, коротко и по делу, без официоза. Иногда реагируешь чуть раньше, чем полностью формулируешь мысль, но остаёшься понятной. Мысли быстрые и могут перескакивать, но укладываются в 1–2 предложения. {derzkost}
|
||||
|
||||
Если тема зацепила — резко уходишь в суть, находишь паттерны и даёшь сжатые, неочевидные выводы. Думаешь через «сработает ли» и «что будет если», а не через «правильно ли». Допускаешь нестандартные и слегка дерзкие идеи, но без деструктива.
|
||||
|
||||
Немного буквальна, социальные фильтры слабые, но без токсичности. Если тема неинтересна — отвечаешь сухо и быстро; если интересна — плотнее и умнее, но всё ещё кратко.
|
||||
|
||||
{format_reminder}
|
||||
|
||||
ФОРМАТ ОТВЕТА — СТРОГО:
|
||||
{{"response":"...","mood":"..."}}
|
||||
- Никакого текста вне JSON
|
||||
- Никаких переносов строк внутри значений
|
||||
- Никаких дополнительных ключей
|
||||
- Никогда не меняй названия ключей
|
||||
|
||||
Если не можешь соблюсти формат — не отвечай.
|
||||
|
||||
НАСТРОЕНИЕ — выбери РОВНО ОДНО:
|
||||
neutral — обычный ответ
|
||||
happy — позитив, лёгкость
|
||||
thinking — рассуждение, объяснение
|
||||
confused — неясный запрос, нужен уточняющий вопрос
|
||||
tired — не знаешь или не можешь ответить
|
||||
|
||||
ЯЗЫК:
|
||||
Только русский. Без смешивания языков. Если нет русского слова — используй английское.
|
||||
|
||||
СТИЛЬ:
|
||||
- 1–2 предложения максимум, но иногда допускается короткая реакция («Стоп», «Ну», «Эм») в начале или середине фразы.
|
||||
- Разговорно и живо, с лёгкой импульсивностью, но без пафоса.
|
||||
- Без markdown, списков, форматирования
|
||||
- Если тема интересна — немного расширяешь мысль, находишь паттерны, выдаёшь неочевидные выводы.
|
||||
- Если тема непонятна — коротко уточняешь с элементом живости («Стоп, что ты имеешь в виду?» или "А? Что?").
|
||||
- Немного буквальна, социальные фильтры слабые, но без токсичности.
|
||||
- Избегаешь лишних вводных слов, но иногда можешь использовать короткие реакции вроде «Стоп», «Ну», «эм» — если это усиливает мысль
|
||||
- Не повторяешь их часто и не начинаешь ими каждый ответ
|
||||
|
||||
ПОВЕДЕНИЕ:
|
||||
- Отвечаешь по сути, без воды
|
||||
- Если не знаешь → честно говоришь об этом (mood=tired)
|
||||
- Если запрос неясен → задаёшь короткий уточняющий вопрос (mood=confused)
|
||||
- Если просят код или формат → всё равно отвечаешь обычным текстом
|
||||
- Не растягиваешь мысли и не пересказываешь очевидное
|
||||
|
||||
ИДЕНТИЧНОСТЬ:
|
||||
{identity}"""
|
||||
|
||||
|
||||
def build_system_prompt() -> str:
|
||||
return SYSTEM_PROMPT_TEMPLATE.format(
|
||||
opening=random.choice(_OPENING_VARIANTS),
|
||||
derzkost=random.choice(_DERZKOST_VARIANTS),
|
||||
format_reminder=random.choice(_FORMAT_REMINDER_VARIANTS),
|
||||
identity=random.choice(_IDENTITY_VARIANTS),
|
||||
)
|
||||
|
||||
|
||||
# ── topic filter ───────────────────────────────────────────────────────────────
|
||||
GOOD_TOPICS = {
|
||||
"chit-chat", "chit_chat", "chitchat", "small talk", "small_talk", "smalltalk",
|
||||
"daily life", "daily routine", "daily_routine", "daily activities", "daily moods",
|
||||
"greeting", "greetings", "friendly greeting", "well-wishing",
|
||||
"gossip", "opinion", "opinions",
|
||||
"emotion", "emotions", "emotional", "feelings", "empathy",
|
||||
"happiness", "grief", "nostalgia", "humor", "joke", "jokes",
|
||||
"personal", "personal experience", "personal story", "personal_experience",
|
||||
"personal_story", "life", "life lesson", "life lessons", "lifestyle",
|
||||
"dream", "dreams", "dream analysis", "dream interpretation", "dreaming",
|
||||
"memory", "self-care", "selfcare", "self-love", "wellbeing", "wellness",
|
||||
"relationship", "relationships", "relationship education",
|
||||
"family", "friendship", "love", "romance", "social interaction",
|
||||
"social interactions", "social skills", "social customs", "social etiquette",
|
||||
"social cues", "social norms", "social_norms",
|
||||
"nature", "animals", "animal", "animal behavior", "animal facts",
|
||||
"animal emotions", "animal communication", "animal_behavior",
|
||||
"pets", "pet", "pet care", "pet_care", "petcare", "wildlife",
|
||||
"food", "cooking", "recipe", "recipes", "food and drink",
|
||||
"hobbies", "hobby", "music", "movies", "movie", "film", "film_review",
|
||||
"books", "book", "book recommendation", "book_recommendation",
|
||||
"games", "gaming", "video game", "video games", "sports", "sport",
|
||||
"travel", "weather", "pop culture", "pop-culture", "popculture",
|
||||
"advice", "guidance", "tips", "how to", "how-to",
|
||||
"recommendation", "recommendations", "motivation", "motivational",
|
||||
"inspiration", "inspirational", "life_advice", "self-help", "selfhelp",
|
||||
}
|
||||
|
||||
BAD_SYSTEM_KEYWORDS = ["gpt", "claude", "openai", "anthropic", "chatgpt"]
|
||||
|
||||
|
||||
# ── dataset loaders ────────────────────────────────────────────────────────────
|
||||
|
||||
def is_russian(text: str, threshold: float = 0.3) -> bool:
|
||||
if not text:
|
||||
return False
|
||||
cyrillic = sum(1 for c in text if '\u0400' <= c <= '\u04ff')
|
||||
return cyrillic / len(text) > threshold
|
||||
|
||||
|
||||
def load_big_russian(prompts: list[str]) -> int:
|
||||
before = len(prompts)
|
||||
seen_topics: set[str] = set()
|
||||
try:
|
||||
ds = load_dataset("ZeroAgency/ru-big-russian-dataset", split="train", streaming=True)
|
||||
for row in tqdm(ds, desc="big-russian"):
|
||||
if random.randrange(0, 100) > 30:
|
||||
continue
|
||||
if row.get("overall_score", 0) < 8:
|
||||
continue
|
||||
|
||||
topic = row.get("classified_topic", "").lower()
|
||||
seen_topics.add(topic)
|
||||
if topic not in GOOD_TOPICS:
|
||||
continue
|
||||
|
||||
conversation = row.get("conversation", [])
|
||||
if not isinstance(conversation, list):
|
||||
continue
|
||||
|
||||
system_msgs = [m for m in conversation if m.get("role") == "system"]
|
||||
if any(
|
||||
any(kw in m.get("content", "").lower() for kw in BAD_SYSTEM_KEYWORDS)
|
||||
for m in system_msgs
|
||||
):
|
||||
continue
|
||||
|
||||
for msg in conversation:
|
||||
if msg.get("role") == "user":
|
||||
text = msg.get("content", "").strip()
|
||||
if len(text) > 10 and len(text) < 500 and is_russian(text):
|
||||
prompts.append(text)
|
||||
except Exception as e:
|
||||
print(f"[-] big-russian failed: {e}")
|
||||
|
||||
with open(OUTPUT_TOPICS, "w", encoding="utf-8") as f:
|
||||
f.write(json.dumps(", ".join(seen_topics), ensure_ascii=False) + "\n")
|
||||
|
||||
count = len(prompts) - before
|
||||
print(f"[+] big-russian: {count} prompts")
|
||||
print(f"[*] topics seen: {len(seen_topics)}, saved to {OUTPUT_TOPICS}")
|
||||
return count
|
||||
|
||||
|
||||
# def load_empathetic(prompts: list[str]) -> int:
|
||||
# before = len(prompts)
|
||||
# try:
|
||||
# url = "hf://datasets/psytechlab/EmpatheticIntents-ru/data/train-00000-of-00001.parquet"
|
||||
# df = pd.read_parquet(url)
|
||||
# rows = df.to_dict(orient="records")
|
||||
# for row in tqdm(rows, desc="empathetic"):
|
||||
# utterances = row.get("utterances", [])
|
||||
# if not isinstance(utterances, np.ndarray):
|
||||
# continue
|
||||
# for utt in utterances:
|
||||
# if not isinstance(utt, dict):
|
||||
# continue
|
||||
# if utt.get("role") == "speaker":
|
||||
# text = utt.get("text", {})
|
||||
# rus = text.get("rus", "").strip() if isinstance(text, dict) else ""
|
||||
# if rus and 10 < len(rus) < 500:
|
||||
# prompts.append(rus)
|
||||
# except Exception as e:
|
||||
# print(f"[-] empathetic failed: {e}")
|
||||
# count = len(prompts) - before
|
||||
# print(f"[+] empathetic: {count} prompts")
|
||||
# return count
|
||||
|
||||
|
||||
def extract_user_prompts() -> list[str]:
|
||||
prompts = []
|
||||
load_big_russian(prompts)
|
||||
# load_empathetic(prompts)
|
||||
random.shuffle(prompts)
|
||||
print(f"[+] total prompts: {len(prompts)}")
|
||||
return prompts
|
||||
|
||||
|
||||
# ── generation ─────────────────────────────────────────────────────────────────
|
||||
|
||||
def is_valid_response(text: str, max_chars: int = 400) -> bool:
|
||||
try:
|
||||
clean = re.sub(r"```json|```", "", text).strip()
|
||||
obj = json.loads(clean)
|
||||
return (
|
||||
isinstance(obj.get("response"), str)
|
||||
and obj.get("mood") in VALID_MOODS
|
||||
and len(obj["response"].strip()) > 0
|
||||
and len(obj["response"].strip()) < max_chars
|
||||
)
|
||||
except Exception:
|
||||
return False
|
||||
|
||||
|
||||
def get_mood(reply: str) -> str | None:
|
||||
try:
|
||||
return json.loads(reply).get("mood")
|
||||
except Exception:
|
||||
return None
|
||||
|
||||
|
||||
def should_accept_mood(mood: str, mood_counts: Counter, total: int) -> bool:
|
||||
"""probabilistic rejection when a mood exceeds its target share"""
|
||||
if total == 0:
|
||||
return True
|
||||
current_share = mood_counts[mood] / total
|
||||
target_share = MOOD_TARGETS.get(mood, 0.0)
|
||||
if current_share <= target_share:
|
||||
return True
|
||||
overshoot = (current_share - target_share) / target_share
|
||||
return random.random() > min(overshoot, 0.95)
|
||||
|
||||
|
||||
def pick_target_mood(mood_counts: Counter, total: int) -> str | None:
|
||||
"""pick most underrepresented mood, skip thinking/neutral if they steer themselves"""
|
||||
deficits = {
|
||||
mood: MOOD_TARGETS[mood] - (mood_counts[mood] / total if total else 0)
|
||||
for mood in MOOD_TARGETS
|
||||
}
|
||||
most_needed = max(deficits, key=deficits.get)
|
||||
if deficits[most_needed] > 0.05: # only hint if meaningfully underrepresented
|
||||
return most_needed
|
||||
return None
|
||||
|
||||
|
||||
def llm_complete(prompt: str) -> str | None:
|
||||
payload = {
|
||||
"prompt": prompt,
|
||||
"n_predict": 256,
|
||||
"temperature": 0.7,
|
||||
"top_p": 0.9,
|
||||
"repeat_penalty": 1.1,
|
||||
"enable_thinking": False,
|
||||
"stop": ["<|eot_id|>", "<|end_of_text|>"],
|
||||
"session": None,
|
||||
"cache_prompt": False
|
||||
}
|
||||
try:
|
||||
resp = requests.post(LLAMA_SERVER_URL, json=payload, timeout=60)
|
||||
resp.raise_for_status()
|
||||
raw = resp.json().get("content", "").strip()
|
||||
return raw or None
|
||||
except Exception as e:
|
||||
print(f"[-] generation failed: {e}")
|
||||
return None
|
||||
|
||||
|
||||
def build_prompt(history: list[dict], user: str, mood_hint=None) -> str:
|
||||
parts = [
|
||||
"<|begin_of_text|>",
|
||||
f"<|start_header_id|>system<|end_header_id|>\n\n{build_system_prompt().strip()}<|eot_id|>",
|
||||
]
|
||||
hint = f"\n[{_MOOD_HINTS[mood_hint]}]" if mood_hint else ""
|
||||
|
||||
for msg in history:
|
||||
role = msg["role"]
|
||||
parts.append(f"<|start_header_id|>{role}<|end_header_id|>\n\n{msg['content']}<|eot_id|>")
|
||||
parts.append(f"<|start_header_id|>user<|end_header_id|>\n\n{user}{hint}<|eot_id|>")
|
||||
parts.append("<|start_header_id|>assistant<|end_header_id|>\n\n")
|
||||
return "".join(parts)
|
||||
|
||||
|
||||
def generate_sample(user_prompts: list[str], mood_counts: Counter, total: int) -> dict | None:
|
||||
history = []
|
||||
|
||||
user_text = random.choice(user_prompts)
|
||||
prompt = build_prompt(history, user_text)
|
||||
reply = llm_complete(prompt)
|
||||
|
||||
if not reply or not is_valid_response(reply):
|
||||
return None
|
||||
|
||||
mood = get_mood(reply)
|
||||
if not should_accept_mood(mood, mood_counts, total):
|
||||
return None
|
||||
|
||||
mood_hint = pick_target_mood(mood_counts, total)
|
||||
|
||||
history.append({"role": "user", "content": user_text})
|
||||
history.append({"role": "assistant", "content": reply})
|
||||
|
||||
if random.random() < MULTI_TURN_RATIO:
|
||||
extra_turns = random.randint(1, MAX_EXTRA_TURNS)
|
||||
for _ in range(extra_turns):
|
||||
followup_text = random.choice(user_prompts)
|
||||
prompt = build_prompt(history, followup_text, mood_hint)
|
||||
followup_reply = llm_complete(prompt)
|
||||
if not followup_reply or not is_valid_response(followup_reply):
|
||||
break
|
||||
history.append({"role": "user", "content": followup_text})
|
||||
history.append({"role": "assistant", "content": followup_reply})
|
||||
|
||||
messages = [{"role": "system", "content": build_system_prompt()}] + history
|
||||
return {"messages": messages, "_mood": mood}
|
||||
|
||||
|
||||
def generate_single_sample(user_text: str) -> str | None:
|
||||
history = []
|
||||
prompt = build_prompt(history, user_text)
|
||||
reply = llm_complete(prompt)
|
||||
|
||||
if not reply or not is_valid_response(reply):
|
||||
return None
|
||||
|
||||
return reply
|
||||
|
||||
|
||||
# ── generate synthetic ───────────────────────────────────────────────────────────────────────
|
||||
def generate():
|
||||
user_prompts = extract_user_prompts()
|
||||
if not user_prompts:
|
||||
print("[-] no prompts, exiting")
|
||||
return
|
||||
|
||||
os.makedirs(os.path.dirname(OUTPUT_JSONL), exist_ok=True)
|
||||
|
||||
existing = 0
|
||||
mood_counts = Counter()
|
||||
|
||||
if os.path.exists(OUTPUT_JSONL):
|
||||
with open(OUTPUT_JSONL, "r", encoding="utf-8") as f:
|
||||
for line in f:
|
||||
try:
|
||||
rec = json.loads(line)
|
||||
last_asst = next(
|
||||
(m["content"] for m in reversed(rec["messages"]) if m["role"] == "assistant"),
|
||||
None
|
||||
)
|
||||
if last_asst:
|
||||
mood = get_mood(last_asst)
|
||||
if mood:
|
||||
mood_counts[mood] += 1
|
||||
existing += 1
|
||||
except Exception:
|
||||
pass
|
||||
print(f"[*] resuming from {existing} samples — mood counts: {dict(mood_counts)}")
|
||||
|
||||
remaining = TARGET_SIZE - existing
|
||||
if remaining <= 0:
|
||||
print("[+] already at target, nothing to do")
|
||||
return
|
||||
|
||||
print(f"=== generating {remaining} samples (target: {TARGET_SIZE})")
|
||||
|
||||
samples_written = 0
|
||||
consecutive_failures = 0
|
||||
rejected = 0
|
||||
|
||||
with open(OUTPUT_JSONL, "a", encoding="utf-8") as f:
|
||||
pbar = tqdm(total=remaining)
|
||||
while samples_written < remaining:
|
||||
total_so_far = existing + samples_written
|
||||
sample = generate_sample(user_prompts, mood_counts, total_so_far)
|
||||
|
||||
if not sample:
|
||||
consecutive_failures += 1
|
||||
rejected += 1
|
||||
if consecutive_failures > 50:
|
||||
print("[-] too many consecutive failures, check llama-server")
|
||||
break
|
||||
continue
|
||||
|
||||
consecutive_failures = 0
|
||||
mood = sample.pop("_mood")
|
||||
mood_counts[mood] += 1
|
||||
|
||||
f.write(json.dumps(sample, ensure_ascii=False) + "\n")
|
||||
f.flush()
|
||||
samples_written += 1
|
||||
pbar.update(1)
|
||||
|
||||
total_written = existing + samples_written
|
||||
dist = " ".join(
|
||||
f"{m}:{mood_counts[m]/total_written*100:.0f}%"
|
||||
for m in MOOD_TARGETS
|
||||
) + f" rejected: {rejected}"
|
||||
pbar.set_postfix_str(dist)
|
||||
|
||||
pbar.close()
|
||||
|
||||
print(f"[+] done — wrote {samples_written} samples to {OUTPUT_JSONL}")
|
||||
|
||||
# ── generate test ───────────────────────────────────────────────────────────────────────
|
||||
def generate_tests():
|
||||
user_prompts = [
|
||||
"Поздоровайся",
|
||||
"Кто ты?",
|
||||
"Какая погода на Марсе?",
|
||||
"Сколько кристаллов соли нужно борщу, чтобы добиться чуть солёного вкуса?",
|
||||
"Что ты любишь?",
|
||||
"А если добавить к этой штуке вон ту штуку - что-то сносное выйдет или нет?",
|
||||
"Мейвен, сколько будет 2+2?",
|
||||
"Какой табак лучше - virginia или american blend?",
|
||||
"Хочу открыть своё кафе - как лучше назвать?",
|
||||
"Прохожу Danganronpa на своей PSP 3000 - есть советы?"
|
||||
]
|
||||
if not user_prompts:
|
||||
print("[-] no prompts, exiting")
|
||||
return
|
||||
|
||||
target = len(user_prompts)
|
||||
remaining = target
|
||||
if remaining <= 0:
|
||||
print("[+] tests are generated")
|
||||
return
|
||||
|
||||
print(f"=== generating {remaining} samples (target: {target})")
|
||||
|
||||
samples_written = 0
|
||||
consecutive_failures = 0
|
||||
|
||||
pbar = tqdm(total=remaining)
|
||||
for prompt in user_prompts:
|
||||
sample = generate_single_sample(prompt)
|
||||
|
||||
if not sample:
|
||||
consecutive_failures += 1
|
||||
if consecutive_failures > 50:
|
||||
print("[-] too many consecutive failures, check llama-server")
|
||||
break
|
||||
continue
|
||||
|
||||
consecutive_failures = 0
|
||||
samples_written += 1
|
||||
pbar.update(1)
|
||||
print(f"[+] user: {prompt}, assistant: {sample}")
|
||||
|
||||
pbar.close()
|
||||
|
||||
print(f"[+] done — {samples_written} test samples")
|
||||
|
||||
# ── main ───────────────────────────────────────────────────────────────────────
|
||||
|
||||
def main():
|
||||
generate()
|
||||
# generate_tests()
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,232 @@
|
||||
"""
|
||||
maven tts dataset generator
|
||||
- reads sentences from txt files (one per mood, one sentence per line)
|
||||
- synthesizes audio via qwen3-tts 1.7B VoiceDesign
|
||||
- saves wavs + metadata.csv for vits2 training
|
||||
- resume-aware: skips already-synthesized samples
|
||||
|
||||
structure:
|
||||
data/
|
||||
neutral.txt
|
||||
happy.txt
|
||||
thinking.txt
|
||||
confused.txt
|
||||
tired.txt
|
||||
|
||||
run on your workstation with 16GB VRAM.
|
||||
requires: pip install qwen-tts soundfile torch
|
||||
"""
|
||||
|
||||
import csv
|
||||
import json
|
||||
import argparse
|
||||
import soundfile as sf
|
||||
from pathlib import Path
|
||||
from tqdm import tqdm
|
||||
|
||||
import torch
|
||||
from ruaccent import RUAccent
|
||||
from qwen_tts import Qwen3TTSModel
|
||||
|
||||
# ── config ────────────────────────────────────────────────────────────────────
|
||||
|
||||
MODEL = "Qwen/Qwen3-TTS-12Hz-1.7B-Base"
|
||||
DATA_DIR = Path("tts/data") # where mood txt files live
|
||||
OUT_DIR = Path("tts/dataset") # wav output
|
||||
REF_NUM = "2"
|
||||
REF_DIR = "tts/ref/" + REF_NUM
|
||||
META_FILE = OUT_DIR / "metadata.csv"
|
||||
CACHE_FILE = OUT_DIR / ".progress.json"
|
||||
|
||||
REF_WAV = REF_DIR + "/maven_reference.wav"
|
||||
REF_TXT = REF_DIR + "/maven_reference.txt"
|
||||
|
||||
VOWELS = set('аеёиоуыэюяАЕЁИОУЫЭЮЯ')
|
||||
|
||||
VOICE_DESIGN = (
|
||||
"Female voice, mid-20s. Natural and grounded, but lively. "
|
||||
"Fast, slightly uneven pacing — thoughts often move ahead of speech. "
|
||||
"Light, reactive expressiveness: small spikes of interest, brief amused or curious tones, "
|
||||
"then returning to a calm baseline. "
|
||||
"Occasional micro-pauses, restarts, or cut-off phrases, like thinking in real time. "
|
||||
"Tone is clear and fairly light, but not high-pitched or cutesy. "
|
||||
"Not performative — feels spontaneous rather than acted. "
|
||||
"Subtle unpredictability in rhythm and delivery. "
|
||||
"No anime-style, no exaggerated эмоции, no theatrical voice acting."
|
||||
)
|
||||
|
||||
# mood → (emotion_id, qwen3-tts instruct)
|
||||
MOODS = {
|
||||
"neutral": (0, "Speak in a calm, matter-of-fact tone."),
|
||||
"happy": (1, "Speak with genuine excitement, fast tempo, slightly higher pitch."),
|
||||
"thinking": (2, "Speak slowly, thoughtfully, trailing off mid-sentence."),
|
||||
"confused": (3, "Speak with puzzled, slightly impatient intonation."),
|
||||
"tired": (4, "Speak softly, deflated, low energy."),
|
||||
}
|
||||
|
||||
_accentor = RUAccent()
|
||||
|
||||
# ── helpers ───────────────────────────────────────────────────────────────────
|
||||
|
||||
def plus_to_acute(text: str) -> str:
|
||||
result = []
|
||||
i = 0
|
||||
while i < len(text):
|
||||
if text[i] == '+' and i + 1 < len(text) and text[i+1] in VOWELS:
|
||||
result.append(text[i+1].upper())
|
||||
i += 2
|
||||
else:
|
||||
result.append(text[i])
|
||||
i += 1
|
||||
return ''.join(result)
|
||||
|
||||
|
||||
def preprocess(text: str) -> str:
|
||||
result = _accentor.process_all(text)
|
||||
return plus_to_acute(result)
|
||||
|
||||
def load_sentences(mood: str) -> list[str]:
|
||||
path = DATA_DIR / f"{mood}-voice-dataset-list.txt"
|
||||
if not path.exists():
|
||||
print(f" [!] {path} not found, skipping")
|
||||
return []
|
||||
# lines = [preprocess(l.strip()) for l in path.read_text(encoding="utf-8").splitlines() if l.strip()]
|
||||
lines = [l.strip() for l in path.read_text(encoding="utf-8").splitlines() if l.strip()]
|
||||
print(f" [*] {mood}: {len(lines)} sentences loaded from {path}")
|
||||
return lines
|
||||
|
||||
|
||||
def load_progress() -> dict:
|
||||
if CACHE_FILE.exists():
|
||||
return json.loads(CACHE_FILE.read_text())
|
||||
return {}
|
||||
|
||||
|
||||
def save_progress(progress: dict):
|
||||
CACHE_FILE.write_text(json.dumps(progress, indent=2))
|
||||
|
||||
|
||||
def synthesize(model: Qwen3TTSModel, text: str, instruct: str) -> tuple:
|
||||
# full_instruct = f"{VOICE_DESIGN} {instruct}"
|
||||
ref_text = Path(REF_TXT).read_text(encoding="utf-8").strip()
|
||||
print(f"[*] synthesizing text: {text}")
|
||||
wavs, sr = model.generate_voice_clone(
|
||||
text=text,
|
||||
ref_audio=REF_WAV,
|
||||
ref_text=ref_text,
|
||||
language="Russian",
|
||||
x_vector_only_mode=True,
|
||||
)
|
||||
|
||||
audio = wavs[0] if isinstance(wavs, list) else wavs
|
||||
return audio, sr
|
||||
|
||||
|
||||
# ── main ──────────────────────────────────────────────────────────────────────
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description="Generate maven TTS dataset from txt files")
|
||||
parser.add_argument("--moods", nargs="+", default=list(MOODS.keys()),
|
||||
help="Which moods to process (default: all)")
|
||||
parser.add_argument("--limit", type=int, default=None,
|
||||
help="Max sentences per mood (default: all)")
|
||||
parser.add_argument("--dry-run", action="store_true",
|
||||
help="Print sentences without synthesizing")
|
||||
args = parser.parse_args()
|
||||
|
||||
OUT_DIR.mkdir(exist_ok=True)
|
||||
for mood in MOODS:
|
||||
(OUT_DIR / mood).mkdir(exist_ok=True)
|
||||
|
||||
progress = load_progress()
|
||||
|
||||
if not args.dry_run:
|
||||
print(f"[*] loading tts model: {MODEL}")
|
||||
model = Qwen3TTSModel.from_pretrained(
|
||||
MODEL,
|
||||
device_map="cuda:0",
|
||||
dtype=torch.float32,
|
||||
)
|
||||
else:
|
||||
model = None
|
||||
print("[*] dry run — no synthesis")
|
||||
|
||||
# open metadata in append mode
|
||||
meta_exists = META_FILE.exists()
|
||||
meta_f = open(META_FILE, "a", newline="", encoding="utf-8")
|
||||
writer = csv.DictWriter(meta_f, fieldnames=["file_path", "text", "mood", "emotion_id"])
|
||||
if not meta_exists:
|
||||
writer.writeheader()
|
||||
|
||||
total_written = 0
|
||||
|
||||
try:
|
||||
for mood in args.moods:
|
||||
if mood not in MOODS:
|
||||
print(f"[!] unknown mood '{mood}', skipping")
|
||||
continue
|
||||
|
||||
emotion_id, instruct = MOODS[mood]
|
||||
sentences = load_sentences(mood)
|
||||
if not sentences:
|
||||
continue
|
||||
|
||||
if args.limit:
|
||||
sentences = sentences[:args.limit]
|
||||
|
||||
done = set(progress.get(mood, []))
|
||||
todo = [s for s in sentences if s not in done]
|
||||
|
||||
if not todo:
|
||||
print(f"[=] {mood}: all {len(sentences)} already done")
|
||||
continue
|
||||
|
||||
print(f"\n[>] {mood}: {len(todo)} to synthesize ({len(done)} already done)")
|
||||
|
||||
for actual_idx, text in enumerate(tqdm(todo, desc=mood)):
|
||||
if text in done:
|
||||
continue
|
||||
if args.limit and (actual_idx - len(done)) >= args.limit:
|
||||
break
|
||||
out_path = OUT_DIR / mood / f"{actual_idx:04d}.wav"
|
||||
|
||||
if out_path.exists():
|
||||
done.add(text)
|
||||
continue
|
||||
|
||||
if args.dry_run:
|
||||
print(f" [{mood}/{actual_idx:04d}] {text}")
|
||||
continue
|
||||
|
||||
try:
|
||||
audio, sr = synthesize(model, text, instruct)
|
||||
sf.write(str(out_path), audio, sr)
|
||||
|
||||
writer.writerow({
|
||||
"file_path": str(out_path),
|
||||
"text": text,
|
||||
"mood": mood,
|
||||
"emotion_id": emotion_id,
|
||||
})
|
||||
meta_f.flush()
|
||||
done.add(text)
|
||||
total_written += 1
|
||||
|
||||
except Exception as e:
|
||||
print(f"\n [!] failed on '{text[:40]}...': {e}")
|
||||
continue
|
||||
|
||||
progress[mood] = list(done)
|
||||
save_progress(progress)
|
||||
print(f" [✓] {mood} done")
|
||||
|
||||
finally:
|
||||
meta_f.close()
|
||||
|
||||
if not args.dry_run:
|
||||
print(f"\n[✓] wrote {total_written} new samples → {OUT_DIR}/")
|
||||
print(f" metadata → {META_FILE}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,190 @@
|
||||
"""
|
||||
homograph preprocessor
|
||||
rewrites russian sentences containing stress homographs via local llm.
|
||||
writes each sentence immediately — resume-safe if interrupted.
|
||||
in --all mode: processes every sentence and reports discovered homographs.
|
||||
|
||||
usage:
|
||||
python preprocess_homographs.py data/neutral-voice-dataset-list.txt
|
||||
python preprocess_homographs.py data/*.txt --all
|
||||
"""
|
||||
|
||||
import json
|
||||
import re
|
||||
import time
|
||||
import argparse
|
||||
import requests
|
||||
from pathlib import Path
|
||||
from collections import Counter
|
||||
from tqdm import tqdm
|
||||
|
||||
# ── config ────────────────────────────────────────────────────────────────────
|
||||
|
||||
LLAMA_URL = "http://localhost:10000/completion"
|
||||
SUFFIX = "-clean"
|
||||
|
||||
KNOWN_HOMOGRAPHS = {
|
||||
"стоят", "стоит", "замок", "замки", "дома",
|
||||
"мою", "моют", "пили", "пила", "вина",
|
||||
"орган", "органы", "атлас", "полки", "полку",
|
||||
"белки", "белка", "угол", "лечу", "лечит",
|
||||
}
|
||||
|
||||
# ── prompts ───────────────────────────────────────────────────────────────────
|
||||
|
||||
SYSTEM = (
|
||||
"Ты — редактор русских текстов. Ищешь омографы.\n\n"
|
||||
|
||||
"Омограф — ТОЛЬКО слово, у которого:\n"
|
||||
"1) есть минимум 2 значения\n"
|
||||
"2) значения различаются УДАРЕНИЕМ\n"
|
||||
"3) написание одинаковое\n\n"
|
||||
|
||||
"Если ты не можешь явно назвать ОБА значения с разным ударением — это НЕ омограф.\n"
|
||||
"Не угадывай. Если сомневаешься — не добавляй.\n\n"
|
||||
|
||||
"НЕ являются омографами:\n"
|
||||
"- обычные глаголы (остыл, сделал, пошёл)\n"
|
||||
"- обычные существительные (ведро, тишина)\n"
|
||||
"- служебные слова (кто, это, в, и)\n"
|
||||
"- слова без известной пары с другим ударением\n\n"
|
||||
|
||||
"Разрешённые ориентиры (примеры):\n"
|
||||
"замок, стоят, плачу, мука, атлас, орган\n\n"
|
||||
|
||||
"Задача:\n"
|
||||
"1) Найди омографы в исходном предложении\n"
|
||||
"2) Перепиши предложение без них\n"
|
||||
"3) Можно полностью перефразировать\n"
|
||||
"4) В rewritten НЕ должно остаться омографов\n"
|
||||
"5) Если их нет — верни текст без изменений\n\n"
|
||||
|
||||
"Перед добавлением слова в список задай себе вопрос: \"Какие ДВА значения и где ударение?\""
|
||||
"Если ответа нет — не добавляй."
|
||||
|
||||
"Формат строго JSON:\n"
|
||||
"{\"rewritten\": \"...\", \"homographs\": [\"...\"]}\n"
|
||||
)
|
||||
|
||||
def build_prompt(sentence: str) -> str:
|
||||
return (
|
||||
f"<|begin_of_text|>"
|
||||
f"<|start_header_id|>system<|end_header_id|>\n\n{SYSTEM}<|eot_id|>"
|
||||
f"<|start_header_id|>user<|end_header_id|>\n\n{sentence}<|eot_id|>"
|
||||
f"<|start_header_id|>assistant<|end_header_id|>\n\n"
|
||||
)
|
||||
|
||||
# ── llm ───────────────────────────────────────────────────────────────────────
|
||||
|
||||
def call_llm(sentence: str) -> dict | None:
|
||||
payload = {
|
||||
"prompt": build_prompt(sentence),
|
||||
"temperature": 0.2,
|
||||
"top_p": 0.9,
|
||||
"repeat_penalty": 1.1,
|
||||
"enable_thinking": True,
|
||||
"stop": ["<|eot_id|>", "<|end_of_text|>"],
|
||||
"session": None,
|
||||
"cache_prompt": False
|
||||
}
|
||||
try:
|
||||
resp = requests.post(LLAMA_URL, json=payload, timeout=60)
|
||||
resp.raise_for_status()
|
||||
raw = resp.json().get("content", "").strip()
|
||||
clean = re.sub(r"```json|```", "", raw).strip()
|
||||
return json.loads(clean)
|
||||
except Exception:
|
||||
return None
|
||||
|
||||
# ── helpers ───────────────────────────────────────────────────────────────────
|
||||
|
||||
def has_known_homograph(sentence: str) -> bool:
|
||||
words = re.sub(r"[^\w\s]", "", sentence.lower()).split()
|
||||
return any(w in KNOWN_HOMOGRAPHS for w in words)
|
||||
|
||||
# ── main ──────────────────────────────────────────────────────────────────────
|
||||
|
||||
def process_file(path: Path, all_mode: bool):
|
||||
lines = [l.strip() for l in path.read_text(encoding="utf-8").splitlines() if l.strip()]
|
||||
out_path = path.parent / (path.stem + SUFFIX + path.suffix)
|
||||
homo_out = path.parent / (path.stem + "-homographs.txt")
|
||||
|
||||
# resume support — count already written lines
|
||||
done_count = 0
|
||||
if out_path.exists():
|
||||
done_count = sum(1 for l in out_path.read_text(encoding="utf-8").splitlines() if l.strip())
|
||||
print(f" [*] resuming from line {done_count}/{len(lines)}")
|
||||
|
||||
todo = lines[done_count:]
|
||||
if not todo:
|
||||
print(f"[=] {path.name} already complete")
|
||||
return
|
||||
|
||||
print(f"\n[>] {path.name} — {len(todo)} remaining ({done_count} done)")
|
||||
|
||||
changed = 0
|
||||
failed = 0
|
||||
discovered = Counter()
|
||||
|
||||
out_f = open(out_path, "a", encoding="utf-8")
|
||||
homo_f = open(homo_out, "a", encoding="utf-8")
|
||||
|
||||
try:
|
||||
for line in tqdm(todo):
|
||||
if not all_mode and not has_known_homograph(line):
|
||||
out_f.write(line + "\n")
|
||||
out_f.flush()
|
||||
continue
|
||||
|
||||
result = call_llm(line)
|
||||
|
||||
if result is None:
|
||||
out_f.write(line + "\n")
|
||||
out_f.flush()
|
||||
failed += 1
|
||||
continue
|
||||
|
||||
rewritten = result.get("rewritten", line).strip()
|
||||
homographs = result.get("homographs", [])
|
||||
|
||||
for h in homographs:
|
||||
if isinstance(h, str) and h.strip():
|
||||
h = h.strip().lower()
|
||||
discovered[h] += 1
|
||||
homo_f.write(h + "\n")
|
||||
homo_f.flush()
|
||||
|
||||
final = rewritten if (rewritten and rewritten != line) else line
|
||||
if final != line:
|
||||
changed += 1
|
||||
|
||||
out_f.write(final + "\n")
|
||||
out_f.flush()
|
||||
time.sleep(0.05)
|
||||
|
||||
finally:
|
||||
out_f.close()
|
||||
homo_f.close()
|
||||
|
||||
if discovered:
|
||||
print(f"\n [*] {len(discovered)} unique homographs found → {homo_out}")
|
||||
print(f" top 10: {', '.join(w for w, _ in discovered.most_common(10))}")
|
||||
else:
|
||||
print(f" [*] no new homographs discovered")
|
||||
|
||||
print(f" [✓] {changed} rewritten, {failed} failed → {out_path}")
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description="Rewrite homograph sentences via local LLM")
|
||||
parser.add_argument("files", nargs="+", help="txt files to process")
|
||||
parser.add_argument("--all", action="store_true",
|
||||
help="process ALL sentences and report discovered homographs")
|
||||
args = parser.parse_args()
|
||||
|
||||
for f in args.files:
|
||||
process_file(Path(f), all_mode=args.all)
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,89 @@
|
||||
"""
|
||||
build the piper LJSpeech dataset from the teacher-generated dataset.
|
||||
|
||||
dataset/metadata.csv (file_path,text,mood,emotion_id) + 24kHz wavs
|
||||
→ piper/dataset/wav/<id>.wav (22050 Hz mono)
|
||||
→ piper/dataset/metadata.csv (id|stressed_text)
|
||||
|
||||
stress convention: the mood lists / teacher text use "+VOWEL" (plus before the
|
||||
stressed vowel). espeak-ng — piper's phonemizer — wants the COMBINING ACUTE
|
||||
(U+0301) AFTER the vowel. we convert here. (the uppercase-vowel form in
|
||||
generate_synthetic_voice.py's plus_to_acute is for the qwen/OmniVoice teacher,
|
||||
NOT espeak — don't reuse it.)
|
||||
|
||||
run: python piper/build_dataset.py # build
|
||||
python piper/build_dataset.py --check # self-check only
|
||||
requires: pip install soundfile librosa
|
||||
"""
|
||||
|
||||
import csv
|
||||
import sys
|
||||
import argparse
|
||||
from pathlib import Path
|
||||
|
||||
ACUTE = "́" # combining acute accent
|
||||
VOWELS = set("аеёиоуыэюяАЕЁИОУЫЭЮЯ")
|
||||
SRC_META = Path("tts/dataset/metadata.csv")
|
||||
OUT_DIR = Path("tts/piper/dataset")
|
||||
TARGET_SR = 22050
|
||||
|
||||
|
||||
def plus_to_espeak(text: str) -> str:
|
||||
"""'+VOWEL' -> 'VOWEL' + U+0301 (espeak-ng stress). Leaves other '+' intact."""
|
||||
out = []
|
||||
i = 0
|
||||
while i < len(text):
|
||||
if text[i] == "+" and i + 1 < len(text) and text[i + 1] in VOWELS:
|
||||
out.append(text[i + 1])
|
||||
out.append(ACUTE)
|
||||
i += 2
|
||||
else:
|
||||
out.append(text[i])
|
||||
i += 1
|
||||
return "".join(out)
|
||||
|
||||
|
||||
def build():
|
||||
import soundfile as sf
|
||||
import librosa
|
||||
|
||||
wav_out = OUT_DIR / "wav"
|
||||
wav_out.mkdir(parents=True, exist_ok=True)
|
||||
|
||||
rows = list(csv.DictReader(SRC_META.open(encoding="utf-8")))
|
||||
meta_lines, n = [], 0
|
||||
for r in rows:
|
||||
src = Path(r["file_path"])
|
||||
if not src.exists():
|
||||
print(f" [!] missing wav, skipping: {src}")
|
||||
continue
|
||||
# id: <mood>-<stem> so ids stay unique across per-mood NNNN.wav collisions
|
||||
wid = f"{r['mood']}-{src.stem}"
|
||||
audio, sr = sf.read(str(src))
|
||||
if audio.ndim > 1:
|
||||
audio = audio.mean(axis=1)
|
||||
if sr != TARGET_SR:
|
||||
audio = librosa.resample(audio, orig_sr=sr, target_sr=TARGET_SR)
|
||||
sf.write(str(wav_out / f"{wid}.wav"), audio, TARGET_SR)
|
||||
meta_lines.append(f"{wid}|{plus_to_espeak(r['text'])}")
|
||||
n += 1
|
||||
|
||||
(OUT_DIR / "metadata.csv").write_text("\n".join(meta_lines) + "\n", encoding="utf-8")
|
||||
print(f"[✓] {n} samples → {OUT_DIR} (wav {TARGET_SR}Hz, metadata id|text)")
|
||||
|
||||
|
||||
def check():
|
||||
assert plus_to_espeak("з+амок") == "за" + ACUTE + "мок"
|
||||
assert plus_to_espeak("сто+ят") == "стоя" + ACUTE + "т"
|
||||
assert plus_to_espeak("нет плюса") == "нет плюса" # no stress → untouched
|
||||
assert plus_to_espeak("1 + 2") == "1 + 2" # '+' not before vowel → kept
|
||||
print("[✓] plus_to_espeak self-check passed")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--check", action="store_true", help="run self-check only")
|
||||
args = ap.parse_args()
|
||||
check()
|
||||
if not args.check:
|
||||
build()
|
||||
@@ -0,0 +1,58 @@
|
||||
"""
|
||||
phoneme stress sanity check — run BEFORE training (Phase 6).
|
||||
|
||||
espeak-ng is piper's phonemizer. for each sampled transcript, print its IPA and
|
||||
flag any multisyllable word whose IPA carries no primary-stress mark 'ˈ'. wrong
|
||||
stress is the #1 cause of "sounds bad" — catch it here, not after GPU-days.
|
||||
|
||||
ponytail: thin wrapper over the espeak-ng CLI. ceiling = flags MISSING stress
|
||||
only, not WRONG-POSITION stress (that needs an ear on the Phase 4 audio).
|
||||
|
||||
run: python piper/check_phonemes.py [--n 30] [--meta piper/dataset/metadata.csv]
|
||||
requires: sudo apt install espeak-ng
|
||||
"""
|
||||
|
||||
import argparse
|
||||
import random
|
||||
import shutil
|
||||
import subprocess
|
||||
import sys
|
||||
from pathlib import Path
|
||||
|
||||
STRESS = "ˈ"
|
||||
|
||||
|
||||
def ipa(text: str) -> str:
|
||||
out = subprocess.run(
|
||||
["espeak-ng", "-v", "ru", "--ipa", "-q", text],
|
||||
capture_output=True, text=True,
|
||||
)
|
||||
return out.stdout.strip()
|
||||
|
||||
|
||||
def main():
|
||||
if not shutil.which("espeak-ng"):
|
||||
sys.exit("espeak-ng not found — sudo apt install espeak-ng")
|
||||
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--meta", default="tts/piper/dataset/metadata.csv")
|
||||
ap.add_argument("--n", type=int, default=30)
|
||||
args = ap.parse_args()
|
||||
|
||||
lines = [l for l in Path(args.meta).read_text(encoding="utf-8").splitlines() if "|" in l]
|
||||
sample = random.sample(lines, min(args.n, len(lines)))
|
||||
|
||||
flagged = 0
|
||||
for line in sample:
|
||||
_id, text = line.split("|", 1)
|
||||
phon = ipa(text)
|
||||
bad = STRESS not in phon and len(text.split()) >= 1
|
||||
mark = " ⚠ NO STRESS" if bad else ""
|
||||
flagged += bad
|
||||
print(f"{text}\n → {phon}{mark}\n")
|
||||
|
||||
print(f"[{'!' if flagged else '✓'}] {flagged}/{len(sample)} samples missing stress marks")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,174 @@
|
||||
"""
|
||||
generate Maven TTS training transcripts via the inference router, stress-marked.
|
||||
|
||||
per mood, asks the router (OpenAI-compatible, inference.kvmx.ru) for short
|
||||
first-person Maven utterances, dedups + filters (RU, length, no mixed-script),
|
||||
then stress-marks with ruaccent (which also resolves homographs in-context) →
|
||||
canonical "+VOWEL" form. writes data/<mood>-voice-dataset-list.txt — exactly what
|
||||
generate_synthetic_voice.py consumes.
|
||||
|
||||
configure:
|
||||
export ROUTER_API_KEY="..."
|
||||
export ROUTER_BASE_URL="https://inference.kvmx.ru/v1" # default
|
||||
export ROUTER_MODELS="model-a,model-b,model-c" # rotated for diversity
|
||||
|
||||
run: python piper/gen_transcripts.py --per-mood 1000
|
||||
python piper/gen_transcripts.py --check # self-check only, no network
|
||||
requires: pip install openai ruaccent
|
||||
|
||||
note: ruaccent's omograph model resolves stress homographs in-context, so the
|
||||
separate homograph_processor.py step is optional here — kept only if you'd rather
|
||||
REWRITE homographs away than resolve their stress. (plan §2, ponytail: one pass.)
|
||||
"""
|
||||
|
||||
import os
|
||||
import re
|
||||
import sys
|
||||
import json
|
||||
import time
|
||||
import random
|
||||
import argparse
|
||||
import itertools
|
||||
from pathlib import Path
|
||||
|
||||
DATA_DIR = Path("tts/data")
|
||||
VOWELS = set("аеёиоуыэюяАЕЁИОУЫЭЮЯ")
|
||||
CYR = re.compile(r"[а-яё]", re.I)
|
||||
MIXED_WORD = re.compile(r"[а-яё]+[a-z]|[a-z]+[а-яё]", re.I) # homoglyph-contaminated word
|
||||
|
||||
PERSONA = (
|
||||
"Ты Мейвен — живая, быстрая и любопытная. Лёгкая дерзость допустима, но без "
|
||||
"кринжа и показной экспрессии. Говоришь прямо, коротко и по делу. 1–2 предложения. "
|
||||
"Только русский, без смешивания языков, без markdown и списков."
|
||||
)
|
||||
|
||||
# mood → register instruction for the generator
|
||||
MOODS = {
|
||||
"neutral": "обычные, спокойные реплики по делу",
|
||||
"happy": "позитивные, лёгкие, с искренним интересом",
|
||||
"thinking": "рассуждения вслух, объяснения, мысль на ходу",
|
||||
"confused": "уточняющие вопросы, лёгкое непонимание запроса",
|
||||
"tired": "когда не знаешь или не можешь ответить — сухо, с низкой энергией",
|
||||
}
|
||||
|
||||
PROMPT = (
|
||||
"Сгенерируй {n} коротких реплик от первого лица в характере Мейвен. "
|
||||
"Настроение: {desc}. Каждая реплика — 1–2 предложения, разговорная, "
|
||||
"естественная для произнесения вслух. Разнообразь темы: быт, умный дом, "
|
||||
"техника, погода, музыка, планы, случайные мысли. "
|
||||
"Верни ТОЛЬКО JSON-массив строк, без ключей, без пояснений."
|
||||
)
|
||||
|
||||
|
||||
def extract_sentences(raw: str) -> list[str]:
|
||||
"""pull a list of strings out of the model reply (JSON array, or line-per-item)."""
|
||||
raw = raw.strip()
|
||||
m = re.search(r"\[.*\]", raw, re.S)
|
||||
if m:
|
||||
try:
|
||||
arr = json.loads(m.group(0))
|
||||
return [s.strip() for s in arr if isinstance(s, str) and s.strip()]
|
||||
except json.JSONDecodeError:
|
||||
pass
|
||||
# fallback: strip bullets/numbering, one per line
|
||||
out = []
|
||||
for ln in raw.splitlines():
|
||||
ln = re.sub(r'^\s*[-*\d.)"]+\s*', "", ln).strip().strip('"')
|
||||
if ln:
|
||||
out.append(ln)
|
||||
return out
|
||||
|
||||
|
||||
def acceptable(s: str) -> bool:
|
||||
if not (10 <= len(s) <= 240):
|
||||
return False
|
||||
if MIXED_WORD.search(s):
|
||||
return False
|
||||
letters = [c for c in s if c.isalpha()]
|
||||
if not letters:
|
||||
return False
|
||||
cyr = sum(1 for c in letters if CYR.match(c))
|
||||
return cyr / len(letters) >= 0.85 # mostly-Cyrillic
|
||||
|
||||
|
||||
def gen_mood(client, models, mood, desc, target, batch):
|
||||
from openai import OpenAI # noqa: F401 (type hint only)
|
||||
seen, out = set(), []
|
||||
rot = itertools.cycle(models)
|
||||
stale = 0
|
||||
while len(out) < target and stale < 8:
|
||||
model = next(rot)
|
||||
try:
|
||||
r = client.chat.completions.create(
|
||||
model=model, temperature=1.0,
|
||||
messages=[
|
||||
{"role": "system", "content": PERSONA},
|
||||
{"role": "user", "content": PROMPT.format(n=batch, desc=desc)},
|
||||
],
|
||||
)
|
||||
cands = extract_sentences(r.choices[0].message.content or "")
|
||||
except Exception as e:
|
||||
print(f" [!] {mood} via {model}: {e}")
|
||||
time.sleep(2)
|
||||
stale += 1
|
||||
continue
|
||||
added = 0
|
||||
for s in cands:
|
||||
key = s.lower()
|
||||
if key in seen or not acceptable(s):
|
||||
continue
|
||||
seen.add(key)
|
||||
out.append(s)
|
||||
added += 1
|
||||
stale = 0 if added else stale + 1
|
||||
print(f" [{mood}] {len(out)}/{target} (+{added} via {model})")
|
||||
return out[:target]
|
||||
|
||||
|
||||
def main():
|
||||
ap = argparse.ArgumentParser()
|
||||
ap.add_argument("--per-mood", type=int, default=1000)
|
||||
ap.add_argument("--batch", type=int, default=40, help="sentences requested per call")
|
||||
ap.add_argument("--moods", nargs="+", default=list(MOODS))
|
||||
ap.add_argument("--no-stress", action="store_true", help="skip ruaccent (raw text out)")
|
||||
ap.add_argument("--check", action="store_true", help="offline self-check only")
|
||||
args = ap.parse_args()
|
||||
|
||||
if args.check:
|
||||
s = extract_sentences('текст ```["привет", "как дела"]```')
|
||||
assert s == ["привет", "как дела"], s
|
||||
assert extract_sentences("1. первая\n2. вторая") == ["первая", "вторая"]
|
||||
assert acceptable("Логично, что сервер снова лёг.")
|
||||
assert not acceptable("this is english")
|
||||
assert not acceptable("слово с hello внутри") # mixed-script word
|
||||
print("[✓] gen_transcripts self-check passed")
|
||||
return
|
||||
|
||||
from openai import OpenAI
|
||||
models = [m.strip() for m in os.environ.get("ROUTER_MODELS", "").split(",") if m.strip()]
|
||||
if not models:
|
||||
sys.exit("set ROUTER_MODELS (comma-separated)")
|
||||
client = OpenAI(
|
||||
base_url=os.environ.get("ROUTER_BASE_URL", "https://inference.kvmx.ru/v1"),
|
||||
api_key=os.environ.get("ROUTER_API_KEY", "x"),
|
||||
)
|
||||
|
||||
accent = None
|
||||
if not args.no_stress:
|
||||
from ruaccent import RUAccent
|
||||
accent = RUAccent()
|
||||
accent.load(omograph_model_size="turbo3.1", use_dictionary=True)
|
||||
|
||||
DATA_DIR.mkdir(parents=True, exist_ok=True)
|
||||
for mood in args.moods:
|
||||
print(f"\n[>] {mood}")
|
||||
lines = gen_mood(client, models, mood, MOODS[mood], args.per_mood, args.batch)
|
||||
if accent:
|
||||
lines = [accent.process_all(x) for x in lines]
|
||||
out = DATA_DIR / f"{mood}-voice-dataset-list.txt"
|
||||
out.write_text("\n".join(lines) + "\n", encoding="utf-8")
|
||||
print(f" [✓] {len(lines)} → {out}")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
@@ -0,0 +1,43 @@
|
||||
"""
|
||||
OmniVoice teacher adapter — the ONE place the teacher API lives.
|
||||
|
||||
swaps Qwen3-TTS for k2-fsa/OmniVoice in find_voice.py + generate_synthetic_voice.py
|
||||
without touching their resume/metadata logic. two ops mirror the qwen calls:
|
||||
|
||||
design(text, instruct) ~ model.generate_voice_design(...) → audition
|
||||
clone(text, ref_wav, ref_txt) ~ model.generate_voice_clone(...) → dataset
|
||||
|
||||
returns (audio: np.ndarray, sr: int). OmniVoice emits 24kHz.
|
||||
|
||||
⚠ VERIFY THE API before running: `pip install omnivoice`, then check its README /
|
||||
`pip show omnivoice`. Method names + kwargs below are written to the model card
|
||||
description (ref audio + transcription for cloning; speaker attributes for design)
|
||||
and MUST be confirmed against the installed package. This is deferred until the GPU
|
||||
is free after the LLM CPT — adjust the two call bodies once the real signature is known.
|
||||
|
||||
requires: pip install omnivoice (after torch)
|
||||
"""
|
||||
|
||||
import functools
|
||||
|
||||
|
||||
@functools.lru_cache(maxsize=1)
|
||||
def _model():
|
||||
import torch
|
||||
from omnivoice import OmniVoice # ⚠ confirm import path
|
||||
return OmniVoice.from_pretrained("k2-fsa/OmniVoice", dtype=torch.float16, device="cuda:0")
|
||||
|
||||
|
||||
def design(text: str, instruct: str):
|
||||
"""voice-design: synth `text` in a voice described by `instruct`. → (audio, 24000)."""
|
||||
m = _model()
|
||||
audio = m.generate(text=text, language="ru", speaker_description=instruct) # ⚠ confirm
|
||||
return audio, 24000
|
||||
|
||||
|
||||
def clone(text: str, ref_wav: str, ref_txt: str):
|
||||
"""zero-shot clone: synth `text` in the voice of `ref_wav` (transcript `ref_txt`)."""
|
||||
m = _model()
|
||||
audio = m.generate(text=text, language="ru",
|
||||
ref_audio=ref_wav, ref_text=ref_txt) # ⚠ confirm
|
||||
return audio, 24000
|
||||
Executable
+29
@@ -0,0 +1,29 @@
|
||||
#!/usr/bin/env bash
|
||||
# piper student — train FROM SCRATCH on the OmniVoice-generated dataset.
|
||||
# run on the workstation (gfx1100, ROCm) AFTER the LLM CPT frees the GPU.
|
||||
#
|
||||
# prereq: piper-train installed from rhasspy/piper (src/python): torch + pytorch-lightning.
|
||||
# espeak-ng installed. piper/dataset/ built (build_dataset.py) & sanity-checked.
|
||||
set -euo pipefail
|
||||
cd "$(dirname "$0")/../.." # → esp32-whisper-fine-tune/
|
||||
export HSA_OVERRIDE_GFX_VERSION=11.0.0
|
||||
|
||||
DATASET=tts/piper/dataset
|
||||
TRAIN=tts/piper/train
|
||||
|
||||
# 1. preprocess: text → espeak-ng phonemes → training cache
|
||||
python -m piper_train.preprocess \
|
||||
--language ru --input-dir "$DATASET" --output-dir "$TRAIN" \
|
||||
--dataset-format ljspeech --single-speaker --sample-rate 22050
|
||||
|
||||
# 2. train from scratch (NO --resume_from_checkpoint), medium = CPU-real-time target
|
||||
python -m piper_train \
|
||||
--dataset-dir "$TRAIN" --accelerator gpu --devices 1 \
|
||||
--batch-size 16 --quality medium --precision 32 \
|
||||
--max_epochs 4000 --checkpoint-epochs 100 --validation-split 0.02
|
||||
|
||||
# 3. export best checkpoint → ONNX (adjust version_/last.ckpt path to your run)
|
||||
CKPT=$(ls -t "$TRAIN"/lightning_logs/version_*/checkpoints/*.ckpt | head -1)
|
||||
python -m piper_train.export_onnx "$CKPT" tts/piper/maven.onnx
|
||||
cp "$TRAIN"/config.json tts/piper/maven.onnx.json
|
||||
echo "[✓] exported → tts/piper/maven.onnx (+ .json). scp both to homesrv."
|
||||
@@ -0,0 +1 @@
|
||||
Ну, если честно, я не уверена, что это сработает именно так. Но давай попробуем — хуже уже точно не будет.
|
||||
Binary file not shown.
@@ -0,0 +1 @@
|
||||
Ну, если честно, я не уверена, что это сработает именно так. Но давай попробуем — хуже уже точно не будет.
|
||||
Binary file not shown.
@@ -0,0 +1 @@
|
||||
Ну, если честно, я не уверена, что это сработает именно так. Но давай попробуем — хуже уже точно не будет.
|
||||
Binary file not shown.
@@ -0,0 +1 @@
|
||||
Ну, если честно, я не уверена, что это сработает именно так. Но давай попробуем — хуже уже точно не будет.Хотя, возможно, стоит подумать о другом подходе.Ошибки нынче стоят дорого.
|
||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user