183 lines
11 KiB
JSON
183 lines
11 KiB
JSON
{
|
||
"schema_version": 1,
|
||
"read_only": true,
|
||
"model": "Qwen/Qwen3-1.7B-Base",
|
||
"packed": {
|
||
"path": "/home/kami/Programs/esp32-whisper-fine-tune/llm/data/cpt_packed",
|
||
"rows": 129221,
|
||
"block_tokens": 2048,
|
||
"total_tokens": 264644608,
|
||
"arrow_bytes": 1059122792,
|
||
"arrow_sha256": {
|
||
"data-00000-of-00003.arrow": "0e9276e5fd85e692ec33385b51b3d9afb00b7dd0dec779b9cd240fc78cf64ce5",
|
||
"data-00001-of-00003.arrow": "1f748a906c898a99c0940b8104a9c9fcab6236ab9b8ce0cb2acf4173da55808a",
|
||
"data-00002-of-00003.arrow": "e8e3cc118ade3963bfe7a0609c468b27b7a931b826547e44ff755204682aae4d"
|
||
},
|
||
"sampled_rows": 16,
|
||
"sample_bad_lengths": 0,
|
||
"sample_out_of_vocab_ids": 0,
|
||
"sample_mixed_script_rows": 4
|
||
},
|
||
"clean_sources": {
|
||
"books": {
|
||
"docs": 21784,
|
||
"chars": 92410645,
|
||
"mean_doc_chars": 4242.13,
|
||
"mean_cyrillic_ratio": 0.988257,
|
||
"mixed_script_docs": 0,
|
||
"bytes": 168304006,
|
||
"sha256": "99235f16bba523405405553732fe42298abff9cfd01d2adb6dc25902e3bf56cc"
|
||
},
|
||
"culturax": {
|
||
"docs": 187956,
|
||
"chars": 508949928,
|
||
"mean_doc_chars": 2707.81,
|
||
"mean_cyrillic_ratio": 0.95988,
|
||
"mixed_script_docs": 247,
|
||
"bytes": 918337344,
|
||
"sha256": "8da8504d5bf03155fbe613a1f7db37d2dd49e3c77e8ff3ef5c1bc4a09d37aad4"
|
||
},
|
||
"wiki": {
|
||
"docs": 21128,
|
||
"chars": 131921258,
|
||
"mean_doc_chars": 6243.91,
|
||
"mean_cyrillic_ratio": 0.970641,
|
||
"mixed_script_docs": 0,
|
||
"bytes": 237952666,
|
||
"sha256": "cc18c5a91a53c2bbb9727788036ea61b872484faffae8e764194071e556653f9"
|
||
}
|
||
},
|
||
"clean_char_share_pct": {
|
||
"books": 12.602,
|
||
"culturax": 69.407,
|
||
"wiki": 17.991
|
||
},
|
||
"provenance_warning": "Packed Arrow has no per-block source/document metadata; source shares can only be reconstructed from the clean inputs, not proven from Arrow alone.",
|
||
"checkpoint": {
|
||
"present": true,
|
||
"latest_checkpoint": "/home/kami/Programs/esp32-whisper-fine-tune/llm/Qwen3-1.7B-ru-cpt/checkpoint-1000",
|
||
"global_step": 1000,
|
||
"max_steps": 8077,
|
||
"progress_pct": 12.381,
|
||
"epoch": 0.123818883927535,
|
||
"last_loss": 1.9053752899169922,
|
||
"last_grad_norm": 1.3828125,
|
||
"last_learning_rate": 9.771972501846451e-06,
|
||
"full_weight_model_bytes": 3441185608
|
||
},
|
||
"samples": [
|
||
{
|
||
"index": 6555,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.999387,
|
||
"mixed_script": false,
|
||
"preview": " понимающими, какое впечатление это производит. Президентские выборы должны были добавить легитимности нынешнему правлению — так вот, этого не случилось. Во-вторых, произошли значительные изменения в характере протестного движения. Количест"
|
||
},
|
||
{
|
||
"index": 8078,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.988204,
|
||
"mixed_script": false,
|
||
"preview": " не приходится: то время было периодом расцвета жанра – начиная с мирискусников и заканчивая соцреалистами. Потом, правда, возник еще оттепельный подъем интереса к натюрморту, охвативший как официальных, так и андеграундных художников, но д"
|
||
},
|
||
{
|
||
"index": 8511,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 1.0,
|
||
"mixed_script": false,
|
||
"preview": "ясниться. В качестве переводчика, а точнее – менеджера спортивного отдела по работе с иностранцами, он и был приглашен в «Спартак» еще генеральным директором Сергеем Шавло. При генеральном директоре Карпине пошел на повышение. Сначала стал "
|
||
},
|
||
{
|
||
"index": 22305,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.976603,
|
||
"mixed_script": true,
|
||
"preview": " День на день не приходится 20 февраля 2019 года, 18:30 Театр Малый театр (малая сцена на Ордынке) 2500 Р Травиата 20 февраля 2019 года, 19:00 Театр Новая Опера 2000 Р Все о Золушке 20 февраля 2019 года, 19:00 Театр Театр Мюзикла 2000 Р Точ"
|
||
},
|
||
{
|
||
"index": 33410,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.937131,
|
||
"mixed_script": true,
|
||
"preview": "ело какао, и даже Надкостницу следует оставить комментарий на 1 час, затем проглотить. Студенческая истина питает и вызывает красавцы, делает их жирными, ранними и послушными. BOTANIC THERAPY протекает секущиеся кончики, питает, встряхивает"
|
||
},
|
||
{
|
||
"index": 43006,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.996627,
|
||
"mixed_script": false,
|
||
"preview": " человека? Информация от учителя Люди заставляют воду давать электроэнергию, перевозить грузы, орошать землю, лечить и развлекать человека. Динамический момент(закрепление знаний речных и морских обитателей) показываются картинки с подписям"
|
||
},
|
||
{
|
||
"index": 45603,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.995132,
|
||
"mixed_script": false,
|
||
"preview": ", балк., гараж в доме, выход на террасу с кухни и с дома Автомойки бесконтактные цена в Украине | Купить all biz 48 предложений Автомойки бесконтактные в , заказать и купить Шланги для автомойки штуцеровка,рукав автомойки чертежи дробилка щ"
|
||
},
|
||
{
|
||
"index": 47673,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.952866,
|
||
"mixed_script": true,
|
||
"preview": " тот постоянно инвестирует в себя, тот, кто чувствует эти тренды, кто постоянно занимается этими технологиями, он, в конечном итоге, забирает всё. Все спикеры - члены международной организации YPO. Сегодня в клубе состоят 28 тысяч бизнесмен"
|
||
},
|
||
{
|
||
"index": 49647,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.868365,
|
||
"mixed_script": false,
|
||
"preview": "7 КБ | Просмотров: 2825 ] 100_9393.JPG [ 843.98 КБ | Просмотров: 2818 ] Сама посудина 100_9392.JPG [ 885.76 КБ | Просмотров: 2816 ] Демон с Наташей готовятся к бою 100_9397.JPG [ 928.71 КБ | Просмотров: 2821 ] Да короче все готовятся 100_93"
|
||
},
|
||
{
|
||
"index": 60392,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.938221,
|
||
"mixed_script": false,
|
||
"preview": "Бегемотик\" купить в магазине Апанде - купить недорого. Низкие цены в магазине Апанде. Серебряная ложка с эмалью \"Бегемотик\" Серебряная чайная ложка \"Бегемотик\" у нас Серебряная чайная ложка \"Бегемотик\" прошел ОТК и проверку в государственно"
|
||
},
|
||
{
|
||
"index": 75172,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.999089,
|
||
"mixed_script": false,
|
||
"preview": "КАЯ: Как невероятно метки… С. БУНТМАН: … точно его Пауком назвали. Н. БАСОВСКАЯ: Невероятно меткими являются вот эти народные прозвания. Как часто многие из правителей, желающие оставить в веках совсем другой след, чем они, по сути, заслужи"
|
||
},
|
||
{
|
||
"index": 97796,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.992467,
|
||
"mixed_script": true,
|
||
"preview": "альник дифференциала Масло трансмиссионное Карданный вал Подвесной подшипник Двигатель Блок цилиндров Прокладки блока цилиндров Головка блока цилиндров Болты ГБЦ Головка блока цилиндров Направляющая втулка клапана Крепление двигателя Кроншт"
|
||
},
|
||
{
|
||
"index": 100605,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.999315,
|
||
"mixed_script": false,
|
||
"preview": " невредимой, но голос его при этом выражал куда более глубокие чувства. – я уронила корзину и уперла руки в бока. Сокровища профессора не интересовали. Отозвался бегущий, даже не обернувшись. Будь готов к шоку после того, как покинешь робот"
|
||
},
|
||
{
|
||
"index": 117529,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.986769,
|
||
"mixed_script": false,
|
||
"preview": "» и «Восток». Своеобразной достопримечательностью «Всемирной литературы» была торговка Роза Васильевна. В 1924 году издательство «Всемирная литература» было объединено с Ленгизом. См. также Библиотека всемирной литературы Примечания "
|
||
},
|
||
{
|
||
"index": 122565,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 0.927888,
|
||
"mixed_script": false,
|
||
"preview": "ікінги в Центрально-Східній Європі: Загадки Ладоги і Пліснеська Butler F. Ol'ga's Conversion and the Construction of Chronicle Narrative // The Russian Review, 2008. Vol. 67, № 2. — pp. 230–242. Ссылки Княгиня Ольга на официальном сай"
|
||
},
|
||
{
|
||
"index": 122647,
|
||
"tokens": 2048,
|
||
"cyrillic_ratio": 1.0,
|
||
"mixed_script": false,
|
||
"preview": " комплексе «Тополь-М». На боевое дежурство 1-й ракетный дивизион и ПКП 321 рп заступил 10 декабря 2006 года в 15:00. Тогда же стало известно о подписании президентом Владимиром Путиным новой государственной программы вооружений до 2015 года"
|
||
}
|
||
]
|
||
}
|