Замер Tesseract на казахском: что показал открытый тест по буквам

Что мы измерили и зачем?

Чтобы не полагаться на абстрактные заявления о «99% точности» и понять реальные ограничения открытых технологий, мы провели прикладной инженерный тест: написали воспроизводимые скрипты и прогнали офлайн-движок Tesseract 5.5.0 CLI по четырём синтетическим образцам казахского текста.

Мы проверяли не «весь казахский язык в реальном мире» (для этого требуются тысячи полевых документов), а конкретную инженерную гипотезу: как базовые открытые модели traineddata справляются с девятью специфическими буквами — ә, ғ, қ, ң, ө, ұ, ү, һ, і — без нейросетевой постобработки, и где движок подменяет их русскими аналогами.

Это полностью открытый замер: генератор страниц render.py, скрипт оценки score.py, тестовые файлы и CSV-логи выложены рядом, чтобы любой разработчик мог повторить тест одной командой.

Мерили именно голый офлайн-движок, а не готовую цепочку с предобработкой изображений. Внутри веб-сервисов распознавание часто работает через tesseract.js или VLM-модели — это другие инструменты, и наш замер описывает базовый CLI-движок. Постобработку мы намеренно не включали: важно увидеть поведение «как есть».

Причина простой на первый взгляд задачи в том, что казахский алфавит близок к русскому, но девять букв устроены иначе. Движок, натренированный на русском, привычно подставляет двойники — и там, где речь о реквизитах, суммах или названиях, такая замена меняет смысл. Поэтому смотреть на общую точность мало: нужен разрез по буквам.

Как устроена методика замера?

Методика простая и воспроизводимая: четыре синтетических образца, три набора моделей, три набора языков и единая метрика ошибок. Документы отрисованы шрифтом DejaVu Sans при 300 dpi, эталоны лежат в gt/, распознанные тексты — в out/. CER и WER считает библиотека jiwer после схлопывания пробелов.

Движок один — tesseract 5.5.0 (leptonica 1.84.1), LSTM, режим --psm 3. Модели брали в трёх вариантах: системные из пакета tesseract-ocr-kaz/rus (это tessdata_fast), точные tessdata_best и web-сборку, которую использует DocScan. Сами файлы моделей мы в репозиторий не кладём — они под Apache-2.0, поэтому ниже только ссылки на оригиналы и sha256.

Образцы подобраны так, чтобы задеть разные сценарии: чистый печатный казахский текст на 300 слов со всеми девятью буквами; смешанный шала-казахский, где казахский идёт вместе с русским; накладная с табличной сеткой и жирными заголовками; и «скан» первого образца — 150 dpi, поворот на 2°, лёгкое размытие и шум в JPEG.

Три набора языков повторяют реальный выбор в продукте: eng+rus+kaz (как в DocScan), kaz+rus и rus. Именно разница между ними объясняет большую часть результатов: наличие или отсутствие kaz переворачивает картину сильнее, чем смена модели.

Результаты по четырём образцам

Ниже — модель DocScan (web) и языки eng+rus+kaz, как в продукте. На чистом тексте и на «скане» ошибка почти нулевая, а вся проблемная зона — таблица. Числа взяты из results.csv, проценты округлены.

Видно две закономерности. Первая: без kaz казахский разваливается полностью — на чистом образце все 271 буква оказались неверными. Вторая: с kaz даже «плохой» скан читается лучше, чем таблица с идеальной печатью. Значит, дело не в качестве картинки, а в структуре: сетка и жирный шрифт создают движку больше проблем, чем шум.

Отдельно про смешанный образец: чередование казахского и русского движок держит хорошо (CER 0,31%). Меньше букв — меньше шансов ошибиться, но и здесь видно, что при наличии kaz русский текст не мешает. В повседневной переписке на двух языках это важно: не нужно выбирать один язык на весь документ.

Какие казахские буквы ошибаются чаще?

Сводная таблица по буквам показывает, где движок спотыкается. Данные — web-модель с eng+rus+kaz по всем четырём образцам вместе, из per-letter.csv. Для девяти букв важно и то, во что именно они превращаются.

С kaz+rus, без eng, ошибок примерно вдвое меньше: на тех же образцах ұ падает с 8,3% до 4,2%, ү до нуля, і с 1,4% до 0,9%. Лишний латинский язык в наборе добавляет движку соблазн прочитать казахскую букву как похожую латинскую — отсюда редкие, но неприятные замены вроде БСН → BCH.

Вторая частая беда — регистр. На чистом тексте из ошибок нашлась одна: Іле → іле. Для человека это мелочь, а для поля «ИИН/БСН» или начала имени — уже нет. Поэтому проверять стоит не только сами буквы, но и заглавные в начале слов.

Таблица честно мала: һ встретилась всего дважды, поэтому её 50% — это одна ошибка, а не статистика. Так же осторожно стоит читать редкие подмены: они показывают направление, а не устойчивую частоту. Размер выборки мы не прячем — он в первом столбце.

Как повели себя разные модели Tesseract?

Разница между моделями проявляется не на простом тексте, а на таблице — и там она решающая. На накладной с kaz+rus точная tessdata_best дала ноль ошибок казахских букв, системная tessdata_fast — 28%, а web-модель DocScan — 9,3%. На чистом тексте все три идут ноздря в ноздрю.

При eng+rus+kaz картина хуже у всех: у tessdata_fast на накладной ошибки букв подскакивают до 40%. То есть eng — не бесплатное дополнение: на капсе и в таблицах он даёт движку латинские варианты, и тот ими пользуется. Практический вывод для настройки: для казахских документов держать kaz+rus, а eng добавлять только осознанно.

Сами модели под лицензией Apache-2.0, поэтому мы их не перепубликуем, а даём ссылки и sha256 для сверки. Значения ниже — сокращённые (начало…конец) из отчёта; полные совпадают с выводом sha256sum models/*/*.

Здесь же уместно сказать про продукты. Распознавание встраивается в общий контур: ИИ-агент в чатах принимает обращения, единый инбокс собирает каналы, а платформа аитоматон связывает документ со сделкой и ответственным. Сам замер — про движок; как он ляжет в процесс, зависит от того, где стоит человек.

Ни одна модель не даёт права не проверять. Даже лучший результат на таблице у tessdata_best — это ноль ошибок на одном образце из сорока трёх букв, а не обещание на всех документах. Модель снимает часть рутины, а решение о том, что считать верным, остаётся за человеком.

Чего этот замер не показывает?

Замер не заменяет проверку на ваших документах: он говорит о тенденции, а не о гарантии. Всего четыре документа и около 630 казахских букв, отрисованных шрифтом DejaVu Sans. Реальные сканы, факсы, фото с телефона и рукописный текст мы не проверяли — там ошибок ожидаемо больше, чем на этих образцах.

Второе ограничение — среда. Здесь работает офлайн CLI-движок, а в браузере DocScan использует tesseract.js: у него другая сборка WASM и своя предобработка. Постобработку /api/ai-enhance мы намеренно не включали, поэтому цифры показывают «сырой» движок. Это не отчёт о качестве продукта, а открытый замер одной из его частей.

Третье — сами формулировки. Мы сознательно говорим «замер Tesseract на казахском», а не «распознаёт любые документы» и не «точность 99%»: данных для таких обещаний нет. Хорошие цифры на печатном тексте и слабое место в таблицах — это две стороны одного результата, и обе стоит учитывать.

Как повторить замер на своих документах?

Возьмите наши материалы и прогоните тот же движок на своих образцах — так вы получите цифру для своей задачи. Всё наше открыто под лицензией CC BY 4.0: результаты, ошибки по буквам, образцы, эталоны и скрипты. Модели Tesseract скачиваются по ссылкам из раздела про модели; мы их не перепубликуем.

Материалы замера:

• results.csv — CER, WER и ошибки по образцам, моделям и языкам;
• per-letter.csv — ошибки по буквам с частыми подменами;
• образец чистого текста — и остальные картинки в той же папке;
• эталон чистого текста — и остальные тексты эталонов;
• render.py — отрисовка образцов;
• score.py — прогон Tesseract и подсчёт метрик.

1. Подготовьте окружениеПоставьте tesseract 5.5, Pillow, numpy и jiwer. Скачайте модели в папки models/fast, models/best и models/web по ссылкам из раздела про модели и сверьте sha256.
2. Сгенерируйте образцыЗапустите render.py — он отрисует четыре образца из gt/*.txt и «скан» из первого. Для своих данных положите картинки в samples/, а тексты — в gt/.
3. Прогоните и посчитайтеЗапустите score.py: он выполнит Tesseract в нужных языках и запишет свежие results.csv и per-letter.csv с CER, WER и ошибками по буквам.
4. Смотрите на разрез по буквамСравнивайте не только общий CER, но и таблицу по девяти буквам — именно она показывает, можно ли доверять документу без вычитки.

Если своего пайплайна нет, начните с малого: возьмите десяток реальных документов на казахском, которые уже проходят через ваши процессы, и повторите замер на них. Такой тест займёт вечер и даст куда более полезную цифру, чем любая чужая. А где ответ дорогой — там распознавание готовит черновик, а человек принимает решение.