Blog Rekayasa · Benchmark Terbuka

Benchmark Tesseract Kazakh: Menguji Akurasi pada 9 Huruf Khusus

Tiga set model, empat sampel dokumen, tanpa manipulasi hasil. Simak angka performa, titik rawan, dan skrip uji terbuka.

Bisakah mesin OCR open-source standar membaca dokumen berbahasa Kazakh tanpa kendala? Kami menguji akurasi terhadap sembilan huruf khas Kazakh.

Ringkasan: Kami menguji performa mesin offline Tesseract 5.5.0 pada empat sampel dokumen sintetis bahasa Kazakh tanpa rekayasa neural pasca-proses. Pada teks cetak standar angka kesalahan berada di bawah 0,3%, namun pada tabel dan judul tebal satu dari lima huruf Kazakh mengalami salah baca. Modul bahasa kaz wajib dipasang untuk membaca sembilan karakter khusus tersebut.

Tugas · pimpinan teknis yang mengelola alur dokumen bahasa Kazakh

Ketika pelanggan mengunggah invoice dan formulir berbahasa Kazakh ke sistem, saya ingin mengetahui batas akurasi riil OCR pada sembilan karakter khusus, agar mengotomatiskan teks standar sembari mempertahankan verifikasi manusia pada data sensitif.

Apa yang Diukur dan Alasan Benchmark Terbuka Ini Dilakukan

629
Kazakh letters analyzed across 4 document samplesAitomaton Open Benchmark · 2026-10-13

Kaitannya dengan tugas AndaTingkat eror yang rendah pada teks cetak bersih menjadi dasar andal untuk pemilahan dokumen awal.

0.05%
CER on clean printed sample with eng+rus+kaz modelsAitomaton Open Benchmark · 2026-10-13

Kaitannya dengan tugas AndaTingkat eror yang rendah pada teks cetak bersih menjadi dasar andal untuk pemilahan dokumen awal.

4.1%
CER on invoice table sample where letter error rate peakedAitomaton Open Benchmark · 2026-10-13

Kaitannya dengan tugas AndaTingkat eror yang rendah pada teks cetak bersih menjadi dasar andal untuk pemilahan dokumen awal.

Apa yang diukur dalam benchmark Tesseract OCR ini?

Kami menguji Tesseract 5.5.0 CLI offline pada empat sampel dokumen sintetis berbahasa Kazakh, mencatat metrik CER, WER, dan rasio substitusi huruf.

Mengapa teks bahasa Kazakh gagal terbaca tanpa modul kaz?

Tanpa modul kaz, Tesseract mengasumsikan teks Kiril Rusia biasa, sehingga seluruh 271 huruf khusus Kazakh keliru terbaca sebagai huruf Rusia.

Apa yang mendorong meninggalkan cara lama

Documents arrive in Kazakh while default OCR pipelines lack validation on 9 distinct letters.

Apa yang menarik ke cara baru

Clean printed Kazakh achieves under 0.3% error rate, sufficient to automate intake pipelines.

Apa yang mengkhawatirkan

Misreading crucial amounts or names in complex table invoices.

Apa yang menahan pada kebiasaan

Relying on generic Cyrillic models until an invoice header fails unexpectedly.

Metodologi Pengukuran dan Rangkaian Pengujian

We evaluated offline Tesseract CLI version 5.5.0 across four document samples rendered at 300 DPI using DejaVu Sans fonts. Every test run compared character-level alignments against verified ground truth files to count exact substitutions, deletions, and insertions.

Hasil Pengujian pada Empat Sampel Dokumen Sintetis

Mengapa tata letak tabel dan teks tebal mengalami penurunan akurasi?

Garis tabel dan ketebalan font mengacaukan pemisahan karakter, menyebabkan 21% huruf khusus Kazakh tertukar dengan alfabet Kiril biasa.

Clean Printed Text

Error rates stay minimal at CER 0.05% with only one mistake across 271 Kazakh letters. Clean font documents can safely enter automated processing without manual re-typing.

Bilingual Kazakh-Russian

Code-switching text achieves CER 0.08%. Combining rus+kaz language models preserves character fidelity across mixed vocabularies.

Invoice & Grid Tables

Table borders and uppercase bold titles elevate error rate to 4.1%, confusing every fifth Kazakh character. This structure demands automated dictionary correction.

Huruf Khas Kazakh Mana yang Paling Sering Mengalami Salah Baca?

Letter-level error breakdowns demonstrate that characters with subtle diacritics encounter the highest risk of misclassification:

  • Қ frequently degrades into Cyrillic К.
  • Ұ transforms into standard У.
  • Ң is misinterpreted as Cyrillic Н.

Perbandingan Kinerja Berbagai Varian Model Tesseract

How documents progress through OCR evaluation

  1. MasukDocument Render

    Synthetic Kazakh text is rasterized at 300 DPI into PNG samples.

  2. PencatatanTesseract Extraction

    Engine processes image using configured language packs.

  3. Kontak lanjutanCharacter Alignment

    jiwer aligns characters to flag letter substitutions.

  4. HasilReport Generation

    Results are written into results.csv and per-letter.csv logs.

Apa bedanya benchmark offline ini dengan DocScan di peramban?

Benchmark ini menguji mesin Tesseract murni, sedangkan DocScan di browser menggunakan pra-pemrosesan gambar dan penyempurnaan berbasis kamus.

Apa manfaatnya bagi bisnis Anda

  1. AngkaWithout kaz pack: all 271 Kazakh letters fail
    Artinya bagi AndaStandard Cyrillic models cannot recognize the 9 unique letters
    Jawaban aitomatonInstall kaz.traineddata in tessdata directory
    NilaiEnables recognition of Kazakh characters
  2. AngkaTable layouts: 21% letter error rate
    Artinya bagi AndaGrid lines and bold font weights degrade OCR accuracy
    Jawaban aitomatonUse tessdata_best model and omit eng pack
    NilaiReduces misread characters in enterprise receipts
  3. AngkaDiacritic confusion: Қ to К, Ұ to У
    Artinya bagi AndaSubtle glyph accents are dropped in complex layouts
    Jawaban aitomatonDictionary-based automated post-processing
    NilaiEnsures verified accuracy before filing

Keterbatasan yang Tidak Ditunjukkan oleh Benchmark Sintetis Ini

Apakah angka ini menjamin akurasi pada semua jenis dokumen bisnis?

Tidak. Ini adalah pengujian sintetis tipografi. Pindaian buram atau foto kamera ponsel tetap memerlukan pemeriksaan manual oleh petugas manusia.

Cara Mereplikasi Pengujian Ini pada Dokumen Anda Sendiri

  1. Step 1: Setup EnvironmentInstall Tesseract 5.5, Pillow, numpy, and jiwer in a Python virtual environment.
  2. Step 2: Generate SamplesRun render.py to generate 300 DPI test images from gt ground truth files.
  3. Step 3: Execute OCRRun score.py to execute Tesseract CLI and calculate CER and WER metrics.
  4. Step 4: Inspect Letter MetricsReview per-letter.csv to evaluate specific substitution patterns for your domain.

Pertanyaan yang sering diajukan

Apa yang diukur dalam benchmark Tesseract OCR ini?

Kami menguji Tesseract 5.5.0 CLI offline pada empat sampel dokumen sintetis berbahasa Kazakh, mencatat metrik CER, WER, dan rasio substitusi huruf.

Mengapa teks bahasa Kazakh gagal terbaca tanpa modul kaz?

Tanpa modul kaz, Tesseract mengasumsikan teks Kiril Rusia biasa, sehingga seluruh 271 huruf khusus Kazakh keliru terbaca sebagai huruf Rusia.

Mengapa tata letak tabel dan teks tebal mengalami penurunan akurasi?

Garis tabel dan ketebalan font mengacaukan pemisahan karakter, menyebabkan 21% huruf khusus Kazakh tertukar dengan alfabet Kiril biasa.

Apa bedanya benchmark offline ini dengan DocScan di peramban?

Benchmark ini menguji mesin Tesseract murni, sedangkan DocScan di browser menggunakan pra-pemrosesan gambar dan penyempurnaan berbasis kamus.

Apakah angka ini menjamin akurasi pada semua jenis dokumen bisnis?

Tidak. Ini adalah pengujian sintetis tipografi. Pindaian buram atau foto kamera ponsel tetap memerlukan pemeriksaan manual oleh petugas manusia.

Hubungkan agen AI ke bisnis Anda

Pengaturan dipandu oleh teknisi dalam 1 hari

Diperbarui:

Minta demo platform

Kami akan menunjukkan cara kerja agen AI pada proses bisnis Anda, menganalisis funnel Anda, dan menjawab semua pertanyaan.