Ketika pelanggan mengunggah invoice dan formulir berbahasa Kazakh ke sistem, saya ingin mengetahui batas akurasi riil OCR pada sembilan karakter khusus, agar mengotomatiskan teks standar sembari mempertahankan verifikasi manusia pada data sensitif.
Apa yang Diukur dan Alasan Benchmark Terbuka Ini Dilakukan
Kaitannya dengan tugas AndaTingkat eror yang rendah pada teks cetak bersih menjadi dasar andal untuk pemilahan dokumen awal.
Kaitannya dengan tugas AndaTingkat eror yang rendah pada teks cetak bersih menjadi dasar andal untuk pemilahan dokumen awal.
Kaitannya dengan tugas AndaTingkat eror yang rendah pada teks cetak bersih menjadi dasar andal untuk pemilahan dokumen awal.
Apa yang diukur dalam benchmark Tesseract OCR ini?
Kami menguji Tesseract 5.5.0 CLI offline pada empat sampel dokumen sintetis berbahasa Kazakh, mencatat metrik CER, WER, dan rasio substitusi huruf.
Mengapa teks bahasa Kazakh gagal terbaca tanpa modul kaz?
Tanpa modul kaz, Tesseract mengasumsikan teks Kiril Rusia biasa, sehingga seluruh 271 huruf khusus Kazakh keliru terbaca sebagai huruf Rusia.
Documents arrive in Kazakh while default OCR pipelines lack validation on 9 distinct letters.
Clean printed Kazakh achieves under 0.3% error rate, sufficient to automate intake pipelines.
Misreading crucial amounts or names in complex table invoices.
Relying on generic Cyrillic models until an invoice header fails unexpectedly.
Metodologi Pengukuran dan Rangkaian Pengujian
We evaluated offline Tesseract CLI version 5.5.0 across four document samples rendered at 300 DPI using DejaVu Sans fonts. Every test run compared character-level alignments against verified ground truth files to count exact substitutions, deletions, and insertions.
Hasil Pengujian pada Empat Sampel Dokumen Sintetis
Mengapa tata letak tabel dan teks tebal mengalami penurunan akurasi?
Garis tabel dan ketebalan font mengacaukan pemisahan karakter, menyebabkan 21% huruf khusus Kazakh tertukar dengan alfabet Kiril biasa.
Clean Printed Text
Error rates stay minimal at CER 0.05% with only one mistake across 271 Kazakh letters. Clean font documents can safely enter automated processing without manual re-typing.
Bilingual Kazakh-Russian
Code-switching text achieves CER 0.08%. Combining rus+kaz language models preserves character fidelity across mixed vocabularies.
Invoice & Grid Tables
Table borders and uppercase bold titles elevate error rate to 4.1%, confusing every fifth Kazakh character. This structure demands automated dictionary correction.
Huruf Khas Kazakh Mana yang Paling Sering Mengalami Salah Baca?
Letter-level error breakdowns demonstrate that characters with subtle diacritics encounter the highest risk of misclassification:
- Қ frequently degrades into Cyrillic К.
- Ұ transforms into standard У.
- Ң is misinterpreted as Cyrillic Н.
Perbandingan Kinerja Berbagai Varian Model Tesseract
How documents progress through OCR evaluation
- MasukDocument Render
Synthetic Kazakh text is rasterized at 300 DPI into PNG samples.
- PencatatanTesseract Extraction
Engine processes image using configured language packs.
- Kontak lanjutanCharacter Alignment
jiwer aligns characters to flag letter substitutions.
- HasilReport Generation
Results are written into results.csv and per-letter.csv logs.
Apa bedanya benchmark offline ini dengan DocScan di peramban?
Benchmark ini menguji mesin Tesseract murni, sedangkan DocScan di browser menggunakan pra-pemrosesan gambar dan penyempurnaan berbasis kamus.
Apa manfaatnya bagi bisnis Anda
- AngkaWithout kaz pack: all 271 Kazakh letters failArtinya bagi AndaStandard Cyrillic models cannot recognize the 9 unique lettersJawaban aitomatonInstall kaz.traineddata in tessdata directoryNilaiEnables recognition of Kazakh characters
- AngkaTable layouts: 21% letter error rateArtinya bagi AndaGrid lines and bold font weights degrade OCR accuracyJawaban aitomatonUse tessdata_best model and omit eng packNilaiReduces misread characters in enterprise receipts
- AngkaDiacritic confusion: Қ to К, Ұ to УArtinya bagi AndaSubtle glyph accents are dropped in complex layoutsJawaban aitomatonDictionary-based automated post-processingNilaiEnsures verified accuracy before filing
Keterbatasan yang Tidak Ditunjukkan oleh Benchmark Sintetis Ini
Apakah angka ini menjamin akurasi pada semua jenis dokumen bisnis?
Tidak. Ini adalah pengujian sintetis tipografi. Pindaian buram atau foto kamera ponsel tetap memerlukan pemeriksaan manual oleh petugas manusia.
Cara Mereplikasi Pengujian Ini pada Dokumen Anda Sendiri
- Step 1: Setup EnvironmentInstall Tesseract 5.5, Pillow, numpy, and jiwer in a Python virtual environment.
- Step 2: Generate SamplesRun render.py to generate 300 DPI test images from gt ground truth files.
- Step 3: Execute OCRRun score.py to execute Tesseract CLI and calculate CER and WER metrics.
- Step 4: Inspect Letter MetricsReview per-letter.csv to evaluate specific substitution patterns for your domain.