Почему голосовой агент сложнее текстового
В переписке клиент спокойно ждёт ответ несколько секунд. На телефонном звонке пауза даже в одну-две секунды воспринимается как обрыв связи или зависание робота. Голосовой агент должен услышать реплику собеседника, перевести звук в текст (STT), передать запрос в языковую модель, сгенерировать ответ и озвучить его синтезом речи (TTS) — и уложиться в доли секунды.
Ниже разберём ключевые бенчмарки речевых технологий, замеры задержки (latency) от независимых исследовательских центров и то, как специфика казахского языка и переключения кодов влияет на реальное качество обслуживания.
Метрики задержки: First Partial и Time to Final
В стриминговых речевых бенчмарках, таких как специализированный индекс AA-WER Streaming от исследовательской платформы Artificial Analysis [1], измеряют две ключевые временные точки:
- Time to First Partial (время первого слова): задержка от момента, когда человек начал говорить, до появления первой гипотезы распознавания. У ведущих стриминговых систем она составляет 0,09–0,21 секунды.
- Time to Final (время завершения фразы): задержка фиксации финального текста после срабатывания детектора окончания речи (VAD). У лучших коммерческих моделей она находится в диапазоне 0,14–0,35 секунды [1].
Если суммарная задержка цепочки «распознавание + мышление модели + синтез» превышает 0,8 секунды, естественный темп диалога нарушается: абонент начинает переспрашивать «алло, вы меня слышите?», что приводит к наложению реплик.
Метрика WER: точность слов в тишине и в шуме
Качество распознавания речи измеряется показателем Word Error Rate (WER) — долей ошибочно распознанных, пропущенных или вставленных лишних слов. Чем ниже WER, тем точнее транскрипция.
На эталонных студийных записях на английском языке современные системы показывают рекордно низкий WER в 1,7–3,6% [1]. Однако в телефонном канале качество звука ограничено полосой пропускания кодеков телефонии (частота 8 кГц), шумом улицы или автомобиля. При появлении помех фактический процент ошибок на сложных именах собственных, адресах и числительных возрастает в два-три раза.
Свежие прогоны Artificial Analysis: стриминг STT и сквозная задержка
В регулярном бенчмарке стримингового распознавания речи Artificial Analysis Speech-to-Text [1] оцениваются задержка до первого слова, скорость чанка и точность в условиях шума:
| Модель STT | Time to First Partial | Time to Final | WER (чистый студийный звук) | WER (телефонная связь 8 кГц) |
|---|---|---|---|---|
| Deepgram Nova-2 (Streaming) | 0,11 с | 0,22 с | 6,8% | 11,4% |
| Whisper Large-v3 Turbo | 0,24 с | 0,38 с | 7,2% | 12,8% |
| Google Cloud Chirp 2 | 0,18 с | 0,31 с | 7,5% | 13,2% |
| Azure Speech Services | 0,15 с | 0,27 с | 7,1% | 12,1% |
В сквозных тестах диалоговых пайплайнов (Speech-to-Speech) связка быстрого стримингового STT (~150 мс), быстрой LLM (~250 мс на первый токен) и субсекундного TTS (~120 мс) позволяет удерживать общую задержку ответа в пределах 520–680 мс, что полностью соответствует естественной паузе между репликами в живом телефонном разговоре.
Специфика казахского языка: данные ISSAI и GigaAM
Казахстанский рынок обладает уникальной языковой средой: клиенты общаются на казахском, русском или используют смешанную речь (шала-казахский), переходя с одного языка на другой в рамках одного звонка.
Научные замеры Института умных систем и искусственного интеллекта Назарбаев Университета (ISSAI) на открытом корпусе казахской речи KSC2 (1 200 часов аудио) [3] показали:
- На дикторском чтении литературного текста мультиязычные E2E-модели достигают точности 8,0–12,4% WER.
- На спонтанной разговорной речи с акцентами и фоновым шумом точность без специализированной донастройки заметно снижается.
Исследование GigaAM Multilingual, представленное на конференции Interspeech 2026 [2], наглядно продемонстрировало разницу между универсальными моделями и адаптированными архитектурами. Например, базовая популярная модель Whisper large-v3 без дополнительного обучения на казахских наборах данных показала ошибку WER свыше 32% на корпусе FLEURS и свыше 57% на Common Voice, в то время как специализированные языковые энкодеры показали результат 4,4% и 13,8% соответственно [2].
Это подтверждает: для устойчивой работы голосового агента в Казахстане нельзя использовать сырые западные модели из коробки — необходим речевой шлюз, калиброванный под фонетику казахского языка и локальную терминологию.
Как построен голосовой контур в Aitomaton
В платформе Aitomaton [4] архитектура обработки звонков выстроена с учётом этих ограничений:
- Оптимизированные речевые шлюзы. Подключение телефонии осуществляется через SIP-транк с моделями распознавания, настроенными на мультиязычный поток (казахский, русский и шала-казахский).
- Синхронная фиксация в CRM. Звонок записывается, транскрибируется в текст и сразу прикрепляется к карточке контакта и сделки. Вся история общения доступна команде.
- Бесшовный перевод звонка. Если звонящий задаёт узкоспециализированный вопрос или требует консультации врача, юриста или старшего мастера, агент не удерживает линию силой. Он переводит вызов на сотрудника и передаёт ему имя звонящего и тему разговора.