Два пути создания голосового интеллекта
Когда компания решает внедрить голосового ассистента на телефонную линию, ключевой инженерный вопрос заключается в выборе архитектуры. От этого напрямую зависят задержка ответа (latency), стоимость одного звонка и риск дезинформации клиента.
Сегодня в индустрии конкурируют два принципиальных подхода:
- Каскадная архитектура (STT → LLM → TTS): цепочка из трёх специализированных моделей, последовательно сменяющих друг друга.
- Сквозные модели (Speech-to-Speech, S2S): единая нейросеть, принимающая аудиопоток на входе и генерирующая аудиопоток на выходе без промежуточной текстовой транскрипции [1].
Ниже разберём сильные и слабые стороны обоих подходов в корпоративном применении.
Классический каскад: контроль каждого шага
В каскадной схеме обработка звонка делится на три чётких этапа:
- STT (Speech-to-Text): модель распознавания речи принимает аудиосигнал абонента и переводит его в текст с таймкодами.
- LLM (Language Model): текстовая языковая модель получает системный промпт, контекст диалога и реплику клиента, после чего определяет намерение и формулирует ответ (или вызывает API бронирования).
- TTS (Text-to-Speech): модель синтеза речи получает сформированный текст и озвучивает его выбранным голосом.
Главные преимущества каскада для бизнеса:
- Жёсткий детерминизм данных: между LLM и TTS встраивается программный валидатор. Если модель попыталась озвучить цену ниже прайс-листа или занять уже занятый слот, валидатор перехватывает ошибку до того, как звук ушёл в телефонную трубку.
- Гибкая замена компонентов: можно использовать одну модель для распознавания казахского языка (например, обученную на корпусе KSC2), другую — для рассуждений (GPT-4o mini или Claude 3.5 Haiku), третью — для локального синтеза речи.
Слабое место: суммарная задержка. При неоптимальной связке время ожидания ответа клиентом может достигать 1,2–1,8 секунды, что создаёт ощущение неестественной паузы.
Сквозные модели Speech-to-Speech: живой контакт без задержек
В 2024–2025 годах появились сквозные аудиомодели, такие как Moshi от лаборатории Kyutai [2] и Realtime API от OpenAI [1]. В них нейросеть обучается напрямую на аудиотокенах.
Преимущества S2S:
- Минимальная задержка: ответ генерируется за 300–450 миллисекунд, что соответствует паузам в естественной человеческой речи.
- Передача эмоций и интонаций: модель улавливает сарказм, неуверенность, смех или раздражение в голосе абонента и реагирует соответствующим тембром.
Риски для бизнеса:
- «Аудиогаллюцинации»: модель может оговориться или исказить номер телефона голосом, при этом перехватить звук до отправки в линию технически сложнее, чем проверить строку текста.
- Высокая стоимость вычислительных ресурсов: потоковая генерация аудио требует специализированных графических ускорителей с постоянным онлайном.
Практический выбор: гибридный контур
Для задач сервисного бизнеса (автосервисы, клиники, салоны красоты) оптимальным решением является оптимизированный гибридный каскад:
- Потоковый STT с отправкой промежуточных гипотез (first partial за 120–180 мс).
- Стриминг первых слов ответа LLM напрямую в потоковый синтезатор TTS (First Token Latency менее 250 мс).
- Параллельный асинхронный вызов CRM для подтверждения слота в расписании.
При такой архитектуре клиент получает быстрый и живой ответ без неловких пауз, а бизнес остаётся защищённым от финансовых и сервисных ошибок.