Multimodal model agnosticism

Platform AI models: model agnosticism and a protected agent core

Multimodal models (Gemini, Claude, OpenAI, DeepSeek, Llama) across task tiers inside the deterministic aitomaton core, with no single-vendor lock-in.

SummaryThe aitomaton platform is built on model agnosticism: businesses are not locked into a single provider, but use models tailored across performance tiers (Gemini 2.0 Flash, Claude 3.5/3.7, OpenAI Realtime, DeepSeek V3/R1, Llama 3.3). The platform core restricts model permissions via MCP tools and can switch a session to a fallback model if a provider fails.

Why does strict lock-in to a single model become a business risk?

The artificial intelligence industry evolves at breakneck speed: new model releases routinely deliver direct native audio processing, enhanced mathematical reasoning, and lower token inference costs. When enterprise software is hard-coded to a single provider’s API, the business becomes dependent on them: an outage in a foreign data center can halt client communications, sudden pricing revisions inflate operational overhead, and integrating newer architectures gets delayed for months.

Job · business owner, COO, VP of IT or CTO

When new voice and text models are released by various technology leaders, I want to adopt the best solutions on the market without rewriting business logic or risking communication downtime, so that sales and support operations remain stable while model expenses stay under control.

160–350 ms
latency of native speech models (Gemini 2.0, Realtime, Moshi) vs 1.4+ seconds in cascaded stacksArtificial Analysis Audio Leaderboard · 2026-04

How it relates to your taskDirect audio processing shortens pauses during phone conversations. This is benchmark data, not a promise for your calls: verify quality on call recordings during initial deployment.

42%
compute cost savings through specialized multi-model workload distributionStanford HAI AI Index · 2025-04

How it relates to your taskDeploying ultra-fast, lightweight models for routine replies and reserving powerful reasoning models for complex commercial tasks optimizes the company budget.

Aitomaton is engineered from the ground up as a model-agnostic platform. The gateway cleanly decouples applied business workflows (sales funnels, customer service protocols, CRM interactions, and accounting systems) from specific model providers. We benchmark emerging models and introduce them into production only after thorough internal verification.

What pushes you away from the old way

A single proprietary vendor routinely increases pricing, suffers peak-hour overloads, and lacks native audio processing capabilities.

What pulls you to the new one

Choosing the right model for each task: Gemini for live voice, Claude for intricate business logic, Llama for isolated private infrastructure (per project).

What worries you

'Managing multiple neural networks at once is too complex.' All models are unified under a single gateway with automated fallback redundancy.

What keeps you with the habit

Relying solely on marketing claims from a single vendor fosters an illusion of having no alternatives, stalling the company's technological agility.

Which AI models are available in the aitomaton platform catalog?

The interactive catalog showcases the models available within the aitomaton infrastructure for telephony lines, messenger conversations, and isolated on-premises environments. You can filter the directory by category or use the search bar to inspect response latencies, context window sizes, benchmark results, and production roles for each architecture across the platform:

Диапазоны характеристик каталога моделей

Метрики и диапазоны производительности в аитоматон

Задержка отклика (TTFB)160–320 мсРечевые сквозные модели против 1400+ мс в каскадах
Контекстное окно128K – 1M – 2MОт оперативной сессии до полных архивов регламентов
Скорость генерации60 – 250 токенов/сМгновенный отклик в переписке WhatsApp и Telegram
Себестоимость инференсаот $0.075 до 0 ₸От ультрабюджетных API до закрытого контура в РК
Google DeepMind
Google DeepMindРечевой Full-Duplex
Native Speech-to-Speech

Gemini 2.0 Flash Multimodal Live API

Диапазон задержки: 220–320 мс

Сквозная двусторонняя обработка аудиопотока в реальном времени по WebSocket без промежуточного каскада STT и TTS. Нативное распознавание пауз, интонаций и перебивания (barge-in).

Роль в платформе:

Основной голосовой агент для телефонных линий Asterisk, SIP-транков операторов РК и живого речевого обслуживания.

Задержка220–320 мс
Контекст1 048 576 токенов
Тарифный диапазон:от $0.075 / 1M токенов
  • Двусторонний аудиопоток с перебиванием (barge-in) за 50–90 мс
  • Прямая передача звука без буферизации и неестественных пауз
  • Нативная поддержка казахского, русского и английского языков
  • Вызов серверных функций (Function Calling) во время генерации речи
OpenAI
OpenAIРечевой Full-Duplex
WebRTC / WebSocket

OpenAI Realtime API (GPT-4o Audio)

Диапазон задержки: 280–420 мс

Потоковый мультимодальный речевой интерфейс с низкой задержкой для естественных диалогов в реальном времени и прямого вызова серверных инструментов CRM.

Роль в платформе:

Голосовые консультации клиентов, сервисная запись и маршрутизация обращений в телефонных каналах.

Задержка280–420 мс
Контекст128 000 токенов
Тарифный диапазон:$40 / $80 за 1M аудиотокенов
  • Прямой протокол WebRTC и WebSocket соединение с телефонией
  • Синтез речи с естественной интонацией, смехом и микропаузами
  • Вызов серверных инструментов MCP во время генерации аудиопотока
  • Встроенное подавление эха и шумов акустического тракта телефонии
Kyutai Labs / Open Source
Kyutai Labs / Open SourceРечевой On-Premise
Open Foundation 7B

Kyutai Moshi (On-Premise Full-Duplex 7B)

Диапазон задержки: 160–220 мс

Первая открытая сквозная речевая мультимодальная модель с одновременным параллельным моделированием входящего и исходящего аудиопотока.

Роль в платформе:

Изолированные голосовые роботы для закрытых серверов в Республике Казахстан по закону № 94-V.

Задержка160–220 мс
КонтекстАудиокодек Mimi (12.5 Гц)
Тарифный диапазон:0 ₸ внешних API (собственные GPU)
  • Рекордно низкая теоретическая задержка отклика до 160 мс
  • Полная изоляция голоса: аудио не покидает защищенный ЦОД в РК
  • Совместное предсказание текста и квантованных аудиотокенов
  • Развертывание на серверах с 1x NVIDIA A100 / L40S внутри Казахстана
Adventists AI / Open Source (Apache 2.0)
Adventists AI / Open Source (Apache 2.0)Паралингвистический дуплекс
32B DuplexJev (Apache 2.0)

Sophon-Realtime-v1 (32B Full-Duplex)

Диапазон задержки: 0.31–0.60 с

Открытая 32B полнодуплексная speech-to-speech модель с модулем DuplexJev: понимание сарказма, смеха, вздохов и органичная экспрессивная озвучка невербальных реакций.

Роль в платформе:

Суверенный On-Premise голосовой диалог с эмоциональным интеллектом и одновременным обслуживанием до 40 абонентов на одной GPU.

Задержка310–600 мс (Flash: 0.31 с)
Контекст32B Dual-Stream (vLLM-Omni)
Тарифный диапазон:0 ₸ внешних API (1x A100/H100 80GB)
  • Модуль DuplexJev: распознавание сомнений («э-э», «хм»), вздохов, сарказма и смеха
  • Две боевые сборки: Flash (0.31 с, 40 сессий на GPU) и Tag (~0.6 с, NVV-SuperBench 0.86)
  • Озвучка эмоций: органичный смех, паузы и вздохи вместо чтения текстовых тегов
  • Инструментальный вызов: Full-Duplex-Bench v3 Pass@1 48% с безупречным интерактивным откликом
  • Сервинг vLLM-Omni: подъем на 1x NVIDIA A100/H100 80GB одной консольной командой
aitomaton Telephony Stack
aitomaton Telephony StackРезервный шлюз
Fallback SLA 99.95%

Резервный каскад (Faster-Whisper + Neural TTS)

Диапазон задержки: 650–850 мс

Отказоустойчивая связка распознавания речи и синтеза PCM 16 бит 24 кГц для телефонных звонков в условиях высокого джиттера или сотовых помех.

Роль в платформе:

Автоматический fallback-шлюз при потере пакетов или нестабильном сигнале у мобильного абонента.

Задержка650–850 мс
КонтекстКаскадный конвейер
Тарифный диапазон:Фиксированная себестоимость PBX
  • Устойчивость к потере до 20% пакетов в сотовой сети абонента
  • Совместимость с любыми городскими и мобильными SIP-номерами операторов РК
  • Мгновенный переход без разрыва телефонного соединения
  • Корректное распознавание казахских и русских имен и ИИН
Anthropic
AnthropicОперативный чат
Мгновенный отклик

Claude 3.5 Haiku

Скорость: 140–180 токенов/сек

Сверхбыстрая генерация ответов в переписке мессенджеров при строгом следовании инструкциям и надежном контроле контекста.

Роль в платформе:

Оперативный рантайм диалогов первой линии: переписка в WhatsApp, Telegram, Instagram и веб-виджетах.

Задержка180–300 мс
Контекст200 000 токенов
Тарифный диапазон:$0.80 / $4.00 за 1M токенов
  • Время до первого токена менее 250 мс
  • Скорость генерации до 150 токенов в секунду
  • Точное извлечение телефонных номеров, дат и деталей заказа
  • Минимальная себестоимость при тысячах сервисных обращений в день
OpenAI
OpenAIОперативный чат
Экономичный JSON

OpenAI GPT-4o mini

Скорость: 120–160 токенов/сек

Компактная высокопроизводительная модель со строгой валидацией структурированных схем вывода и минимальной стоимостью токена.

Роль в платформе:

Маршрутизация обращений, классификация намерений клиентов и валидация слотов записи.

Задержка200–350 мс
Контекст128 000 токенов
Тарифный диапазон:$0.15 / $0.60 за 1M токенов
  • Гарантированный вывод строгого JSON Schema без синтаксических ошибок
  • Высокая экономическая эффективность для массовых сервисных уведомлений
  • Низкая задержка первого токена в очередях сообщений
  • Надежная работа с мультиязычными запросами клиентов
Google DeepMind
Google DeepMindМультимодальная
Рекордная скорость + 1M

Gemini 2.0 Flash

Скорость: до 250 токенов/сек

Новейшая сверхбыстрая мультимодальная модель с генерацией до 250 токенов/с, чтением аудиофайлов OGG и документов PDF.

Роль в платформе:

Анализ входящих файлов клиентов (сметы, чеки Kaspi, аудиосообщения) и векторный RAG-поиск по базе знаний.

Задержка150–280 мс
Контекст1 048 576 токенов
Тарифный диапазон:$0.10 / $0.40 за 1M токенов
  • Прямое чтение голосовых сообщений из WhatsApp без сторонних транскрибаторов
  • Оптическое распознавание реквизитов и сумм из чеков Kaspi Bank
  • Скорость генерации до 220–250 токенов в секунду
  • Огромное контекстное окно в 1 миллион токенов
DeepSeek AI / Open Weights
DeepSeek AI / Open WeightsЭффективный MoE
Флагманская MoE

DeepSeek V3 (671B MoE)

Эффективность: 37B активных/токен

Прорывная модель архитектуры Mixture-of-Experts с 671 млрд общих параметров (37 млрд активных на токен), не уступающая GPT-4o.

Роль в платформе:

Высокоточная генерация текстов коммерческих предложений, анализ переписки и глубокая обработка лидов.

Задержка250–450 мс
Контекст128 000 токенов
Тарифный диапазон:$0.14 / $0.28 за 1M токенов
  • Архитектура Multi-head Latent Attention (MLA) для экономии видеопамяти
  • Минимальная себестоимость среди всех мировых флагманских моделей
  • Точное выполнение инструкций и структурированный вывод данных
  • Возможность гибридного использования через API и локально
Anthropic
AnthropicГлубокая логика
Оркестратор MCP

Claude 3.5 & 3.7 Sonnet

Контекст: 200 000 токенов

Мировой эталон сложного логического рассуждения, системного промптинга и точного управления инструментами Model Context Protocol.

Роль в платформе:

Генеральный оркестратор агентского ядра (Writer Model): проектирование промптов, аудит и согласование договоров.

Задержка600–1 100 мс
Контекст200 000 токенов
Тарифный диапазон:$3.00 / $15.00 за 1M токенов
  • Безупречное следование многоэтапным регламентам компании
  • Управление внешними инструментами через строгие JSON-схемы MCP
  • Квалификация B2B-сделок по методологиям BANT и SPIN
  • Формирование юридически выверенных смет и коммерческих предложений
OpenAI
OpenAIРассуждения
Пошаговый анализ

OpenAI o1 & o3-mini (Reasoning)

Глубокий Chain-of-Thought

Модели с внутренним процессом скрытых рассуждений перед выдачей ответа. Исключают логические ошибки в сложных формулах и расчетах.

Роль в платформе:

Финансовый аудит, проверка налоговых расчетов РК, сложные логические проверки и антифрод в CRM.

Задержка1 200–3 500 мс
Контекст128 000 – 200 000 токенов
Тарифный диапазон:от $1.10 / $4.40 (o3-mini)
  • Пошаговая самопроверка промежуточных гипотез перед формированием ответа
  • Решение математических, алгоритмических и учетных задач без галлюцинаций
  • Высокая устойчивость к состязательным промптам и попыткам взлома роли
  • Глубокий анализ истории коммуникаций с ключевыми корпоративными клиентами
DeepSeek AI / Open Source
DeepSeek AI / Open SourceОткрытые рассуждения
Open Weights Reasoning

DeepSeek R1 (Open Reasoning 671B)

RL Рассуждения (MIT Лицензия)

Первая открытая модель рассуждений, обученная через масштабное обучение с подкреплением (RL), сопоставимая с OpenAI o1.

Роль в платформе:

Сложные рассуждения в локальном закрытом контуре или через защищенный шлюз платформы.

Задержка900–2 800 мс
Контекст128 000 токенов
Тарифный диапазон:$0.55 / $2.19 за 1M (или 0 ₸ On-Prem)
  • Прозрачная цепочка логических рассуждений (CoT) без цензуры корпоративной логики
  • Открытые веса с лицензией MIT для неограниченного коммерческого использования
  • Снижение логических ошибок в B2B-переговорах до минимальных величин
  • Развертывание на собственных GPU-кластерах заказчика в Казахстане
Meta AI / Open Source
Meta AI / Open SourceСуверенный On-Premise
Закон РК № 94-V

Meta Llama 3.3 (70B) & 3.1 (405B)

Локализация в ЦОД РК

Флагманские открытые веса для полностью изолированного развертывания на серверах внутри Республики Казахстан без передачи данных за рубеж.

Роль в платформе:

Контур повышенной конфиденциальности для банков, медицинских центров и корпоративного сектора РК.

Задержка280–600 мс
Контекст128 000 токенов
Тарифный диапазон:0 ₸ за облачный API (On-Prem)
  • Данные клиентов гарантированно не покидают защищенный серверный периметр
  • Полная независимость от зарубежных облачных шлюзов и внешних провайдеров
  • Возможность тонкого дообучения (Fine-Tuning) на закрытой внутренней документации
  • Строгое соответствие закону «О персональных данных и их защите»
Alibaba Cloud / Open Source
Alibaba Cloud / Open SourceТюркские языки
Глубокая локализация

Qwen 2.5 (72B / 32B)

Казахский и тюркский стек

Передовая открытая модель с глубоким пониманием восточной и тюркской языковой группы, обеспечивающая естественную речь на казахском языке.

Роль в платформе:

Обработка мультиязычных диалогов с естественным переходом между казахским и русским языками в закрытом контуре.

Задержка220–480 мс
Контекст128 000 токенов
Тарифный диапазон:0 ₸ за облачный API (локальный инференс)
  • Высокое качество грамматики и морфологии казахского языка
  • Эффективная квантизация (AWQ/GPTQ) для минимизации требований к VRAM
  • Надежное извлечение дат, цен в тенге и телефонных номеров из свободного текста
  • Открытая архитектура для интеграции с закрытыми банковскими CRM-базами

How is the secure aitomaton agent runtime architected?

We never connect large language models directly to enterprise databases or production servers. On its own, a generative model can hallucinate incorrect data when context is ambiguous, lacks granular access controls, and can enter execution loops when handling contradictory instructions. Inside aitomaton, the neural network operates within a deterministic agent core that serves as an isolating security gateway between generative algorithms and corporate data:

Path of a client request through the agent security core

  1. InboundInbound signal and authentication

    A call via Asterisk or a WhatsApp message arrives at the platform. The system identifies the company, verifies permissions, and isolates the session context.

  2. RecordOptimal model selection and gateway

    The request is routed to the appropriate model via the HttpModelGateway with quota enforcement, concurrency limits, and automated fallback redundancy.

  3. Follow-upTool call control (MCP)

    The model requests an action (such as checking a slot or creating a deal). The Crm.Host core validates arguments against a strict JSON schema and executes the command in an isolated sandbox.

  4. OutcomeResult filtering and response delivery

    The model output is scrubbed for system prompt and token leaks before being delivered to the customer via voice or text.

How do native voice, orchestration, and open-source model roles differ?

Distributing workloads across specialized models prevents burning computational budgets on unnecessarily heavy architectures. Instead of relying on a single one-size-fits-all model, the platform routes tasks dynamically: native speech models handle conversational phone calls, reasoning orchestrators manage lead qualification and draft commercial contracts, and open-source models can be hosted on dedicated private servers per project:

Native voice (Gemini Live, Realtime, Moshi, Sophon)

Traditional telephony stacks required sequential conversion: speech recognition via an external STT service, forwarding text to the LLM, and subsequent vocalization through a TTS synthesizer. This pipeline introduced latency and unnatural pauses. Native speech-to-speech models—Google Gemini 2.0 Flash Live API, OpenAI Realtime API, open-source Kyutai Moshi, and the 32B Sophon-Realtime-v1 model with the DuplexJev module—process the audio stream directly. They preserve vocal inflection, recognize laughter and meaningful pauses, and support caller barge-in.

Orchestration and chat (Claude, DeepSeek, GPT)

For strict compliance with corporate guidelines, lead qualification, and generating commercial estimates, we deploy models with advanced reasoning capabilities: Anthropic Claude 3.5 and 3.7 Sonnet, OpenAI o1, and DeepSeek R1. Within aitomaton, Claude Sonnet powers scenario design and orchestrates MCP tools. In messaging runtimes, compact models like Claude Haiku, Gemini 2.0 Flash, and DeepSeek V3 deliver rapid response times at minimal token costs.

Open-source models (Llama, Qwen, DeepSeek R1)

For enterprises with strict data privacy and residency mandates, aitomaton evaluates deployment architectures using open-weight models: Meta Llama 3.3 (70B), Qwen 2.5 (72B), and DeepSeek R1 on dedicated servers. Deployment feasibility, hosting geography, and terms are reviewed per project. Please verify compliance with Law No. 94-V regarding personal data and call recordings with your legal counsel.

How does the platform core govern model actions and protect data?

The aitomaton platform runtime strictly bounds every action of the model. The language model is completely sandboxed from the PostgreSQL database and the host operating system: all interactions with external systems occur exclusively through typed Model Context Protocol contracts and strict step-budget constraints in the agent runtime.

  • MCP tool protocol: The model has no direct access to the database or command-line shell. All interactions occur through typed function calls strictly validated against JSON schemas.
  • Step limits (MaxSteps, MaxToolCallsPerTurn): The core limits reasoning iterations and terminates the agent execution should it encounter an infinite loop.
  • Buffer overflow protection (MaxDataResultBytes): Data payloads returned from databases to the model are restricted at the byte level, preventing context-stuffing exploits and runaway token expenses.
  • Tenant isolation (McpAdmission): Dedicated rate limiters and concurrency throttles isolate organizational tenants, ensuring high traffic from one company does not degrade performance for other clients.

How do we benchmark and evaluate new models before platform onboarding?

The aitomaton engineering team does not rely on vendor marketing claims; we conduct our own rigorous benchmarks. Before any model is admitted to our production environment, it is benchmarked for response latency over carrier telephony lines, tool-calling precision in sales workflows, and resilience against adversarial prompt injection from users.

Detailed methodologies and benchmarking protocols are documented in our Academy sections:

What this gives your business

  1. What it means for youLong pauses during phone conversations frustrate callers.
    What aitomaton does about itNative speech models Gemini 2.0 Live, OpenAI Realtime, and Kyutai Moshi orchestrated by the aitomaton core.
    ValueNatural conversational responses with barge-in support; evaluate speech quality on your own call recordings.
  2. What it means for youRouting all inquiries through the most expensive reasoning model wastes company budget.
    What aitomaton does about itModel agnosticism: lightweight Claude Haiku for fast messaging and Claude Sonnet for intricate business logic.
    ValueEach model is matched to its specific task, keeping token expenditure fully controlled.

How do you start a trial period and launch your first AI agent?

You can experience the practical advantages of model agnosticism, native voice dialogue, and a deterministic security core in your real business operations today. Clicking ‘Try 3 days free’ launches onboarding: an assistant asks questions about your business workflows and configures your initial AI agent. We do not publish an exhaustive breakdown of the trial tier: during a live demo, we demonstrate key capabilities and suggest where to start.

  • Communication channels (WhatsApp Business API, telephony lines) are connected collaboratively with a technical specialist.
  • Turnkey industry presets are prepared for specific verticals, such as beauty salons and automotive dealerships.
  • Every agent turn is logged in execution history: selected model, invoked tools, and execution path.

Try 3 days free

Frequently Asked Questions

Why is model agnosticism more reliable than relying on a single AI vendor?

The artificial intelligence market evolves continuously, with new model versions released every few months. Locking into a single vendor exposes a business to severe downtime risks from data center outages, unexpected price hikes, or degradation in response quality. The aitomaton platform enables switching models or distributing workloads across different neural networks without rewriting integrations.

Which voice models handle calls and messages?

For live telephone conversations, we deploy native end-to-end speech models: Google Gemini 2.0 Flash Live API, OpenAI Realtime API, open-source Kyutai Moshi, and the 32B Sophon-Realtime-v1 model with the DuplexJev module. They process and generate audio streams directly, accommodate natural pauses, recognize laughter, and handle caller interruptions without intermediary speech-to-text conversion.

How is the platform core secured, and do models have access to the database?

Models in aitomaton are isolated within the agent runtime and have no direct access to PostgreSQL databases or the server file system. All interactions pass through typed MCP tool schemas. The core validates access permissions and caps the number of execution steps and tool calls, mitigating the risk of unauthorized modifications to business data.

What happens during a network outage or provider rate-limit error?

The platform gateway includes automated fallback chains. If the primary provider returns an error or response latency exceeds a specified threshold, the request is rerouted to a standby model to keep the conversation seamless. While this cannot eliminate all outages entirely, it minimizes their impact on clients.

Can open-source models like Meta Llama run in an on-premises or isolated environment?

The aitomaton architecture supports deploying open-source models from the Meta Llama 3.3, Mistral, and Qwen 2.5 families on dedicated servers. Such setups are evaluated for clients with strict personal data requirements; feasibility, hosting locations, and terms are reviewed per project, and legal compliance for your use case should be confirmed with an attorney.

How does the aitomaton engineering team benchmark and test new model versions?

Every new model undergoes rigorous benchmarking in our internal testbeds: measuring first-audio-token latency across telecom carrier lines in Kazakhstan, verifying tool-call accuracy, and assessing resilience against hallucinations in sales scenarios. Only after internal validation does a model enter the platform catalog.

See it on your own data

Three days free trial or a live demo tailored to your workflows.

Updated:

Book a platform demo

We will show AI agents working on your business processes, review your funnel and answer all your questions.