Доклад показывает разработку локального голосового SIP-ассистента с потоковым ASR, LLM с RAG, TTS, поддержкой контекста, перебивания и перевода звонка оператору.
Главная тема — не сам ассистент, а инженерный процесс его создания: как специалист, используя AI, быстро проходит путь от требований и архитектурных границ до рабочего прототипа, тестов и live-демонстрации.
На практическом примере рассматриваются реальные сложности интеграции SIP/RTP и нейросетевых компонентов, роль экспертного контроля и границы применимости AI-ускорения.
Тезисы
— Посмотрим, как заставить независимые потоковые компоненты — SIP/RTP, ASR, TTS и диалоговый автомат — взаимодействовать в реальном времени, не блокируя звонок из-за медленной нейросети.
— Покажу, как специалист превращает AI из генератора правдоподобного кода в ускоритель прикладной разработки — через требования, границы компонентов, тесты и живые проверки.
— Расскажу, как собрать локальный голосовой контур с ASR, TTS и RAG так, чтобы модели можно было заменять, а поведение системы оставалось контролируемым.
— Покажу, как найти дефект на границе потокового TTS и тактового PJMEDIA, который не виден по формальному egress_underruns, но превращает ответ бота в тишину.
— Расскажу, как управление prompt и skills позволяет заметно сократить задержку ответа LLM без замены самой модели.
