Deepgram придоби създателя на Pipecat компанията Daily за обединяване на гласов AI и WebRTC инфраструктура
Източник: TechCrunch / Deepgram
В мащабна консолидационна сделка в сектора на речевите технологии, водещият разработчик на модели за разпознаване и синтез на реч Deepgram обяви официалното придобиване на компанията Daily – създател на водещата глобална WebRTC инфраструктура и популярната отворена рамка за гласови агенти Pipecat [1]. Обединението създава първия цялостен вертикално интегриран стек за ултрабърз гласов изкуствен интелект (voice AI), способен да поддържа двупосочен разговор между човек и машина с естествено закъснение под 300 милисекунди.
Защо гласовите агенти изискват обединение на медия и невронни модели
Досега изграждането на работещ гласов асистент в реално време бе изключително сложно инженерно предизвикателство. Разработчиците трябваше да комбинират компоненти от различни доставчици: медиен транспорт през WebRTC (за предаване на звука от браузъра), външен доставчик за транскрипция (STT), езиков модел за разсъждение (LLM) и отделен сървър за гласов синтез (TTS).
Всяко прехвърляне на аудио пакети между тези изолирани облаци добавяше десетки милисекунди закъснение. В резултат на това общата латентност често надхвърляше една секунда – праг, при който разговорът спира да бъде естествен и се превръща в изнервяща размяна на реплики като по радиостанция. Освен това координацията на 'прекъсването' (Barge-in – способността на робота незабавно да млъкне, когато човекът проговори) изискваше сложна локална логика.
Синергията между Deepgram, Daily и екосистемата Pipecat
С придобиването на Daily Deepgram събира целия този конвейер под един покрив. Компанията вече контролира както суровия мрежов транспорт през глобалните WebRTC сървъри на Daily, така и високооптимизираните речеви модели от сериите Nova и Aura.
Сърцето на новата обща платформа остава отворената рамка Pipecat. Тя позволява на разработчиците лесно да навързват различни модели и бизнес логика, предоставяйки пълен контрол върху поведението на гласовия агент. За разлика от 'черната кутия' на OpenAI Realtime API, решението на Deepgram и Daily дава свобода на инженерите да избират какъв езиков модел да използват (включително локални модели с отворени тегла) и да оптимизират разходите си за всяка минута разговор.
Дългосрочната революция в гласовото общуване и бъдещето на кол центровете
Обединението между Deepgram и Daily бележи навлизането на гласовия изкуствен интелект в неговата зряла индустриална фаза. В продължение на десетилетия автоматизираните гласови менюта (IVR системи) бяха обект на всеобща омраза от страна на потребителите заради тяхната неспособност да разберат нормална реч и изискването за натискане на бутони.
Появата на суб-секундни гласови агенти с естествена човешка интонация и способност за моментална реакция ще доведе до пълното преструктуриране на глобалната индустрия за обслужване на клиенти, в която днес работят милиони хора. Агентите могат да обслужват милиони обаждания едновременно, да говорят на десетки езици с перфектен акцент и мигновено да проверяват данни в корпоративните бази.
В дългосрочен план гласът ще се превърне в основния интерфейс за взаимодействия с технологиите. Когато машината може да чува, разбира и отговаря по-бързо от човешки събеседник, необходимостта от екрани, мишки и клавиатури ще отпадне при голяма част от ежедневните задачи. Това сливане на медийни протоколи и речеви невронни мрежи полага инфраструктурните релси на един свят, в който диалогът с изкуствения интелект е толкова органичен и невидим, колкото разговорът с приятел на живо.
Четири компонента на завършения стек за свръхбързи мултимодални разговорни агенти.