Google Cloud API Gateway въведе двупосочен стрийминг за интерактивни ИИ агенти в реално време
Източник: Wikimedia Commons / ALMA (ESO/NAOJ/NRAO)/G. Filippi
В отговор на експлозивното навлизане на гласови и мултимодални помощници Google Cloud пусна мащабен ъпгрейд на своя API Gateway, въвеждащ пълна поддръжка на двупосочен стрийминг в реално време чрез протоколите gRPC и WebSockets [1]. Новата функционалност премахва дългогодишно ограничение в облачните изчисления, позволявайки на корпоративни клиенти да изграждат непрекъснати аудио-визуални диалози с модели от класа на Gemini Live без прекъсвания и накъсвания на пакетите.
От класически REST заявки към непрекъснати двупосочни потоци
Досега повечето облачни шлюзове бяха проектирани за модела 'заявка-отговор' (request-response), при който клиентът изпраща пакет и чака цялостен отговор. За интерактивен гласов контакт обаче този модел води до неприемливо забавяне от секунди. Новият стрийминг шлюз поддържа постоянна отворена връзка с ниска латентност, през която гласът на потребителя и синтезираният отговор на модела пътуват паралелно, поддържайки естествено прекъсване на речта.
Интегрирана защита срещу претоварване и DDoS атаки
Поддържането на милиони дълготрайни отворени стрийминг връзки създава огромен риск от изчерпване на сокетите и отказ на услугата. Google решава този проблем чрез внедряване на разпределени алгоритми за контрол на трафика (flow control), автоматично балансиране на натоварването и интегрирана защита чрез Google Cloud Armor директно на входния периметър.
Инфраструктурният гръбнак на следващото поколение гласов интерфейс
Ъпгрейдът на Google Cloud API Gateway илюстрира как появата на нови генеративни интерфейси принуждава облачните архитекти да пренапишат базовите протоколи на мрежата. Ерата на текстовото писане в уеб форми постепенно отстъпва пред непрекъснатия мултимодален диалог. Облаците, които успеят да осигурят глобална мрежа с под-сто милисекундно забавяне за поточно аудио и видео, ще се превърнат в предпочитания дом за следващата генерация интелигентни потребителски устройства.
Анализ на gRPC връзките, паралелния аудио обмен и защитата от претоварване.