Uber съкрати паметта за кеширане на преводи с до 90% при запазване на P99 латентност под 1 милисекунда

Публикувано от Svetni.me Editorial на 21 ноември 2026 г. в Изкуствен интелект

Сървърна инфраструктура и клъстери за разпределено кеширане на невронни вектори
Източник: Wikimedia Commons / BalticServers

Инженерният екип на Uber представи подробен архитектурен доклад за мащабна оптимизация на своята глобална инфраструктура за машинен превод в реално време, съкращавайки заеманата оперативна памет с над 90% чрез въвеждане на йерархично семантично кеширане и компресия на векторни ембединги [1]. Новата система гарантира, че над 85% от милиардите многоезични текстови съобщения между пътници, шофьори и куриери се обслужват без повторно преизчисляване на тежки невронни мрежи, като същевременно запазва критичната P99 латентност на заявките под 1 милисекунда.

Инфографика: Векторна компресия и йерархичен кеш в Uber
Инфографика: Ключови стълбове и анализ

Архитектура на векторната компресия: Продуктово квантуване без семантични загуби

В конвенционалните производствени системи за модели на ембединги, векторните репрезентации се съхраняват в 32-битова или 16-битова плаваща запетая, което изисква десетки терабайти скъпа RAM памет при глобален мащаб [1]. Инженерите на Uber са имплементирали специализирано продуктово квантуване (Product Quantization - PQ), което разделя високоразмерното векторно пространство на ортогонални подпространства и ги представя чрез компактни центроидни байтови индекси.

Този математически подход постига над десетократно компресиране на векторната база данни, като същевременно запазва над 99.2% косинусно сходство при операциите за векторно търсене. Чрез съхраняването на квантуваните вектори в оптимизирани структури от данни, системата елиминира нуждата от скъпоструващо разширяване на сървърните клъстери, запазвайки способността за мигновено откриване на смислово сходни фрази между различни езици.

Йерархичен двуслоен кеш: L1 оперативна памет и L2 разпределена NVMe мрежа

За да гарантира изпълнението на строгите споразумения за ниво на обслужване (SLA) под 1 милисекунда при пикови натоварвания, Uber разделя кеш слоя на две тясно координирани нива [1]. Първото ниво (L1) представлява локален in-process буфер с нулев овърхед при копиране, който обслужва свръхчестотните преводни токени за по-малко от 50 микросекунди.

Второто ниво (L2) е изградено като разпределена мрежа от key-value бази, базирани на ултрабързи NVMe SSD памети, които съхраняват средната и дългата опашка от потребителски фрази. Адаптивен алгоритъм за предсказващо изтласкване на кеша (predictive cache eviction) непрекъснато анализира контекста на текущите активни пътувания и чат сесии, зареждайки предварително потенциалните реплики в локалната памет на най-близкия дейта център.

Системни архитектурни и макроикономически последици: Ерата на инференс ефективността в мащабни платформи

Инженерният пробив на Uber бележи преминаването на световната софтуерна индустрия от фазата на безразборно харчене за изчислителен капацитет към етап на стриктна финансова и енергийна оптимизация. В продължение на години хиперскейлърите решаваха проблемите с нарастващия обем на невронни изчисления чрез просто добавяне на нови хардуерни клъстери. Превръщането на машинния инференс в постоянен оперативен разход обаче налага фундаментално преструктуриране на системния стек.

Спестяването на 90% от паметта при глобален превод трансформира балансовите отчети на компанията, намалявайки разходите за облачна инфраструктура с милиони долари годишно и директно понижавайки въглеродния отпечатък от денонощната експлоатация на сървъри. За разработчиците на мащабни дистрибутирани системи този архитектурен казус служи като стандартен наръчник за това как математическата компресия и класическото кеширане могат да осигурят хипермащабиране без загуба на потребителско качество.

Източници

  1. Uber Cuts Translation Cache Memory by up to 90% While Keeping P99 Latency Below 1 MS - InfoQ