DoorDash съкращава латентността на AI агентите при поръчки от 16 на 2 секунди
Източник: InfoQ / DoorDash Engineering
В детайлен технически доклад, публикуван в платформата InfoQ, инженерният екип на DoorDash разкри мащабна архитектурна оптимизация, довела до намаляване на латентността при автоматизирано повторно поръчване на хранителни стоки чрез AI агенти от 16 на едва 2 секунди – впечатляващ спад от 87% [1]. Успехът е постигнат без загуба на точност при заместването на изчерпани продукти, превръщайки бавния лабораторен прототип в готов за милиони потребители производствен механизъм.
Анатомия на забавянето: Защо първото поколение агенти беше неизползваемо
Първоначалната имплементация на DoorDash разчиташе на последователни извиквания към LLM модел: потребителската заявка се парсваше, след което агентът изпълняваше последователни търсения в каталога, извличаше наличности от бази данни на отделни супермаркети и пресмяташе сходства в хранителните стойности. Този каскаден цикъл генерираше множество мрежови преходи и прекомерен токън разход, принуждавайки клиентите да чакат повече от четвърт минута на екран за финализиране на кошницата.
Спекулативен семантичен граф и предварително извличане
Новата архитектура елиминира последователните заявки чрез въвеждане на специализиран GraphRAG слой. Продуктите в каталога са предварително индексирани в граф на взаимозаменяемост, отчитащ марки, грамажи и диетични ограничения. Когато агентът идентифицира липсващ артикул, системата извършва паралелно семантично търсене сред топ кандидатите, докато локален малък модел спекулативно подготвя структурата на JSON отговора.
Латентността като основна бариера пред комерсиализацията на агентите
Инженерният казус на DoorDash илюстрира най-критичния урок за корпоративното внедряване на изкуствен интелект през 2026 г.: умният агент е безполезен, ако е бавен. В електронната търговия всяка секунда допълнително забавяне намалява конверсията с до 10%. Докато демонстрациите на изследователите впечатляват с комплексно мислене, реалният потребителски софтуер изисква подсекундна реакция. Постигането на оптимизация на латентността изисква дълбоко връщане към основите на разпределените системи: кеширане в паметта, редуциране на контекстните прозорци и паралелизъм. Агентите, които ще доминират пазара, няма да бъдат онези с най-големи параметри, а онези, които могат да доставят точен резултат преди потребителят да е загубил търпение.
Сравнение между стария каскаден подход и новия паралелен GraphRAG конвейер на DoorDash.