USDB на ByteDance: Специализирана архитектура за съхранение на параметри за милиардни AI системи
Източник: arXiv / ByteDance AI Lab
Научноизследователското звено на ByteDance публикува детайлна бяла книга за вътрешната си система за съхранение USDB (Universal Sparse Database), проектирана да реши най-тежкия инфраструктурен проблем на компанията – съхранението и светкавичното извличане на трилиони параметри за препоръчителните алгоритми на TikTok [1].
Преодоляване на лимитите на DRAM паметта
Традиционните препоръчителни системи изискват съхраняване на огромни таблици с вектори (embeddings) изцяло в оперативната памет на сървърите, което води до главозамайващи разходи за хардуер. USDB въвежда интелигентно многостепенно йерархично кеширане, съчетаващо малък DRAM буфер с масиви от NVMe SSD дискове, намалявайки хардуерните разходи с над 60% без загуба на производителност.
Паралелна синхронизация при непрекъснато онлайн обучение
За разлика от стандартните LLM, които се обучават периодично, алгоритмите на ByteDance се обучават непрекъснато върху всяко харесване или превъртане на видеоклип. USDB използва персонализиран протокол за съгласуваност без заключвания (lock-free concurrency), позволяващ милиони паралелни записи в реално време без деградация на скоростта на четене.
Инженерните основи на свръхмащабния дигитален капитализъм
Разработката на USDB разкрива невидимата за масовия потребител инфраструктурна машина, която движи най-пристрастяващите алгоритми на планетата. Мащабът, при който оперира ByteDance, изисква пренаписване на базовите концепции за бази данни и файлови системи. Уроците от USDB за ефективно управление на разредени матрици вече започват да се пренасят и към гигантските Mixture-of-Experts (MoE) модели, проправяйки път към ново поколение изчислителни архитектури.
Анализ на многостепенното кеширане, NVMe интеграцията и онлайн обучението.