Perplexity замени Amazon DynamoDB със собствената база данни CobbleDB за 5 пъти по-ниско закъснение
Изображение: InfoQ
Компанията за търсене с изкуствен интелект Perplexity финализира успешната миграция на своята основна инфраструктура от управляваната услуга Amazon DynamoDB на Amazon Web Services към собствено разработено хранилище от тип ключ-стойност, наречено CobbleDB [1]. Инженерният пробив, реализиран изцяло на езика за системно програмиране Rust, доведе до петкратно намаляване на времето за изпълнение на заявките и драстично съкращаване на разходите за съхранение в облака [1].
Новината, съобщена от специализираното инженерно издание InfoQ, описва как стандартните облачни бази данни се превръщат в сериозно тясно място при екстремните натоварвания, характерни за генеративното търсене [1]. При всяка заявка на потребител системата на Perplexity трябва да извлича, преранжира и подава десетки пълнотекстови документи към езиковия модел в рамките на части от секундата [1].
Изображение: Svetni.me / ИИ генерирана инфографика
Архитектурни предимства на CobbleDB и езика Rust
Досега използваната услуга DynamoDB страдаше от непредсказуеми пикове в латентността (p99 latency) при паралелно извличане на големи пакети от документи [1]. За да преодолеят този проблем, инженерите на Perplexity създадоха CobbleDB — специализирана база данни на Rust, оптимизирана за нулево копиране на данни в паметта (zero-copy deserialization) и агресивно паралелно кеширане [1].
С новата архитектура времето за достъп до индексираните документи спадна с 80%, което директно съкращава времето до появата на първия генериран токен (TTFT) за крайния потребител [1].
Отказ от скъпите облачни монополи
Успехът на CobbleDB подчертава важна тенденция в съвременната софтуерна разработка: водещите ИИ компании постепенно се отказват от скъпите комерсиални бази данни на големите облачни доставчици, за да изградят собствени оптимизирани системи [1].
Този подход позволява на бързоразвиващите се стартъпи да избегнат т.нар. „облачен данък“ и да предложат по-бърза и икономически устойчива услуга на своите милиони потребители [1].
Източници: