Мащабиране на оценката на модели в Pinterest: Как Ray управлява милиарди тестови заявки
Източник: Victorgrigas / Wikimedia Commons
Инженерният екип на социалната мрежа Pinterest публикува четвъртата част от своята техническа серия за мащабиране на оценката на препоръчителни и визуални модели, разкривайки как отворената разпределена платформа Ray обработва милиарди офлайн заявки с минимална системна латентност [1]. Системата позволява паралелно тестване на стотици експериментални варианти на невронни мрежи преди тяхното внедряване в реална среда.
Еластично мащабиране на GPU възли и динамично балансиране
Традиционните системи за пакетна обработка като Spark се сблъскват със сериозни ограничения при управление на тензорни модели с интензивна консумация на видеопамет. Ray преодолява това чрез грануларно управление на актьорите (Ray Actors), които задържат моделните тегла в постоянна GPU памет, предотвратявайки скъпото им повторно зареждане за всяка партида.
Динамичният планировчик разпределя задачите според реалната температура и натоварване на отделните чипове, елиминирайки проблема с 'бавните изоставащи възли' (stragglers).
Спестяване на инфраструктурни разходи и ускорен развоен цикъл
Благодарение на интелигентното преизползване на инстанции с прекъсваемост (spot/preemptible instances), Pinterest постига 45% съкращаване на облачните разходи за валидация, като същевременно скъсява времето за експериментален цикъл от 48 часа на под 5 часа.
Инфографика: Аналитичен преглед на Svetni.me
Стандартизация на разпределения изкуствен интелект в мащаб
Опитът на Pinterest демонстрира, че управлението на жизнения цикъл на съвременния AI изисква специализирани изчислителни платформи, създадени специално за тензорни натоварвания. Ray се утвърждава като индустриален де факто стандарт за разпределени изчисления, обединявайки тренировката, фината настройка и мащабното оценяване в единен консистентен стек.
За бизнеса това означава по-бързо откриване на регресии и увереност при пускане на нови функции към стотици милиони крайни потребители.