Pinterest мащабира разпределената оценка на модели с Ray върху хетерогенни GPU клъстери
Източник: Pinterest Engineering / Medium
В четвъртата част от популярната си поредица за инженерна инфраструктура екипът на Pinterest сподели подробности за това как използва платформата Ray за изграждане на мащабируема система за разпределена оценка на модели (Model Evaluation) [1]. Решението управлява стотици паралелни експерименти в хетерогенни разпределени системи, съкращавайки времето за валидация на препоръчителните алгоритми от дни до броени часове.
Предизвикателството на милиардния мащаб на пиновете
Pinterest управлява милиарди изображения и взаимовръзки, обслужвайки над половин милиард потребители. Всеки опит за валидация на нов модел за класиране изисква пресмятане на метрики като NDCG, точност и кликаемост върху масивни исторически лог файлове с терабайтов обем. Традиционните Spark работни потоци са били прекалено тромави за бърза итерация и не са позволявали гъвкаво разпределяне на задачи между CPU и GPU клъстери.
Гъвкаво планиране и устойчивост на сривове с Ray
Чрез преминаването към Ray инженерите на Pinterest успяват динамично да пакетират задачите за оценка според наличния свободен изчислителен капацитет. Платформата автоматично пренасочва изчисленията при спиране на евтини спот (spot) инстанции в облака, като поддържа състоянието на оценката в разпределена споделена памет, намалявайки разходите за облачна инфраструктура с над 35%.
Оценката на модели като новото критично гърло на машинното обучение
Практиката на Pinterest подчертава ключов аспект на съвременния MLOps процес: тренирането на модела е само половината от битката; истинското предизвикателство е бързата и прецизна оценка дали той превъзхожда съществуващия производствен модел. В ерата, когато инженерните екипи пускат десетки експериментални архитектури дневно, способността за светкавична паралелна валидация върху реални данни определя темпото на продуктовите иновации.
Анализ на паралелизацията на задачи, хетерогенните клъстери и спестяването на облачни разходи.