KServe

KServe (по-рано KFServing) е високо стандартизирана cloud-native платформа с отворен код за обслужване на модели за машинно обучение върху Kubernetes. Тя предоставя единен интерфейс за разгръщане, мащабиране до нула (scale-to-zero) и управление на жизнения цикъл на модели от различни библиотеки, поддържайки както gRPC, така и HTTP протоколи, съвместими със спецификацията за инференция v2.