SGLang

SGLang е изследователски фреймуърк и среда за изпълнение с отворен код за структурирано програмиране и високоскоростно обслужване на големи езикови модели. Разработен съвместно от институции като UC Berkeley, Stanford и други, той предлага специализиран език за програмиране на взаимодействието с моделите и високопроизводителен бекенд, оптимизиращ споделения префикс на контекста (RadixAttention).