Janas

Janas е високопроизводителна софтуерна среда за изпълнение с отворен код, създадена за стартиране на големи езикови модели с MoE архитектура (Mixture-of-Experts) върху хардуер с ограничена RAM памет чрез динамично поточно зареждане на експерти от NVMe SSD.

Принцип на работа

При класическите MoE модели само малка част от експертите се активират за обработката на всеки отделен токен. Janas използва директен достъп до паметта чрез Linux io_uring и асинхронно четене, за да зарежда необходимите матрици с тегла от високоскоростни твърдотелни дискове в рамките на микросекунди точно преди тяхното умножение.

Демократизация на локалния AI

Чрез Janas разработчици и изследователи могат да стартират невронни модели с над 100 милиарда параметри на обикновени работни станции и лаптопи с едва 16–32 GB оперативна памет, заобикаляйки необходимостта от скъпи сървърни клъстери.