Strata Inference Engine

Strata Inference Engine е високопроизводителен софтуерен двигател за локално обслужване на свръхголеми езикови модели върху стандартен потребителски хардуер.

Чрез комбинация от 2.5-битова хибридна квантизация, директен DMA трансфер през шината PCIe без междинни копия в паметта и персонализирани CUDA ядра, Strata постига над 100 токена в секунда при 125-милиардни модели на единична карта RTX 4090.