NVMe поточно зареждане (NVMe Streaming)

NVMe поточно зареждане (NVMe Streaming for AI) е архитектурен метод за оптимизация на паметта, при който теглата на дълбоки невронни мрежи се съхраняват на NVMe SSD дискове и се стриймват динамично към системната RAM или VRAM по време на инференс.

Преодоляване на паметната бариера

Основното ограничение пред съвременния изкуствен интелект е капацитетът на бързата памет (HBM и DDR). Чрез използване на интерфейси PCIe Gen 5 и модерни софтуерни драйвери без копиране (zero-copy DMA), скоростта на четене от диска достига над 14 GB/s, правейки възможно изпълнението на разредени модели в реално време.

Приложения

Технологията е ключова за MoE архитектури, квантувани трансформъри и локални крайни устройства (edge devices), където добавянето на физическа оперативна памет е твърде скъпо или енергийно неефективно.