Виртуализация на GPU (GPU Virtualization)

Виртуализацията на GPU (GPU Virtualization) е набор от хардуерни и софтуерни технологии, позволяващи физически графичен ускорител (или клъстер от GPU) да бъде динамично разделен и споделен между множество независими виртуални машини, контейнери или потребителски процеси с гарантирана изолация на изчисленията и паметта.

Технологични механизми

1. Hardware Slicing (MIG): Архитектурата Multi-Instance GPU на Nvidia, позволяваща физическо разделяне на чипа на до седем напълно изолирани инстанции.
2. Софтуерно споделяне (vGPU / HAMi): Използване на интелигентни оркестратори в среда на Kubernetes, които прихващат CUDA извикванията и позволяват фино разпределение на видеопаметта (vRAM) и ядрата между микроуслуги.
3. Икономическа ефективност: Драстично повишаване на коефициента на полезно действие (GPU Utilization) в центровете за данни, намалявайки разходите за хардуер при изпълнение на ненатоварващи AI модели за извличане (inference).