Малки езикови модели (Small Language Models - SLM)
Малките езикови модели (Small Language Models - SLM) са компактни невронни архитектури (обикновено между 1 и 10 милиарда параметри), оптимизирани за локално изпълнение върху потребителски процесори, GPU и NPU ускорители.
Предимства и приложения
- Ниска латентност и поверителност: Обработват чувствителни потребителски данни директно в браузъра или на крайното устройство без изпращане към външни облачни сървъри.
- Хибридни архитектуры: Работят в тандем с големи облачни модели, поемайки рутинните задачи за класификация, обобщаване и форматиране.