Малоразмерни езикови модели (SLM)

Малоразмерните езикови модели (Small Language Models - SLM) са невронни мрежи с по-малък брой параметри (обикновено под 10-15 милиарда), които са проектирани да бъдат бързи, евтини за експлоатация и лесни за хостинг в локална среда или на потребителски устройства.

Характеристики и сравнение с LLM

• Специализация: Чрез прецизно фино настройване (fine-tuning) върху специфични масиви от данни, едно SLM може да постигне точност, сравнима с тази на най-големите комерсиални модели (frontier LLMs), за точно определена задача.
• Ефективност и цена: Поради по-малкия си размер, малките модели изискват значително по-малко изчислителна мощ (GPU), което намалява разходите за инфраструктура с над 90%.
• По-ниска латентност: Скоростта на обработка на заявките е много по-висока, което ги прави идеални за интерактивни приложения в реално време.

Комбинирани архитектури

В съвременните системи се използва хибриден подход — малките модели генерират първичните данни в големи обеми при ниска цена, докато по-големите модели (LLM) контролират качеството и валидират резултатите.