Локални езикови модели (Edge LLM)

Локалните езикови модели са компактни невронни мрежи (между 1 и 8 милиарда параметри), квантувани и оптимизирани за директно изпълнение в оперативната памет на крайни потребителски устройства. Те предлагат висока степен на поверителност и бързина при отсъствие на мрежова свързаност.