LoRA (Low-Rank Adaptation)

LoRA е техника за изключително ефективно фино настройване (fine-tuning) на огромни езикови модели.

Как работи?

Вместо да се опитваме да променим всички трилиони параметри (тегла) на един модел (което изисква огромна памет), LoRA добавя малък брой нови параметри към слоевете на модела. По време на обучението се обновяват само тези нови, „леки“ параметри.

Защо е важна?

• Достъпност: Позволява фино настройване на модели като Llama върху потребителски хардуер (обикновени видеокарти).
• Модулност: Можете да имате един базов модел и много малки „LoRA файлове“ (само по няколко мегабайта), които го превръщат в различен експерт — за медицина, за поезия или за специфичен език за програмиране.

LoRA е основната причина за експлозията от специализирани ИИ модели, които виждаме през 2026 г.