Catastrophic Forgetting

Catastrophic Forgetting (Катастрофално забравяне) е феномен в машинното обучение (machine learning), при който невронната мрежа внезапно губи способността си да изпълнява предишно усвоени задачи след обучение върху нова информация.

Проблемът е особено критичен при дообучението (fine-tuning) на големи езикови модели (LLM). Когато се правят опити моделът да се специализира в конкретна област (например писане на SQL код), новите тегла (weights) често презаписват фундаментални логически или математически способности на модела. Това принуждава инженерите да търсят алтернативни методи за адаптация, като външни системи за памет.