Теория на машинното обучение

Теорията на машинното обучение (Machine Learning Theory) е фундаментално математическо и компютърно научно направление, изучаващо теоретичните основи на алгоритмите, които се учат от данни.

Основни изследователски стълбове

Дисциплината комбинира математическа статистика, теория на вероятностите, оптимизация и компютърна сложност. Основните теми включват теория на статистическото обучение (VC размерност, PAC обучение), динамика на оптимизацията при стохастичен градиентен спад и свойства на генерализацията на свръхпараметризирани невронни мрежи.

Обяснение на феномените при съвременните LLM

Докато при класическите модели теорията предупреждаваше срещу преобучаване (overfitting), съвременната теория изследва феномени като „двойното спускане“ (double descent), латентните геометрични пространства на понятията и произхода на механизма на вниманието от физичните модели на спиновите стъкла и асоциативната памет.