Алгоритмична сложност (Algorithmic Complexity)
Алгоритмичната сложност е фундаментална дисциплина в компютърните науки, изучаваща ресурсите (време за изпълнение и оперативна памет), необходими за изпълнението на алгоритъм в зависимост от размера на входните данни.
Ключови концепции
- Асимптотична нотация (Big-O): Математически формализъм, описващ горната граница на растеж на изчислителните стъпки при безкрайно нарастващ вход ($n o \infty$).
- Галактически алгоритми (Galactic Algorithms): Алгоритми с превъзходна теоретична асимптотична сложност, чиито константи или минимални прагове на $n$ са толкова астрономически огромни, че на практика никога не могат да бъдат приложени на реални компютри.
- Субквадратични подходи в AI: Оптимизиране на $O(n^2)$ операциите на механизма за внимание (attention) до $O(n \log n)$ или $O(n)$, което позволява обработка на контекст от милиони токени.