Закони за мащабиране в AI

Законите за мащабиране (Scaling Laws), формулирани от OpenAI и Chinchilla, ръководят развитието на генеративния AI.

Степенни зависимости: Предвидимо намаляване на функцията на загуба с нарастване на изчислителните ресурси (FLOPs).
Плато на предварителното обучение: Признаци на забавяне на качествените скокове при насищане с публични текстови данни.
Мащабиране при инференция (Test-time Compute): Пренасочване на ресурсите от предварително обучение към продължително разсъждение по време на отговор.
Икономическа устойчивост: Експоненциален ръст на разходите при сублинеен ръст на реалната полезност.