Разпределено обучение (Distributed Training)

Разпределеното обучение е техника за паралелно трениране на масивни невронни мрежи върху клъстери от хиляди изчислителни ускорители. Чрез стратегии като паралелизъм на данните (data parallelism), тензорен паралелизъм (tensor parallelism) и конвейерен паралелизъм (pipeline parallelism), то позволява мащабиране на модели със стотици милиарди параметри.