Предварително обучение

Предварителното обучение (Pre-training) е началната и най-ресурсоемка фаза от създаването на мащабен езиков модел. По време на този етап моделът се обучава върху огромни масиви от данни, за да научи общи езикови модели, граматика и факти за света. Обикновено изисква значителни изчислителни ресурси и време, като иновации в тази област (като тези на Baidu с ERNIE 5.1) целят драстично намаляване на разходите.