TRL (Transformer Reinforcement Learning)

TRL (Transformer Reinforcement Learning) е библиотека с отворен код, разработена от Hugging Face, предназначена за последващо обучение (post-training) и подравняване на големи езикови модели чрез обучение с подсилване (Reinforcement Learning). Библиотеката е изградена върху екосистемата transformers и поддържа мащабируемо обучение с параметрично ефективни адаптери като LoRA.

Ключови архитектурни компоненти

  • Асинхронна оптимизация (AsyncGRPOTrainer): Позволява провеждането на оптимизационни стъпки по алгоритъма GRPO без изчакване на пълното завършване на всички агентни траектории (rollouts), което значително ускорява обучението в реални среди.
  • Интеграция с агентни среди (OpenEnv и Harbor): Свързва генерацията на токени чрез сървъри като vLLM директно с контейнеризирани среди за изпълнение на код и терминали.
  • Пълен набор от алгоритми за подравняване: Включва имплементации на Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO), Proximal Policy Optimization (PPO) и Group Relative Policy Optimization (GRPO).

Споменавания в статии