Подравняване на езикови модели (LLM Alignment)
Подравняването на модели има за цел да гарантира, че невронните мрежи действат полезно, честно и безопасно без генериране на вредно съдържание.
Технически подходи
- RLHF и DPO: Обучение с подсилване от човешка обратна връзка и директна оптимизация на предпочитанията за фино калибриране на тона и логиката.
- Конституционен AI: Използване на формален списък от принципи за самокорекция на модела по време на супервизирано дообучение.
- Предотвратяване на халюцинации: Ограничаване на генерирането на неверни факти и недопустими езикови отклонения при стресови сценарии.