Калибриране на сигнали

Калибрирането на сигнали (Offline-Online Signal Calibration) е процесът на съпоставяне на резултатите от „офлайн“ оценки (като LLM Evals) с реалните резултати от „онлайн“ експерименти (A/B тестове). Целта е да се гарантира, че автоматизираните оценки на AI съдията корелират с действителното потребителско поведение. Когато има разминаване, системата се калибрира, за да стане по-точен предсказател за бъдещи успехи.