Time to First Token

Time to First Token (TTFT) е фундаментална инженерна метрика за измерване на латентността при големите езикови модели (LLM). Тя отчита времето от момента на изпращане на потребителската заявка до извеждането на най-първия токен от отговора на модела. TTFT зависи пряко от дължината на входния контекст (включително системните промптове), тъй като моделът трябва първо да обработи целия входящ масив преди да стартира авторегресивното генериране на текст.