Контекстен прозорец (Context Window)

Контекстният прозорец е максималният брой токени (думи, субдуми), които един трансформърен езиков модел може да обработи едновременно в рамките на една заявка за разсъждение.

Предизвикателства с милионни контексти

• Вниманието не е безплатно: Изчислителната сложност на класическото внимание нараства квадратично спрямо дължината на последователността.
• Феноменът „Изгубено по средата“ (Lost in the Middle): Моделите показват влошено извличане на детайли, намиращи се в средата на огромен контекст.
• Икономическа тежест: Подаването на половин милион токени контекст при всяко натискане на клавиш бързо генерира колосални разходи за инференция.