03 септември 2026 г.
Gisting в Shopify: Компресиране на системни промптове в научени токени за по-бърз и евтин ИИ

Изображение: Svetni.me / ИИ генерирано изображение
В официална публикация в инженерния си блог [1], авторите Коди Маца-Антъни и Пейдж Вегна от екипа на Shopify представиха практическото внедряване на gisting – иновативен метод за компресиране на контекста при големите езикови модели (LLM). Технологията позволява обширни системни инструкции, съдържащи хиляди токени, да бъдат преобразувани в компактен набор от предварително научени виртуални вектори (gist tokens). Това осигурява пълните поведенчески предимства на детайлния промпт инженеринг, но при значително по-ниски изчислителни разходи и осезаемо по-висока скорост на изпълнение.




