Семантично кеширане (Semantic Caching)

Семантичното кеширане е софтуерен механизъм, който съхранява отговорите на LLM запитвания на база сходство във векторното пространство, а не просто точно текстово съвпадение.

То позволява обслужване на сходни потребителски питания директно от бърза памет без извикване на скъпи изчислителни инференс ресурси.