Разходи за изводи (Inference Cost)

Разходите за изводи (Inference Cost) обхващат текущите оперативни разноски (електричество, амортизация, наем на инфраструктура), необходими за генерирането на отговори от вече обучен модел при реална експлоатация.

С масовото навлизане на мислещи модели (reasoning models), които изпълняват дълги вериги от вътрешни разсъждения преди отговор, разходите за изводи се превърнаха в доминираща част от общия бюджет на AI компаниите.