Artificial Analysis

Artificial Analysis е независима аналитична платформа за сравнителен анализ (бенчмаркинг) на производителността, качеството, латентността и разходите за изпълнение на големи езикови модели (LLM).

Индекс на интелигентност и метрики

Платформата поддържа популярния показател Intelligence Index, който изчислява средно аритметично представяне на моделите върху стандартизирани набори от тестове за логика, кодиране и разбиране. Наред с качеството на отговорите, Artificial Analysis отчита скоростта на генериране (токени в секунда) и финансовите разходи за изпълнение на тестовете, визуализирайки границата на Парето (Pareto frontier) между интелигентност и цена.