LLM Jury (Жури от езикови модели)

LLM Jury (или жури от големи езикови модели) е архитектурен патент в сферата на изкуствения интелект, при който няколко независими езикови модела се използват съвместно като „съдии“ или „оценители“ (LLM-as-a-judge) за проверка на качеството на генерираното съдържание.

Принцип на работа

Вместо да се разчита на един модел за оценка (което може да доведе до субективни грешки или халюцинации), системата изпраща резултата до група от няколко силни модела.

• Независими оценки: Всеки член на журито оценява генерираните метаданни или текст и предоставя своята присъда заедно с детайлна аргументация.
• Гласуване и консенсус: Гласовете на отделните модели се сумират и финалното решение се взема чрез мнозинство или пълно съгласие.
• Вето механизъм: В определени критични случаи (като модериране на безопасността на съдържанието) дори един глас против може да блокира публикуването на генерирания текст.

Предимства

Прилагането на LLM Jury повишава точността на класификацията и анотацията (в случаи като системи за доставка на храна с над 20% спрямо стандартните оценки от хора), като същевременно позволява денонощна автоматизация на контрола на качеството в огромни мащаби.