OpenAI представи Decisions API: Десет пъти по-бърза структурирана класификация

Снимка: The Decoder / OpenAI

Лабораторията OpenAI представи новия си специализиран програмен интерфейс Decisions API, проектиран да изпълнява задачи по категоризация, бинарен избор и точкова оценка приблизително десет пъти по-бързо от стандартния ендпойнт за текстово генериране [1].

Услугата се предлага на агресивната цена от едва $0.10 на милион входни токена и е оптимизирана за сценарии, в които не е необходим дълъг авторегресивен текст, а директно структурирано решение с калибрирани вероятности [1]. Едновременно с това компанията опрости структурата на платените си потребителски нива, съкращавайки ги от пет на три.

Инфографика: Светни.ме

Архитектурно премахване на цикъла за авторегресивно декодиране

В традиционните езикови модели всяка задача за класификация изисква моделът да генерира отговор дума по дума през пълен декодиращ цикъл, което натрупва латентност и изисква сложни техники за парсване на JSON изхода. При новия API ендпойнт изчислението спира непосредствено след първия прав проход (forward pass) през невронната мрежа [1].

Чрез директно извличане на логаритмичните вероятности (logits) от изходния слой за предварително дефинирани токени (като „Да/Не“ или категории от списък), процесът по изпълнение на модела (inference) постига латентност под 50 милисекунди. Това го прави идеален за високочестотни бекенд конвейери.

Оптимизация за рутиране на агенти и филтриране

Основното практическо приложение на новия интерфейс е в сферата на модерацията на съдържание и агентното рутиране. При сложни системи с автономни агенти всяко междинно решение — например дали да се извика външен инструмент, дали потребителят е одобрил транзакция или дали входният текст съдържа уязвим код — може да се валидира за части от стотинката.

Така инженерите могат да изолират скъпите разсъждаващи модели единствено за сложни задачи, докато входният контрол се поема от светкавичния Decisions API.

Дълбок технически анализ: Деконструкцията на генеративния стек в полза на дискретни примитиви

Появата на Decisions API бележи важна еволюционна стъпка в архитектурата на генеративния AI. През първите години на бума лабораториите се опитваха да използват един общ авторегресивен модел за абсолютно всичко — от писане на поезия до проверка дали даден низ е валиден имейл адрес. Тази унификация бе елегантна, но чудовищно неефективна от гледна точка на изчислителна мощност и латентност.

Разделянето на генеративните задачи от дискретните решения възстановява баланса в изчислителния стек. Чрез връщане към примитиви за бързо вероятностно класифициране, OpenAI предоставя на системните архитекти липсващия строителен блок: детерминистичен, нисколатентен превключвател. В бъдещите агентни оркестрации решенията от този тип ще играят ролята на условни преходи в машинния код (branch instructions), насочвайки потока на управление между специализирани невронни модули с максимална енергийна ефективност.

Източници

[1]: OpenAI launches Decisions API that reduces complex evaluations to yes, no, or pick one - The Decoder