Krea 2 Raw и Turbo: 12-милиардни AI модели за изображения с отворени тегла
Сферата на генеративния изкуствен интелект за изображения отбеляза нов важен етап с представянето на моделното семейство Krea 2. В официална публикация в своето GitHub хранилище [1], творческият ИИ стартъп Krea AI обяви пускането на отворените тегла за два нови модела с обем от 12 милиарда параметри: Krea 2 Raw и Krea 2 Turbo. Новите разработки са базирани на модерната архитектура Diffusion Transformer (DiT) и са достъпни за свободно изтегляне в платформата Hugging Face.
Новите модели предлагат гъвкавост за разработчиците на LoRA и висока скорост при крайния инференс. Проектът цели да даде на общността достъп до качествена алтернатива на затворените комерсиални платформи.
Архитектурни особености: Diffusion Transformer (DiT)
Моделното семейство Krea 2 се отличава от по-старите генеративни модели по своята вътрешна структура. Докато модели като Stable Diffusion 1.5 разчитат на U-Net мрежи за обработка на шума, Krea 2 е изграден изцяло върху архитектурата Diffusion Transformer (DiT) [1]. В тази архитектура конволюционните слоеве са заменени от трансформър блокове, които обработват изображението под формата на поредица от пачове (patches).
Мащабът от 12 милиарда параметри позволява на Krea 2 да разбере по-добре сложните текстови описания и да ги превърне в детайлни изображения. DiT архитектурата осигурява отлично скалиране, което означава, че качеството на генерациите се подобрява правопропорционално на изчислителния капацитет и обема на данните, използвани при обучението.
Krea 2 RAW: Чисто платно за обучение и фина настройка
Моделът Krea 2 Raw представлява базова, недестилирана версия на мрежата. Този модел функционира като „чисто платно“, което не съдържа предварително заложени стилови предпочитания или системни пристрастия [1]. Неговата основна роля е да осигури максимално разнообразие и пластичност на генерираните образи.
Поради липсата на компресия и специфична стилизация, Krea 2 Raw е идеален за академични изследвания и за изграждане на специализирани модели. Той служи как фундаментална база, върху която разработчиците могат да обучават адаптери от типа LoRA или да извършват цялостно допълнително обучение (fine-tuning).
Пускането на Raw версията решава един сериозен проблем в общността на отворения код. Често моделите се разпространяват след фаза на цензура или компресия, което ограничава способността им да възпроизвеждат определени художествени стилове. С Krea 2 Raw разработчиците получават пълен контрол върху поведението на модела по време на допълнително обучение.
Krea 2 Turbo: Високоскоростна генерация за две секунди
Вторият модел в семейството, Krea 2 Turbo, е специално оптимизиран за скорост и ефективност в реално време. Той използва съвременни техники за дестилация на стъпките за генериране. Това му позволява да постига високо качество на изображенията само с 8 стъпки на дифузия.
Благодарение на тази оптимизация, Krea 2 Turbo може да генерира изображения за под 2 секунди на потребителски графичен хардуер [1]. Бързината на работа го прави отличен избор за интерактивни приложения, уеб платформи и процеси, изискващи незабавен визуален отговор от системата.
Дестилацията в Krea 2 Turbo намалява изчислителния товар, без драстично да компрометира качеството на картината. Това отваря врати за разработване на нови потребителски интерфейси, където визуалното съдържание се променя динамично в реално време, докато потребителят пише своя промпт.
Изображение: Krea AI чрез Hugging Face
Препоръчителен работен процес: Съвместна работа на RAW и Turbo
Един от най-интересните аспекти на Krea 2 е препоръчаната от разработчиците методология за комбиниране на двата модела [1]. Този подход съчетава предимствата на високото качество на обучението и бързината на крайния инференс.
Процесът се състои от следните стъпки:
Потребителите първоначално обучават своя специфичен стил или персонаж под формата на LoRA адаптер върху недестилирания модел Krea 2 Raw.
След приключване на обучението, същият LoRA адаптер се прехвърля и прилага директно върху дестилирания Krea 2 Turbo.
В резултат на това крайното приложение извършва бърза генерация в рамките на две секунди, запазвайки специфичните детайли и стилови характеристики на обучената LoRA.
Този хибриден модел решава един от основните проблеми в генеративното изкуство — компромиса между гъвкавостта при обучение и бързината при реална употреба.
Лицензионно споразумение и мерки за безопасност
Моделите Krea 2 се разпространяват под специалното лицензионно споразумение „Krea 2 Community License Agreement“ [1]. Условията в него са проектирани така, че да стимулират индивидуалните автори и малките фирми, как същевременно налагат контролирани регулации над големите корпорации.
Лицензът предвижда следните правила:
Безплатно търговско използване: Всички физически лица и компании с годишен приход под 1 000 000 щатски долара могат да използват моделите и техните деривати за комерсиални цели без такси.
Корпоративно лицензиране: Организациите, чиито приходи надхвърлят този праг, са длъжни да сключат отделно търговско споразумение с Krea AI.
Атрибуция на дериватите: Всички производни модели, споделени в общността, трябва задължително да съдържат думата „Krea“ в началото на името си.
Освен това, Krea налага строги изисквания за безопасност. Всеки, който хоства или предоставя достъп до Krea 2, трябва да внедри филтри за предотвратяване на генерирането на неправомерно интимно съдържание, материали с малтретиране на деца и клеветнически визуализации. Тези мерки са задължителни за всички потребители на лиценза, независимо от техния размер.
Интеграция с екосистемата и достъпност
Моделите Krea 2 са проектирани с мисъл за лесна интеграция в съществуващата софтуерна екосистема [1]. Проектът се поддържа директно от популярната библиотека diffusers на Hugging Face, което улеснява интеграцията в Python проекти.
Освен това, моделите се поддържат от:
ComfyUI: Интуитивният графичен интерфейс с нодова структура вече поддържа Krea 2 за изграждане на локални творчески процеси.
SGLang: Високопроизводителната среда за изпълнение позволява бързо паралелно обслужване на заявки с Krea 2 на сървърно ниво.
Общността вече работи по квантувани версии на моделите в FP8 и INT8 формати. Това ще позволи на творците с по-ограничен хардуер да стартират тези 12-милиардни архитектури локално на своите компютри, разширявайки достъпа до висококачествена генерация на изображения.
Благодарение на поддръжката за лесни за настройка скриптове (използващи мениджъра uv), инсталацията и конфигурирането на модела в локална среда отнема минимално време. Това стимулира разработчиците да експериментират и да включват Krea 2 в своите собствени софтуерни продукти.
Източници: